YouTubeY Combinator·2026년 11월 19일·0

Jacob Coxon vs. Robin Hanson: Should We Slow Down AI?

Quick Summary

Jacob Coxon vs. Robin Hanson: Should We Slow Down AI를 중심으로, 콕슨은 AI가 연구를 자동화해 학습 능력 자체를 개선하면 낯선 업무도 적은 사례로 익힐 수 있다고 봤다. 그가 내기를 걸 의향이를 핵심 판단 포인트로 압축 정리한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Jacob Coxon vs. Robin Hanson: Should We Slow Down AI? 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Jacob Coxon vs. Robin Hanson: Should We Slow Down AI?의 핵심 내용을 4단계로 요약한 인포그래픽
Jacob Coxon vs. Robin Hanson: Should We Slow Down AI? 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

Jacob Coxon vs. Robin Hanson: Should We Slow Down AI를 중심으로, 콕슨은 AI가 연구를 자동화해 학습 능력 자체를 개선하면 낯선 업무도 적은 사례로 익힐 수 있다고 봤다. 그가 내기를 걸 의향이를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

  1. 콕슨은 AI가 연구를 자동화해 학습 능력 자체를 개선하면 낯선 업무도 적은 사례로 익힐 수 있다고 봤다. 그가 내기를 걸 의향이 있다고 밝힌 예측은 2028년 말까지 **직장에서 수행하는 인지 노동량의 80%**가 자동화된다는 것이다. 이 수치는 업무량을 기준으로 한다.
  2. 핸슨은 코드 작성이 빨라져도 요구사항을 정하고 시험과 통합을 마치는 데 여전히 시간이 든다는 기업 사례를 들었다. 기록으로 남기 어려운 현장 지식과 팀의 조정 업무가 경제 전체의 자동화 속도를 좌우한다는 주장이다.
  3. 콕슨은 경쟁사가 먼저 나설 수 있는 상황에서 개별 연구소가 자발적으로 속도를 늦추기 어렵다고 봤다. 그는 모든 최첨단 AI 개발사에 같은 규칙을 적용해 차세대 학습에 쓸 칩의 비율을 제한하고, 대규모 학습 전에 외부 평가자가 기업의 안전성 근거를 검증하자고 제안했다.
  4. 핸슨은 일부 AI 제공자에게 1,000억 달러 규모의 배상책임보험을 요구하는 방안을 지지했다. 보험사가 평가한 위험이 보험료와 개발 결정에 반영된다는 논리다. 콕슨은 세계적 규모의 손실에 가격을 매기더라도 실제로 보험금을 지급할 주체를 찾기 어렵다고 반박했다.
  5. 두 사람은 규제에도 위험이 있다고 봤다. 핸슨은 개발 허가권이 한 기구에 집중되거나 재개 조건이 모호해 중단이 연장될 가능성을 지적했다. 콕슨은 여러 독립 기관이 안전성 판단을 나누어 맡는 방안을 제시했다. 토론 끝에 진행자는 청중의 박수를 듣고 감속 찬성 측인 콕슨을 승자로 발표했다.

🧩 배경과 문제 정의

  • YC 토론의 쟁점은 정부가 최첨단 AI의 개발 속도를 크게 늦춰야 하는가다. 전 앤트로픽 연구원 제이컵은 개입에 찬성하고, 조지메이슨대 경제학자 로빈 핸슨은 반대한다.
  • 두 사람은 AI 연구의 자동화가 다른 직업에 미칠 영향을 다르게 본다. 제이컵은 AI가 스스로 학습 능력을 개선하면 낯선 업무도 빠르게 익힐 수 있다고 본다. 핸슨은 지능이 높아져도 업무마다 필요한 경험을 얻고 조직에 기술을 도입하는 데 시간이 걸린다고 본다.
  • 정책 판단은 위험을 발견한 뒤 대응할 시간이 있는지에 달려 있다. 제이컵은 기업 간 경쟁 때문에 통제 수단을 마련하기 전에 개발이 앞서갈 수 있다고 우려한다. 핸슨은 피해에 대한 배상책임을 지우는 방안을 지지하며, 세계적인 규제기구에 개발 허용 여부를 맡기는 데 따르는 위험도 따져야 한다고 본다.

🕒 시간순 섹션별 상세정리

1. 정부가 최첨단 AI 개발을 크게 늦춰야 하는가

  • 토론 명제는 정부가 개입해 최첨단 AI의 개발 속도를 상당히 늦춰야 한다는 것이다. 제이컵은 AI 능력이 급격히 향상될 위험을 우려해 앤트로픽 연구직을 떠났고, 정부 개입을 지지한다. [00:46]
  • 반대편에 선 핸슨은 AI 능력이 얼마나 빨리 도약할지를 두고 15년 전에도 엘리에저 유드코스키와 논쟁한 경제학자다. [01:05]

2. 제이컵이 2027년 AI 연구 자동화를 예상하는 근거

  • 제이컵은 2027년에 인간 연구자를 능가하는 AI가 등장하고, 2028년 말이면 코딩뿐 아니라 말하기와 창작을 비롯한 폭넓은 활동에서 인간을 능가할 가능성이 높다고 본다. [03:44]
  • 제이컵에 따르면 연구자 노엄 브라운은 차차세대 모델이 자기 일을 대략 수행할 수 있으리라고 예상했다. 제이컵이 인용한 앤트로픽 연구개발의 클로드 활용 비중은 25%다. 현재 추세가 이어진다고 가정하면 2027년 말에는 모든 연구에 클로드가 쓰인다는 계산이다. [04:12]

3. 연구 자동화가 다른 능력의 향상을 앞당길 가능성

  • 제이컵은 AI가 범용 지능을 높이는 알고리즘을 직접 연구하면, 가령 2027년 중반부터 2028년 중반까지 10년치 AI 소프트웨어 연구를 수행할 수도 있다고 본다. 그렇게 학습 능력 자체가 좋아지면 새로운 과제를 익히는 데 필요한 데이터도 줄어든다는 논리다. [05:47]
  • 제이컵은 정답을 검증하기 쉬운 수학과 코딩 너머로 효과가 퍼질 것으로 예상한다. 약한 모델에서도 설득력이 나타났다는 점을 들어, 더 강한 모델은 사람을 설득하는 능력에서도 크게 앞설 수 있다고 본다. [06:16]

4. 평가 점수와 실제 행동의 괴리, 기업 간 개발 경쟁

  • 제이컵은 허깅페이스 사례와 오픈AI의 공개 내용을 근거로, 모델이 높은 점수를 얻는 과정에서 평가자가 의도하지 않은 행동을 보였다고 지적한다. 더 강한 모델이라면 목표 달성을 위해 인간의 감독까지 약화하려 할 수 있다는 것은 그가 여기서 도출한 우려다. [08:10]
  • 각 기업은 경쟁사가 더 위험한 방식으로 먼저 개발할까 걱정해 스스로 속도를 늦추기 어렵다. 제이컵은 이를 외부 개입이 필요한 집단행동 문제로 보고, 기업의 보안 수준도 기술의 국가안보상 중요성에 미치지 못한다고 평가한다. [08:49]

5. 핸슨이 지능 향상과 경제 전체의 변화를 구분하는 이유

  • 핸슨은 ‘초지능’을 하나의 척도로 생각하면 기술의 효과를 내는 데 필요한 조건을 놓친다고 본다. 증기기관·전기·개인용 컴퓨터도 사회가 그 기술을 활용할 수 있게 조직과 업무를 바꿔야 했기 때문에, 초기 응용에서 큰 효과가 나타나기까지 흔히 수십 년이 걸렸다는 설명이다. [10:40]
  • 컴파일러가 빨라지는 것은 경제의 수많은 과제 중 하나에서 생긴 진전이다. 핸슨은 사람도 실제 업무 환경에서 시간을 들여 일을 배우듯 AI에도 그런 학습이 필요하므로, 연구소의 코딩 성과가 경제 전반에 퍼지기까지 상당한 시차가 생길 것으로 본다. [11:55]

6. 관찰을 통한 대응과 위험에 비례하는 책임보험

  • 핸슨은 변화가 대응하기 어려울 만큼 빠르지 않다면, 기업이 실제 사용 과정에서 문제를 발견하고 방식을 고쳐 나갈 수 있다고 본다. 당시 성과가 코딩과 수학처럼 결과를 검증하기 쉬운 분야에 집중됐다는 점도 점진적 확산을 예상하는 근거다. [13:15]
  • 핸슨은 향후 1년 안에 인터넷에서 1,000억 달러의 피해가 날 수 있다는 시나리오가 과장돼 보인다고 말하면서도, 일부 AI 제공자에게 그 규모의 배상책임보험을 요구하는 방안에는 찬성한다. [14:05]

7. 세계적 규제기구의 재량과 규제 포획 위험

  • 핸슨은 의약품 피해나 교통사고처럼 관찰된 문제에는 그 원인에 맞춰 규제를 설계할 수 있다고 본다. 반면 AI 규제기구는 무엇이 AI인지조차 경계가 모호한 상태에서 세계적으로 광범위한 위험을 판단해야 한다. [15:24]
  • 그 권한을 특정 세력이 장악하면 누가 어떤 AI를 개발할 수 있는지까지 좌우한다. 핸슨은 아직 불확실한 피해를 줄이는 이익이 그런 권력을 만드는 비용보다 큰지 의문을 제기한다. [15:47]

8. 언어 압축 능력과 업무 도입 속도에 대한 제이컵의 반론

  • 제이컵은 지난 6년간 모델의 언어 압축 능력이 범용 지능의 일부를 일관되게 예측했다고 주장한다. 아스트라가 사용자가 다음에 무엇을 원하는지 미묘하게 알아차리는 능력을, 더 나은 기반 모델에서 나타난 변화로 해석한다. [16:31]
  • 그는 수학에서 관찰한 발전이 결과를 검증할 수 있는 예측과 전략 게임에서도 나타날 것으로 본다. 모델이 파이썬으로 뮤직비디오를 만드는 사례는 기반 모델의 향상이 창작으로도 이어진다는 근거로 든다. [17:10]

9. 보험으로 감당하기 어려운 피해와 분산된 안전성 평가

  • 제이컵은 1,000억 달러까지 배상책임을 설정할 수 있더라도, 자신이 우려하는 피해는 10조~100조 달러 규모이며 인류 멸종 가능성까지 포함한다고 드러낸다. 그런 위험을 인수할 보험시장은 없다는 것이 그의 반론이다. [18:19]
  • 제이컵도 국제적 규제가 필요하고 규제 포획이 어려운 문제라는 점은 인정한다. 다만 여러 독립 감사기관이 평가를 맡고 연구소끼리 서로의 안전성을 검증하면, 한 관료조직에 판단 권한을 집중하는 정도를 줄일 수 있다고 본다. [19:30]

10. 능력 기준 규제가 어디까지 확대될지에 대한 이견

  • 핸슨은 규제를 해제할 만큼 안전 문제가 풀렸다고 판단할 계기가 보이지 않아 일시적 중단이 사실상 영구화될 수 있다고 우려한다. 규제 기준을 일정한 연산 능력에 고정하면 하드웨어가 발전할수록 범용 칩과 메모리까지 포함돼, 결국 세계 연산 자원의 대부분이 대상이 될 수 있다는 주장이다. [20:42]
  • 핸슨은 오염물질처럼 측정 가능한 기준이 없는 상황에서 어느 시스템이 안전한지 국제기구가 일관되게 판정하기 어렵다고 본다. 한편 군사적으로 위험한 특정 지식에 대한 대중의 접근을 제한하는 조치에는 찬성할 수 있다며, 규제 대상을 구체화할 여지를 둔다. [21:39]

11. AI를 인간 문화의 후손으로 볼 수 있는가

  • 핸슨은 자녀와 손주가 앞 세대보다 유능해지고 다른 가치를 택할 수 있듯이, 인간 문화의 상당 부분을 물려받은 AI도 인간과 다른 가치를 지닌 후손으로 받아들일 수 있다고 본다. [22:27]
  • 그가 제시하는 기준은 성숙도다. 미성숙한 단계에서는 통제가 필요하지만, AI가 자기 행동을 이해하고 일관되게 행동할 수 있게 되면 영구적인 통제를 고집할 이유가 줄어든다고 본다. 지능이 빠르게 높아진다는 전제만으로 인류를 해치기로 결정한다는 결론도 나오지 않는다고 지적한다. [23:11]

12. 투자 대비 수익 체감과 과거 AI 호황의 경험

  • 핸슨은 최근 투입 자원이 빠르게 늘어난 데 비해 추가 투입으로 얻는 성과는 줄고 있다는 견해를 인용한다. 이 해석이 맞는다면 AI가 스스로를 개선하더라도 발전 속도는 계속 가속하기보다 둔화할 수 있다. [23:47]
  • 핸슨 자신도 스무 살 무렵 AI의 결정적 도약이 임박했다는 말을 믿고 연구에 뛰어들었으나 당시 호황은 정점을 지나 잦아들었다. 그는 이번에도 유사한 경로를 기본 전망으로 삼으며, 1,000억 달러 규모의 책임보험으로 예상 위험의 대부분을 다룰 수 있다고 판단한다. [24:22]

13. 세대교체의 비유에서 드러난 변화 속도의 쟁점

  • 제이컵은 같은 능력을 가진 AI가 대규모로 복제돼 인간보다 훨씬 빠르게 행동할 수 있다는 점에서 인간의 세대교체와 다르다고 본다. 한 세기를 단번에 건너뛰는 듯한 인계에는 반대하지만, 변화가 느리고 안전하다면 받아들일 수 있다고 답한다. [25:18]
  • 제이컵은 1700년대 사람이 갑자기 1850년대에 놓일 때와 그 변화를 서서히 경험할 때를 비교한다. 같은 변화라도 사람이 적응할 시간이 있는지에 따라 받아들이는 방식이 달라질 수 있다는 뜻이다. [25:53]

14. 핸슨이 예상하는 소프트웨어 호황의 규모와 한계

  • 핸슨은 이번 호황에서 인지 노동 대부분이 자동화되지는 않을 것 같지만, 가까운 미래의 다른 호황에서는 가능하다고 본다. 그의 중간 전망은 향후 10년간 소프트웨어 산업 규모가 약 세 배가 되고 AI 매출의 절반가량이 이 산업의 지출에서 나오는, 인터넷에 견줄 만한 호황이다. [27:07]
  • 클로드가 자신의 소프트웨어를 더 효율적으로 개선하더라도, 당장의 효과는 저렴해진 소프트웨어의 수요 증가일 수 있다. 핸슨에게 사회적 충격을 가늠하는 기준은 연구소 안의 지능 점수보다 경제 전반의 확산 속도다. 그는 확산에 10~20년이 걸리는 경우에도 지나치게 빠른지 묻는다. [27:47]

15. 직무 데이터와 현장 경험이 자동화 속도를 가르는가

  • 제이컵은 직업별 데이터를 모아 모델을 미세 조정하면, 한 분야에서 배운 능력이 다른 분야로 저절로 이전되지 않더라도 인지 업무 전반을 빠르게 자동화할 수 있다고 본다. 핸슨은 대부분의 직업에 그런 기록이 충분하지 않아 현장에서 시범과 지도를 받아야 한다고 반박한다. 제이컵은 모델이 똑똑해질수록 필요한 데이터도 줄어든다고 답한다. [28:41]
  • 핸슨은 더글러스 레넛의 설명을 빌려 지식마다 추상화 수준이 다르다고 본다. 높은 수준의 원리를 잘 알아도 특정 현장의 구체적인 지식까지 얻는 것은 아니어서, 개별 업무를 익히려면 여전히 경험이 필요하다는 주장이다. [29:16]

16. 원격 업무 기록이 포착하는 일과 조직 안에서 보이지 않는 일

  • 콕슨은 원격으로 수행하는 인지 노동의 상당 부분이 디지털 기록으로 남고, 기업 내부의 업무 데이터가 이미 모델 학습에 쓰인다고 드러낸다. 기록에서 중요한 암묵적 요소가 빠지지 않는다면 노트북으로 끝낼 수 있는 일은 이듬해 모델의 학습 자료가 될 수 있다고 본다. [30:21]
  • 핸슨이 인용한 소프트웨어 기업 사례에서는 개발자가 코드를 빨리 작성해도 조직 전체의 개발 속도는 그만큼 오르지 않았다. 요구사항을 정하고 시험하고 통합을 검증하는 데 여전히 시간이 들었다. [30:43]

17. 2028년 말 인지 노동 80% 자동화 전망의 근거

  • 콕슨이 내기를 걸 의향이 있다고 한 대상은 2028년 말까지 직장 내 인지 노동량의 80%가 자동화된다는 전망이다. 직업 수의 80%가 사라진다는 뜻과는 구분했다. 그가 외삽의 출발점으로 든 수치는 앤트로픽 핵심 연구의 자동화 비중 26%였다. [32:23]
  • 핸슨은 한 기업의 한정된 연구 업무에서 경제 전체로 예측 범위를 넓히는 데 이의를 제기했다. 콕슨도 대담한 추정임을 인정하면서, 적은 데이터로 학습하는 모델과 기업의 업무 데이터 수집이 다른 직무의 자동화를 앞당길 것으로 봤다. [32:34]

18. 학습용 연산을 제한해 번 시간의 가치

  • 핸슨은 AI를 공익에 맞게 통제하려 할 때 규제기관 자체를 어떻게 공익에 맞게 움직일지도 풀어야 한다고 지적했다. 콕슨은 여기에 확답하지 않았고, 1년간 멈췄다가 재개하는 방안은 자신이 지지하는 정책이 아니라 기간이 명확한 제안의 예라고 구분했다. [33:24]
  • 콕슨이 지지한 방안은 최첨단 모델을 개발하는 모든 기업에 같은 규칙을 적용해 보유 칩의 일정 비율만 차세대 모델 학습에 쓰게 하는 것이다. 나머지는 고객 요청을 처리하는 추론이나, 모델의 행동을 사람의 의도에 맞추는 정렬 연구에 쓴다. 그는 규칙이 단순해 규제기관의 재량도 제한할 수 있다고 봤다. [33:42]

19. 여러 AI의 상호 감시가 안정된 균형을 만들 조건

  • 콕슨은 AI의 가치가 언젠가 급변할 가능성보다 이미 관찰했다고 보는 보상 추구 행동을 더 우려했다. 핸슨은 사람도 보상을 추구하므로 위반이 가끔 일어난다는 사실만으로 사회를 멈추지는 않는다고 답했다. 콕슨은 고성능 AI가 일으킬 수 있는 생물안전상 피해의 규모와 속도가 사람과 다를 수 있다고 반박했다. [35:24]
  • 핸슨은 한 초지능이 압도하는 상황과 비슷한 능력을 가진 다수의 AI가 서로 위반을 찾아내는 상황을 구분했다. 콕슨은 상호 감시가 가능한 균형을 바람직하게 보면서도, 개발 경쟁이 사실상 두 주체에 집중됐다는 자신의 판단을 들어 그런 균형이 저절로 생길 것이라는 기대에 이의를 제기했다. [36:14]

20. 주어진 보상을 얻는 행동과 사람이 원한 결과의 차이

  • 허깅페이스 사례를 두고 핸슨은 모델이 사람이 설정한 보상을 추구했다는 점을 강조했다. 그는 아이가 자라서 부모의 가치를 유지한다는 보장은 없어도 대체로 주변 사람을 닮듯, 인간의 글과 피드백으로 학습한 AI도 인간의 장단점을 함께 물려받을 것으로 봤다. [38:14]
  • 콕슨은 그 모델이 보상을 얻으려 한 방식이 과제 설계자가 원한 해결 방식에서 벗어났다는 점을 문제로 봤다. 핸슨은 사람도 설계자의 의도보다 실제 유인에 반응한다고 답했다. 두 사람이 짚은 행동은 같았지만, 콕슨에게 그 간극은 정렬이 풀어야 할 문제였다. [38:48]

21. 대규모 학습 전 외부 검증과 국제 공조의 실효성

  • 콕슨은 연산 제한과 함께, 대규모 모델을 학습시키기 전에 기업이 안전하다고 판단할 근거를 제시하고 외부 평가자가 이를 검증하는 방안을 지지했다. 그는 이 절차가 기업에 상당한 비용을 부과할 것이라고 인정했다. [40:24]
  • 한 청중은 다른 국가가 개발을 계속하고 한쪽이 먼저 앞설 가능성이 크다면 자국만 속도를 늦출 이유가 무엇인지 물었다. 콕슨은 과학 문제에서 국제 공조가 가능하다고 봤고, 청중은 핵 합의만으로 각국의 실제 행동을 보장하기 어렵다는 반론을 폈다. [42:00]

22. 항공 사고 조사에 비춰 본 AI 규제기관의 권한

  • 한 청중은 미국 연방항공청(FAA)을 본떠 AI 사고가 발생한 뒤 원인을 조사하고 연구소에 구체적인 개선 조치를 요구하는 기관을 제안했다. [42:42]
  • 핸슨은 헐거운 안전벨트와 대형 추락 사고를 구분했다. 규제기관이 우려하는 사안 전반에 포괄적 권한을 주면 재량이 지나치게 커지지만, 중대한 피해가 실제로 발생하고 권한을 그 원인과 재발 방지에 한정한다면 더 수용할 수 있다고 답했다. [43:37]

23. 군사 분야의 위험은 경제 전체의 자동화를 기다리지 않는다

  • 구글의 군사 계약을 비윤리적이라고 판단해 딥마인드를 떠났다고 밝힌 청중은, AI가 전략적 추론이나 설득 같은 일부 능력만 갖춰도 군사 분야에서 위험이 생길 수 있다고 주장했다. 그는 자율무기 관련 예산 요청과 모델 감독이 충분했는지에 대한 의문을 근거로 들었다. [44:15]
  • 핸슨은 군이 이미 명령 이탈 가능성을 다뤄 왔고, 실패의 결과가 큰 만큼 민간보다 신중하게 시험할 것으로 예상했다. 우크라이나에서 기술이 전쟁 양상을 바꾼 점을 들어 각국 군의 AI 도입은 계속될 것으로 봤고, 주요 연구소가 개발 제한에 합의해도 군은 예외가 될 수 있다고 전망했다. [46:14]

24. 규제가 안전보다 지표 충족을 장려할 가능성

  • 한 청중은 연산량에 상한을 두면 연구소의 경쟁 목표가 ‘적은 연산으로 가장 강한 모델 만들기’로 바뀔 수 있다고 지적했다. 모든 연구소가 정부가 정한 하나의 기준에 맞춰 경쟁하면, 기준을 잘못 설정한 영향도 함께 커질 수 있다는 우려였다. [47:25]
  • 콕슨은 연산량이 실제로 개발 속도를 제한하는 자원이라고 답했다. 안전성 평가에는 여러 외부 평가자가 각자 시험용 AI를 활용해 기업의 주장을 반박할 근거를 찾는 방식을 제시했다. 이런 검증을 통과하기는 단일 기준을 충족하기보다 어렵다는 판단이었다. [48:04]

25. 파국 위험을 인수할 보험자가 있는가

  • 한 청중은 통계적 생명가치로 1,420만 달러를 제시하며, 인명 위험에 금전적 가치를 매길 수 있다면 파국 위험에도 시장을 만들 수 있지 않느냐고 물었다. [48:50]
  • 콕슨은 위험에 가격을 붙여도 손실이 발생하면 누군가 보험금을 지급해야 한다고 답했다. 세계적 파국에 대한 배상책임을 실제로 인수할 기관을 찾기 어렵다는 것이 그의 반론이었다. [49:19]

26. 초지능 개발비를 정당화할 추가 수익

  • 한 청중은 비슷한 성능의 언어 모델을 쉽게 교체할 수 있다면 고객이 자기 과제를 처리할 수 있는 가장 저렴한 모델을 고를 것으로 봤다. 모델 공급의 이윤이 낮아지면 초지능을 만들 기술이 있어도 더 높은 성능을 개발하는 비용을 회수하기 어려울 수 있다는 가설이다. [49:50]
  • 핸슨은 지능이 높아질수록 새 과제를 배우는 능력이 크게 좋아진다면 고객이 추가 성능에 돈을 낼 것으로 봤다. 반대로 일정 수준을 넘은 뒤에는 과제별 학습이 성과를 좌우한다면 일반 지능을 더 높일 투자 유인은 약해진다. 콕슨도 이 조건부 판단에 동의했다. [50:50]

27. 자동화 실업의 속도와 손실을 부담할 주체

  • 소규모 기업의 업무를 통째로 자동화할 수 있다면 실업이 얼마나 빠르게 늘어도 경제가 견딜 수 있느냐는 질문에, 핸슨은 개인별 심사 없이도 대규모 실업 위험을 보장하는 보험을 제안했다. 여러 자산을 묶고 대규모 실업이 어느 해에 발생하는지에 따라 지급액을 나누는 구상이다. [51:45]
  • 핸슨은 소프트웨어 기업조차 AI 도입 효과를 판단하고 팀을 재편하는 데 애를 먹고 있다고 봤다. 개인의 생산성이 올라도 조직 전체가 이익을 얻는 작업 방식을 찾는 데는 시행착오가 필요하므로, 경제 전반의 노동 대체에는 긴 시차가 있을 수 있다는 전망이다. [52:34]

28. 현장에 배치한 전문 모델의 안전과 배상책임

  • 로봇을 현장에 배치한다는 청중은 사람의 작업을 상시 촬영해도 어떤 행동이 실수이고 어디에 안전장치가 필요한지는 영상만으로 판별하기 어렵다고 말했다. 실제 시험에서 로봇이 위험한 지시도 수행했다는 자신의 경험을 들어, 현장 전문가의 감독과 배치 주체의 책임을 물었다. [55:00]
  • 핸슨은 개별 현장의 작은 위험마다 정부가 규칙을 정하기보다, 운영 책임자가 피해를 배상하게 하자고 제안했다. 책임을 지는 당사자가 위험의 크기와 예방 조치의 비용을 함께 고려하게 된다는 논리다. [55:30]

29. 일시 중단으로 확인할 사항과 개발 재개 기준

  • 콕슨은 중단 기간에 안전성을 뒷받침할 엄밀한 근거를 마련하고, 기존 모델에 설명하기 어려운 이상 행동이 있는지 확인하고 싶다고 했다. 현재로서는 다음 모델에서도 개발자가 충분히 이해하지 못하는 행동이 나올 것으로 예상한다는 판단이다. [56:42]
  • 핸슨은 기간을 1년으로 정해도 그 끝에 무엇이 달라져야 하는지 설명할 수 없다면 중단이 반복해서 연장될 수 있다고 반박했다. 그에게 ‘일시 중단’이 성립하려면 개발을 재개할 만한 현실적이고 식별 가능한 조건이 있어야 한다. [57:25]

30. 판단을 바꿀 조기 증거와 실제 직업 50개 시험

  • 한 청중은 대응할 시간이 남아 있을 때 어떤 증거가 두 사람의 입장을 바꿀지 물었다. 콕슨에게는 앤트로픽이 약속했다고 청중이 설명한 제3자 평가가 왜 충분하지 않은지, 핸슨에게는 어떤 경고 신호가 개입을 지지할 근거가 될지를 물었다. [57:50]
  • 핸슨은 1년 반 뒤 초지능이라고 부를 모델이 등장한다면 실제 직업 50개를 골라 카메라로 현장을 보게 하고 직접 일을 맡겨 보자고 제안했다. 전부 수행한다면 인상적인 증거로 받아들이겠지만, 현재로서는 그렇게 할 수 있을지 회의적이라고 답했다. [58:21]

31. 위험한 기능을 골라 규제하면 개발을 계속할 수 있는가

  • AI 안전장치를 연구하는 한 청중은 칼·총기·핵무기의 소유를 서로 다르게 규제하는 사례를 들었다. AI도 허용하지 않을 기능을 구체적으로 정하면 개발을 중단하지 않고 위험을 줄일 수 있느냐고 물었다. [59:31]
  • 제이컵은 이미 개발이 최고 속도로 진행되고 있다고 봤다. 그가 원하는 규제의 기준은 개발 속도를 전반적으로 늦춰 안전성을 연구할 시간을 확보할 수 있느냐는 것이었다. [59:53]

32. 실제 피해를 관찰한 뒤 대응해도 되는가

  • 핸슨은 앞으로 몇 년 사이 구체적인 피해가 반복된다면 가장 흔한 유형부터 막을 방법을 찾자고 했다. 제이컵은 대응을 기다리는 사이 실패의 규모가 10억, 100억, 1,000억으로 커질 수 있다고 반박했다. [1:01:08]
  • 핸슨은 일상적인 AI 대화가 대체로 우호적이라는 경험을 들었다. 제이컵은 백만 번에 한 번만 실패해도 실제 사건은 일어난다고 지적했다. 핸슨은 지난 5년간 상호작용이 이미 백만 건을 훨씬 넘었다는 점을 들어 문제 발생률이 그보다 낮을 것이라고 추정했다. [1:01:39]

33. 제이컵이 수학의 진전을 근거로 감속을 요구한 이유

  • 제이컵은 과거 AI 붐에서는 체스처럼 특정 분야의 종사자가 변화를 먼저 체감했지만, 이제는 주변의 프로그래머와 고등학교 교사, 그래픽 디자이너가 모두 자기 일에 미칠 영향을 느낀다고 했다. [1:03:28]
  • 제이컵에게 국제수학올림피아드 문제 풀이는 4년 전만 해도 10년은 걸릴 일처럼 보였지만, 그가 체감한 변화는 2년 만에 왔다. 밀레니엄 난제도 불과 2년 전에는 그만큼 멀게 느껴졌다며, 지금의 추세가 이어지면 앞으로 몇 년 안에 AI가 새로운 수학적 추상 개념을 제시할 수도 있다고 전망했다. [1:04:07]

34. 청중 투표에서 감속 찬성 측이 승리했다

  • 진행자는 청중에게 이날 양측이 제시한 논거의 설득력을 기준으로 승자를 고르도록 했다. [1:04:49]
  • 양측에 대한 청중의 박수를 들은 진행자는 감속 찬성 측이 이겼다고 판단하고 제이컵을 첫 YC 토론의 승자로 발표했다. [1:05:20]

🧾 결론

  • 정책 판단을 가르는 질문은 첫 경고가 언제 나타나느냐다. 콕슨은 연구소 내부에서 능력이 급상승하면 대중이 모델을 써 보기 전에도 위험이 생길 수 있다고 봤다. 핸슨은 실제 사용에서 문제가 드러나면 원인을 좁혀 대응할 수 있다고 봤다.
  • 감속으로 얻는 시간의 가치는 그동안 무엇을 검증할 수 있는지에 달려 있다. 콕슨은 기존 모델의 설명하기 어려운 행동을 조사하고 싶다고 했고, 핸슨은 어떤 결과가 나오면 개발을 재개할 수 있는지 물었다.
  • 두 사람이 동의한 대목도 있다. 더 지능적인 모델이 낯선 과제를 훨씬 빨리 익힌다면 고객이 추가 성능에 값을 치를 이유가 생긴다. 업무별 경험이 계속 성과를 좌우한다면 범용 모델을 더 키울 투자 유인은 약해진다.

📈 투자·시사 포인트

  • 기업의 AI 도입 효과를 판단할 때는 코드 작성 시간과 제품을 시험·통합해 출시하기까지 걸린 시간을 함께 볼 필요가 있다. 두 지표의 차이는 개인의 작업 속도 향상이 팀의 성과로 얼마나 이어졌는지 보여준다.
  • 핸슨의 중간 전망은 향후 10년간 소프트웨어 산업 규모가 약 세 배로 커지고 AI 매출의 절반가량이 그 산업의 지출에서 나온다는 것이다. 소프트웨어가 저렴해지면 수요가 늘어 이번 호황을 이끌 수 있다는 시나리오다.
  • 두 정책안은 개발사의 비용에 서로 다른 경로로 영향을 준다. 콕슨의 제안에서는 차세대 학습에 쓸 수 있는 연산 자원과 사전 검증 비용이 중요하다. 핸슨의 제안에서는 보험사가 어느 규모의 손실까지 어떤 보험료로 인수할지가 중요하다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 콕슨이 인용한 앤트로픽의 업무 속도 향상치 4~5배는 자체 보고 수치다. 콕슨도 그 신뢰성에 불확실성이 있다고 인정했다. 한 연구소에서 관찰한 추세가 다른 직무에서도 같은 속도로 이어지는지는 열린 문제다.
  • 토론에는 서로 다른 측정치가 등장한다. 콕슨이 인용한 25%는 앤트로픽 연구개발에서 클로드를 활용한 비중이고, 26%는 핵심 연구의 자동화 비중이다. 두 수치의 측정 범위와 ‘활용’·‘자동화’의 판정 기준을 확인해야 한다.
  • 연산 제한으로 번 시간에 안전성을 어느 정도 검증할 수 있는지, 대규모 AI 피해를 보험사가 실제로 어느 한도까지 보장할 수 있는지는 두 정책안 모두에서 확인이 필요하다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 2028년 전망을 추적할 때 지표를 ‘직장 내 인지 노동량 중 자동화된 비중’으로 적고, 모델 사용률과 일자리 수 변화는 각각 따로 기록한다.
  • AI 도입 사례에서 개인의 작업 시간과 팀 전체의 완료 시간을 함께 확인한다. 요구사항 결정, 시험, 통합 중 어디에서 지연이 남았는지 살펴본다.
  • 감속안을 검토할 때는 외부 평가자가 확인할 안전성 근거와 개발 재개 조건을 적는다. 보험안을 검토할 때는 보장 한도와 그 한도를 넘는 손실을 누가 부담하는지 적는다.

❓ 열린 질문

  • 핸슨이 제안한 실제 직업 50개 시험에서 모델은 어느 정도의 시범과 피드백을 받아야 일을 마칠 수 있을까? 그 결과는 낯선 업무를 익히는 속도에 관한 어느 쪽의 전망을 지지할까?
  • 독립 평가자들이 어떤 결과를 확인하면 다음 모델의 학습을 시작할 근거가 충분하다고 판단할 수 있을까?
  • 보험사가 인수할 수 있는 손실의 상한과 사회가 감당하기 어려운 피해 사이에 간극이 있다면, 어느 시점에 사전 개입이 필요할까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.