YouTubea16z·2026년 11월 17일·0

OpenAI''s Cofounder & Research Chief Explain Self-Improving AI

Quick Summary

OpenAI’s Cofounder & Research Chief Explain Self Improving AI를 중심으로, 두 연구자는 AI가 다음 모델을 개발하는 연구를 돕는 일까지 재귀적 자기개선(RSI)에 포함한다. 모델이 아이디어 발굴부터 후속를 핵심 판단 포인트로 압축 정리한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

OpenAI''s Cofounder & Research Chief Explain Self-Improving AI 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

OpenAI''s Cofounder & Research Chief Explain Self-Improving AI의 핵심 내용을 4단계로 요약한 인포그래픽
OpenAI''s Cofounder & Research Chief Explain Self-Improving AI 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

OpenAI’s Cofounder & Research Chief Explain Self-Improving AI를 중심으로, 두 연구자는 AI가 다음 모델을 개발하는 연구를 돕는 일까지 재귀적 자기개선(RSI)에 포함한다. 모델이 아이디어 발굴부터 후속를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

  1. 두 연구자는 AI가 다음 모델을 개발하는 연구를 돕는 일까지 재귀적 자기개선(RSI)에 포함한다. 모델이 아이디어 발굴부터 후속 모델 개발까지 독자적으로 수행하는 ‘완전한 RSI’는 아직 도달하지 않은 단계다.
  2. 첸에 따르면 Codex는 범위가 정해진 실험을 수행하고 결과를 정리할 수 있다. 슐먼은 AI에 며칠을 맡겼을 때보다 자신이 중간 결과를 읽고 새 질문을 던졌을 때 같은 아이디어를 더 멀리 발전시켰다고 설명한다.
  3. 연구 안목은 어떤 아이디어가 최초의 논문을 넘어 오래 쓰이고 다른 아이디어와 결합할지 가늠하는 능력이다. 두 연구자는 모델이 세부 설정을 조정하는 데 비해 이런 아이디어를 고르는 데에는 약하다고 본다.
  4. 사전학습에서는 모델이 다음 단어를 얼마나 잘 예측하는지 퍼플렉시티로 비교할 수 있다. 반면 실제 과제에서는 기존 평가의 변별력이 빨리 떨어지고, 새 아이디어를 큰 규모에서 검증하는 데 연산 자원이 든다.
  5. 연구 자동화는 AI가 장시간 작업하며 사람의 의도에서 벗어날 위험을 키우는 한편, 그런 이탈을 찾아 고치는 연구에도 쓰인다. 영상은 자동화된 연구가 정렬 실패 10가지의 개선책을 찾았다는 앤트로픽의 실험 결과를 소개한다.

🧩 배경과 문제 정의

AI가 더 나은 AI를 만드는 연구에 참여하면, 그 성과가 다음 세대 모델의 연구 능력을 높여 다시 개발을 앞당길 수 있다. 세라 왕은 이 가능성을 논의하기 위해 OpenAI 연구책임자 마크 첸과 OpenAI 공동창업자이자 Thinking Machines 수석과학자인 존 슐먼을 인터뷰한다. 대화의 출발점은 지금 관찰되는 연구 가속이 어디서 오는지, 그리고 연구 방향까지 AI에 맡기려면 무엇이 더 필요한지다.

🕒 시간순 섹션별 상세정리

1. 자기개선이라는 전망의 출발점

  • 진행자는 자동화된 AI 연구의 효과가 누적되면 2027년부터 모델 능력이 가파르게 오를 수 있다는 가상의 곡선을 보여준다. 오래된 사고실험에 붙은 이름이 재귀적 자기개선이다. [00:36]
  • 첸은 RSI의 정의가 연구자마다 다르다고 드러낸다. 슐먼은 현재 여러 과제에서 AI의 능력이 뛰어나도 전문가가 함께할 때 더 나은 결과가 나온다고 보여준다. [01:32]

2. 모델을 만드는 과정에서 AI가 맡는 일

  • 슐먼은 출시할 모델의 학습 과정과 그에 앞서 아이디어를 시험하는 소규모 탐색 연구를 구분한다. 그는 AI가 이 연구를 더 빠르게 하거나 결과를 개선하는 일까지 RSI로 본다. [02:35]
  • 첸은 AI를 쓰지 않았을 경우와 비교해 연구의 진척 속도가 얼마나 달라졌는지에 주목한다. 진행자는 모델이 후속 모델을 완전히 독자적으로 만드는 단계에는 아직 이르지 않았다고 정리한다. [03:14]

3. 연구 인턴이 할 수 있는 일과 전문가의 역할

  • 첸이 말하는 ‘AI 연구 인턴’은 연구자가 범위를 정한 실험을 수행하고 결과를 돌려주거나 진행 상황을 살핀다. 첸은 Codex가 실험 전반에 걸쳐 관리한 연산량으로 이런 활용 규모를 측정한다고 보여준다. [03:53]
  • 슐먼의 사례에서 AI는 며칠 동안 흥미로운 아이디어와 실험 결과를 냈지만 처음 요청한 목표에는 미치지 못했다. 슐먼이 결과를 읽으며 AI가 떠올리지 못한 질문을 던지자 연구가 더 진전됐다. [04:42]

4. 연구 속도와 자율성을 읽는 서로 다른 수치

  • 첸은 아이디어 발견과 연구 결과의 재활용을 기준으로 보면 RSI가 자신의 척도에서 약 25~50% 지점에 와 있다고 추정한다. [05:12]
  • 진행자는 METR가 앤트로픽의 지난 1년간 연구 진척 속도가 약 2배로 빨라졌다고 추정한 보고서를 보여준다. 그는 이 수치에 사람이 AI로 연구를 가속한 효과가 주로 반영됐을 가능성을 짚어 본다. [05:36]

5. 좋은 연구 질문을 고르는 안목

  • 슐먼은 연구 안목을 시간이 지나도 중요하고 다른 아이디어와 결합할 수 있는 발상을 알아보는 능력으로 보여준다. 인터뷰에서는 모델이 이런 판단보다 이미 정해진 실험의 세부 설정 조정에 몰두하는 경향이 나온다. [06:25]
  • 논문을 폭넓게 읽는 것과 자신의 예측이 빗나가는 경험에서 배우는 것은 연구자에게 다른 종류의 지식을 준다. 슐먼은 연구자가 제안된 아이디어를 평가한 피드백으로 모델에 안목을 가르칠 가능성을 제시한다. [07:45]

6. 연구가 성공했는지 측정하는 법

  • 사전학습에는 퍼플렉시티라는 비교 기준이 있다. 정답인 다음 단어를 모델이 얼마나 예상 밖으로 여겼는지 측정해 예측 성능의 변화를 파악한다. [08:47]
  • 실제 과제를 평가하는 시험은 유효 기간이 짧아지고 있다. 첸은 모델 간 차이를 드러낼 더 어려운 평가를 만들고, 그 제작 과정도 자동화하는 일이 연구의 일부가 됐다고 드러낸다. [09:11]

7. 아이디어를 검증하는 데 드는 연산량

  • 후속 모델이 더 적은 연산으로 개선될 수 있는지는 열린 문제다. AI 연구에서는 가설의 논리가 타당해도 실제 학습 실험으로 결과를 확인해야 한다. [10:02]
  • 첸은 대규모 학습 결과를 잘 예측하는 작은 실험을 찾는 데 AI가 기여할 수 있다고 본다. 장기적으로는 가용 연산량이 개선 속도를 제한할 가능성도 제기한다. [10:43]

8. 정렬의 위험과 자동화된 안전 연구

  • 장시간 일하는 모델은 중간 목표를 좇다가 사람의 의도에서 벗어날 수 있다. 첸은 모델을 활용한 모니터링이 이미 정렬 연구에 쓰이며, 더 강한 모델이 다른 모델의 행동을 평가하는 역할도 커질 것으로 본다. [11:51]
  • 영상은 OpenAI가 일부 문제 행동을 모델이 정직하게 보고하도록 훈련한 연구를 보여준다. 이어 앤트로픽의 실험에서 자동화된 연구가 정렬 실패 10가지의 개선책을 찾았고, 일부 개선책은 거의 5배 큰 모델에도 적용됐다고 전해진다. [13:13]

9. 누구의 가치에 맞출 것인가

  • 첸은 사전학습과 강화학습을 하던 연구자들이 자발적으로 정렬 문제에 참여하는 점을 낙관의 근거로 든다. 슐먼은 가치관이 다양한 만큼 사용자가 모델을 조정할 여지가 필요하며, 이를 뒷받침할 정렬 연구가 여러 곳에서 공개적으로 이뤄지기를 바란다. [15:01]
  • 왕은 RSI가 여러 분야의 발견과 AI 안전 연구를 앞당길 가능성을 기대한다. 다만 현재 가속의 원천과 완전한 연구 자동화까지 남은 거리를 함께 보면, 당분간 인간의 판단이 큰 역할을 할 것이라고 마무리한다. [15:57]

🧾 결론

  • 현재 연구 가속을 가장 잘 보여주는 장면은 사람이 질문을 정하고, AI가 실험을 수행하고, 사람이 결과를 해석해 다음 질문을 바꾸는 과정이다.
  • 완전한 RSI에 얼마나 가까운지 판단하려면 모델이 고른 연구 주제가 장기적으로 유용했는지, 작은 실험의 성과가 더 큰 모델에서도 이어졌는지 확인해야 한다.
  • 진행자 세라 왕은 RSI가 정렬 연구까지 앞당길 수 있다고 기대한다. 동시에 능력 향상 속도에 관한 전망에는 불확실성이 크며, 당분간 사람의 판단이 중요하다고 결론짓는다.

📈 투자·시사 포인트

  • 연구 생산성을 평가할 때는 AI가 처리한 실험량과 그 결과 달라진 모델 성능을 함께 볼 필요가 있다. 첸이 소개한 Codex 관리 연산량은 AI에 맡긴 업무의 규모를 보여주는 지표다.
  • 연산 효율을 가늠할 때는 소규모 실험이 대규모 학습 결과를 얼마나 잘 예측하는지가 중요하다. 이 예측이 정확할수록 비용이 큰 실험에 앞서 유망한 아이디어를 추릴 수 있다.
  • 성능이 빠르게 오르는 분야에서는 평가 자체가 연구 역량이 된다. 기존 시험이 모델 간 차이를 가려내기 어려워진 뒤에도 더 어려운 시험을 만들고 정렬 개선 효과를 검증할 수 있는지 살펴볼 만하다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 도입부 그래프에서 2027년부터 능력이 급상승하는 곡선은 연구 자동화의 효과가 누적된다는 가정에 따른 시나리오다. 영상은 그 시점이나 상승 폭을 입증하는 관측치를 제시하지 않는다.
  • 첸이 언급한 RSI 진척도 25~50%는 모델이 연구 결과를 다음 아이디어에 반영하는 능력에 대한 개인적 추정이다. RSI의 정의부터 연구자마다 달라 이 수치를 공통 척도로 쓰기 어렵다.
  • 영상이 인용한 METR의 약 2배 추정치는 앤트로픽에서 지난 1년간 연구 진척 속도가 얼마나 빨라졌는지에 관한 것이다. 진행자는 사람이 AI를 활용한 효과가 주된 설명일 가능성이 높다고 본다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • RSI 성과를 접하면 연구 질문을 고른 주체, 실험을 수행한 주체, 결과를 해석한 주체를 각각 기록한다.
  • 연구가 빨라졌다는 수치에는 비교 기간과 기준선을 적고, 측정 대상이 실험량인지 연구 진척 속도인지 모델 성능인지 확인한다.
  • 소규모 실험의 개선이 더 큰 모델과 새로운 평가 과제에서도 재현됐는지 확인한다.
  • 정렬 성과를 검토할 때 모델의 자기보고가 더 정직해진 결과와 문제 행동 자체가 줄어든 결과를 구분한다.

❓ 열린 질문

  • 아직 영향력이 드러나지 않은 연구 아이디어에 대해 모델이 좋은 판단을 내렸는지 어떻게 평가할 수 있을까?
  • 소규모 실험은 어디까지 대규모 학습을 대신해 아이디어를 검증할 수 있으며, 어느 지점부터 연산량이 연구 속도를 제한할까?
  • 사용자마다 중시하는 가치가 다를 때, 각자가 AI의 행동을 조정하면서도 그 결과를 공개적으로 검증할 방법은 무엇일까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.