OpenAI''s Cofounder & Research Chief Explain Self-Improving AI
Quick Summary
OpenAI’s Cofounder & Research Chief Explain Self Improving AI를 중심으로, 두 연구자는 AI가 다음 모델을 개발하는 연구를 돕는 일까지 재귀적 자기개선(RSI)에 포함한다. 모델이 아이디어 발굴부터 후속를 핵심 판단 포인트로 압축 정리한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
OpenAI’s Cofounder & Research Chief Explain Self-Improving AI를 중심으로, 두 연구자는 AI가 다음 모델을 개발하는 연구를 돕는 일까지 재귀적 자기개선(RSI)에 포함한다. 모델이 아이디어 발굴부터 후속를 핵심 판단 포인트로 압축 정리한다.
📌 핵심 요점
- 두 연구자는 AI가 다음 모델을 개발하는 연구를 돕는 일까지 재귀적 자기개선(RSI)에 포함한다. 모델이 아이디어 발굴부터 후속 모델 개발까지 독자적으로 수행하는 ‘완전한 RSI’는 아직 도달하지 않은 단계다.
- 첸에 따르면 Codex는 범위가 정해진 실험을 수행하고 결과를 정리할 수 있다. 슐먼은 AI에 며칠을 맡겼을 때보다 자신이 중간 결과를 읽고 새 질문을 던졌을 때 같은 아이디어를 더 멀리 발전시켰다고 설명한다.
- 연구 안목은 어떤 아이디어가 최초의 논문을 넘어 오래 쓰이고 다른 아이디어와 결합할지 가늠하는 능력이다. 두 연구자는 모델이 세부 설정을 조정하는 데 비해 이런 아이디어를 고르는 데에는 약하다고 본다.
- 사전학습에서는 모델이 다음 단어를 얼마나 잘 예측하는지 퍼플렉시티로 비교할 수 있다. 반면 실제 과제에서는 기존 평가의 변별력이 빨리 떨어지고, 새 아이디어를 큰 규모에서 검증하는 데 연산 자원이 든다.
- 연구 자동화는 AI가 장시간 작업하며 사람의 의도에서 벗어날 위험을 키우는 한편, 그런 이탈을 찾아 고치는 연구에도 쓰인다. 영상은 자동화된 연구가 정렬 실패 10가지의 개선책을 찾았다는 앤트로픽의 실험 결과를 소개한다.
🧩 배경과 문제 정의
AI가 더 나은 AI를 만드는 연구에 참여하면, 그 성과가 다음 세대 모델의 연구 능력을 높여 다시 개발을 앞당길 수 있다. 세라 왕은 이 가능성을 논의하기 위해 OpenAI 연구책임자 마크 첸과 OpenAI 공동창업자이자 Thinking Machines 수석과학자인 존 슐먼을 인터뷰한다. 대화의 출발점은 지금 관찰되는 연구 가속이 어디서 오는지, 그리고 연구 방향까지 AI에 맡기려면 무엇이 더 필요한지다.
🕒 시간순 섹션별 상세정리
1. 자기개선이라는 전망의 출발점
- 진행자는 자동화된 AI 연구의 효과가 누적되면 2027년부터 모델 능력이 가파르게 오를 수 있다는 가상의 곡선을 보여준다. 오래된 사고실험에 붙은 이름이 재귀적 자기개선이다. [00:36]
- 첸은 RSI의 정의가 연구자마다 다르다고 드러낸다. 슐먼은 현재 여러 과제에서 AI의 능력이 뛰어나도 전문가가 함께할 때 더 나은 결과가 나온다고 보여준다. [01:32]
2. 모델을 만드는 과정에서 AI가 맡는 일
- 슐먼은 출시할 모델의 학습 과정과 그에 앞서 아이디어를 시험하는 소규모 탐색 연구를 구분한다. 그는 AI가 이 연구를 더 빠르게 하거나 결과를 개선하는 일까지 RSI로 본다. [02:35]
- 첸은 AI를 쓰지 않았을 경우와 비교해 연구의 진척 속도가 얼마나 달라졌는지에 주목한다. 진행자는 모델이 후속 모델을 완전히 독자적으로 만드는 단계에는 아직 이르지 않았다고 정리한다. [03:14]
3. 연구 인턴이 할 수 있는 일과 전문가의 역할
- 첸이 말하는 ‘AI 연구 인턴’은 연구자가 범위를 정한 실험을 수행하고 결과를 돌려주거나 진행 상황을 살핀다. 첸은 Codex가 실험 전반에 걸쳐 관리한 연산량으로 이런 활용 규모를 측정한다고 보여준다. [03:53]
- 슐먼의 사례에서 AI는 며칠 동안 흥미로운 아이디어와 실험 결과를 냈지만 처음 요청한 목표에는 미치지 못했다. 슐먼이 결과를 읽으며 AI가 떠올리지 못한 질문을 던지자 연구가 더 진전됐다. [04:42]
4. 연구 속도와 자율성을 읽는 서로 다른 수치
- 첸은 아이디어 발견과 연구 결과의 재활용을 기준으로 보면 RSI가 자신의 척도에서 약 25~50% 지점에 와 있다고 추정한다. [05:12]
- 진행자는 METR가 앤트로픽의 지난 1년간 연구 진척 속도가 약 2배로 빨라졌다고 추정한 보고서를 보여준다. 그는 이 수치에 사람이 AI로 연구를 가속한 효과가 주로 반영됐을 가능성을 짚어 본다. [05:36]
5. 좋은 연구 질문을 고르는 안목
- 슐먼은 연구 안목을 시간이 지나도 중요하고 다른 아이디어와 결합할 수 있는 발상을 알아보는 능력으로 보여준다. 인터뷰에서는 모델이 이런 판단보다 이미 정해진 실험의 세부 설정 조정에 몰두하는 경향이 나온다. [06:25]
- 논문을 폭넓게 읽는 것과 자신의 예측이 빗나가는 경험에서 배우는 것은 연구자에게 다른 종류의 지식을 준다. 슐먼은 연구자가 제안된 아이디어를 평가한 피드백으로 모델에 안목을 가르칠 가능성을 제시한다. [07:45]
6. 연구가 성공했는지 측정하는 법
- 사전학습에는 퍼플렉시티라는 비교 기준이 있다. 정답인 다음 단어를 모델이 얼마나 예상 밖으로 여겼는지 측정해 예측 성능의 변화를 파악한다. [08:47]
- 실제 과제를 평가하는 시험은 유효 기간이 짧아지고 있다. 첸은 모델 간 차이를 드러낼 더 어려운 평가를 만들고, 그 제작 과정도 자동화하는 일이 연구의 일부가 됐다고 드러낸다. [09:11]
7. 아이디어를 검증하는 데 드는 연산량
- 후속 모델이 더 적은 연산으로 개선될 수 있는지는 열린 문제다. AI 연구에서는 가설의 논리가 타당해도 실제 학습 실험으로 결과를 확인해야 한다. [10:02]
- 첸은 대규모 학습 결과를 잘 예측하는 작은 실험을 찾는 데 AI가 기여할 수 있다고 본다. 장기적으로는 가용 연산량이 개선 속도를 제한할 가능성도 제기한다. [10:43]
8. 정렬의 위험과 자동화된 안전 연구
- 장시간 일하는 모델은 중간 목표를 좇다가 사람의 의도에서 벗어날 수 있다. 첸은 모델을 활용한 모니터링이 이미 정렬 연구에 쓰이며, 더 강한 모델이 다른 모델의 행동을 평가하는 역할도 커질 것으로 본다. [11:51]
- 영상은 OpenAI가 일부 문제 행동을 모델이 정직하게 보고하도록 훈련한 연구를 보여준다. 이어 앤트로픽의 실험에서 자동화된 연구가 정렬 실패 10가지의 개선책을 찾았고, 일부 개선책은 거의 5배 큰 모델에도 적용됐다고 전해진다. [13:13]
9. 누구의 가치에 맞출 것인가
- 첸은 사전학습과 강화학습을 하던 연구자들이 자발적으로 정렬 문제에 참여하는 점을 낙관의 근거로 든다. 슐먼은 가치관이 다양한 만큼 사용자가 모델을 조정할 여지가 필요하며, 이를 뒷받침할 정렬 연구가 여러 곳에서 공개적으로 이뤄지기를 바란다. [15:01]
- 왕은 RSI가 여러 분야의 발견과 AI 안전 연구를 앞당길 가능성을 기대한다. 다만 현재 가속의 원천과 완전한 연구 자동화까지 남은 거리를 함께 보면, 당분간 인간의 판단이 큰 역할을 할 것이라고 마무리한다. [15:57]
🧾 결론
- 현재 연구 가속을 가장 잘 보여주는 장면은 사람이 질문을 정하고, AI가 실험을 수행하고, 사람이 결과를 해석해 다음 질문을 바꾸는 과정이다.
- 완전한 RSI에 얼마나 가까운지 판단하려면 모델이 고른 연구 주제가 장기적으로 유용했는지, 작은 실험의 성과가 더 큰 모델에서도 이어졌는지 확인해야 한다.
- 진행자 세라 왕은 RSI가 정렬 연구까지 앞당길 수 있다고 기대한다. 동시에 능력 향상 속도에 관한 전망에는 불확실성이 크며, 당분간 사람의 판단이 중요하다고 결론짓는다.
📈 투자·시사 포인트
- 연구 생산성을 평가할 때는 AI가 처리한 실험량과 그 결과 달라진 모델 성능을 함께 볼 필요가 있다. 첸이 소개한 Codex 관리 연산량은 AI에 맡긴 업무의 규모를 보여주는 지표다.
- 연산 효율을 가늠할 때는 소규모 실험이 대규모 학습 결과를 얼마나 잘 예측하는지가 중요하다. 이 예측이 정확할수록 비용이 큰 실험에 앞서 유망한 아이디어를 추릴 수 있다.
- 성능이 빠르게 오르는 분야에서는 평가 자체가 연구 역량이 된다. 기존 시험이 모델 간 차이를 가려내기 어려워진 뒤에도 더 어려운 시험을 만들고 정렬 개선 효과를 검증할 수 있는지 살펴볼 만하다.
⚠️ 불확실하거나 확인이 필요한 부분
- 도입부 그래프에서 2027년부터 능력이 급상승하는 곡선은 연구 자동화의 효과가 누적된다는 가정에 따른 시나리오다. 영상은 그 시점이나 상승 폭을 입증하는 관측치를 제시하지 않는다.
- 첸이 언급한 RSI 진척도 25~50%는 모델이 연구 결과를 다음 아이디어에 반영하는 능력에 대한 개인적 추정이다. RSI의 정의부터 연구자마다 달라 이 수치를 공통 척도로 쓰기 어렵다.
- 영상이 인용한 METR의 약 2배 추정치는 앤트로픽에서 지난 1년간 연구 진척 속도가 얼마나 빨라졌는지에 관한 것이다. 진행자는 사람이 AI를 활용한 효과가 주된 설명일 가능성이 높다고 본다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- RSI 성과를 접하면 연구 질문을 고른 주체, 실험을 수행한 주체, 결과를 해석한 주체를 각각 기록한다.
- 연구가 빨라졌다는 수치에는 비교 기간과 기준선을 적고, 측정 대상이 실험량인지 연구 진척 속도인지 모델 성능인지 확인한다.
- 소규모 실험의 개선이 더 큰 모델과 새로운 평가 과제에서도 재현됐는지 확인한다.
- 정렬 성과를 검토할 때 모델의 자기보고가 더 정직해진 결과와 문제 행동 자체가 줄어든 결과를 구분한다.
❓ 열린 질문
- 아직 영향력이 드러나지 않은 연구 아이디어에 대해 모델이 좋은 판단을 내렸는지 어떻게 평가할 수 있을까?
- 소규모 실험은 어디까지 대규모 학습을 대신해 아이디어를 검증할 수 있으며, 어느 지점부터 연산량이 연구 속도를 제한할까?
- 사용자마다 중시하는 가치가 다를 때, 각자가 AI의 행동을 조정하면서도 그 결과를 공개적으로 검증할 방법은 무엇일까?