AI’s recursive self-improvement might not come so quickly after all

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

새 연구는 인공지능 에이전트가 연구에 필요한 공학 작업은 수행하지만 개방형 연구의 판단력·창의성·방향 전환 능력은 부족해, 재귀적 자기 개선이 곧 실현된다는 전망을 뒷받침할 증거가 아직 충분하지 않다고 지적한다.

📌 핵심 요약

• 대규모 언어 모델은 코드 작성, 합성 훈련 데이터 생성, 반도체 최적화 등을 수행하지만, 명확한 정답이 없는 개방형 인공지능 연구까지 자율적으로 수행할 수 있는지는 검증되지 않았다.
• 연구진은 미공개 고품질 논문의 연구 질문을 에이전트가 처음부터 해결하게 하는 섀도 평가를 도입하고, 클로드 오퍼스 4.8에 논문 두 편의 주제를 맡겼다.
• 에이전트는 6일 동안 문헌을 검토하고 수백 건의 실험을 수행해 결과를 정리했지만, 원 논문 저자들은 두 결과물 모두 최상위 학회 수준에 미치지 못한다고 판정했다.
• 핵심 실패는 유망하지 않은 접근법에 너무 빨리 매달리고, 제한된 자료로 야심 찬 가설을 폐기하며, 피드백을 방법론 수정에 반영하거나 실패한 방향을 근본적으로 재설계하지 못한 데 있었다.
• 연구는 두 논문만 다뤘고 평가 편향 가능성도 있어 결론에 한계가 있지만, 자동 채점 가능한 좁은 과제와 창의적 도약이 필요한 연구 사이에서 인공지능 발전 속도가 갈릴 가능성을 제기한다.

🧩 주요 포인트

1. 평가 기준의 전환: 정답을 확인할 수 있는 벤치마크 성과만으로는 가설 선택과 증거 판단이 필요한 자율 연구 능력을 설명하기 어렵다.
2. 능력의 비대칭: 에이전트는 실험 실행과 자료 정리에서는 강했지만, 연구 방향을 고르고 실패에서 되돌아오는 상위 수준의 판단에서는 뚜렷한 한계를 보였다.
3. 전망의 조건부 조정: 단기적인 재귀적 자기 개선 전망은 약화됐지만, 좁은 최적화의 누적만으로도 목표에 도달할 수 있는지는 여전히 해결되지 않은 문제다.

🧠 상세 정리

1. 재귀적 자기 개선이라는 기대

기사의 출발점은 인공지능이 인간의 감독을 거의 받지 않고 스스로를 개선하게 될 것이라는 업계의 대담한 전망이다. 대규모 언어 모델은 이미 코드를 작성하고, 훈련용 합성 데이터를 만들며, 자신이 구동되는 반도체를 최적화하는 작업에도 활용되고 있다. 이런 능력을 근거로 일부 전망은 인공지능이 자신의 개발 속도를 반복적으로 높이는 재귀적 자기 개선이 가까워졌다고 본다. 그러나 새 연구는 현재의 에이전트가 명확한 정답이 없는 자유로운 연구를 수행하는 데 필요한 판단력과 취향, 창의성을 갖추지 못했으며, 자동화된 인공지능 연구에 대한 일부 일정이 실제 증거보다 앞서 있을 수 있다고 지적한다.

2. 기존 벤치마크가 놓친 개방형 연구

기존의 자동 연구 평가 대부분은 성공 여부를 분명하게 확인할 수 있는 좁은 과제에 초점을 맞췄다. 대표적인 예는 공학 문제를 해결하거나 작은 언어 모델을 후속 훈련한 뒤 정해진 벤치마크 점수로 결과를 확인하는 방식이다. 하지만 실제 연구에서는 어떤 가설을 검토할지, 무엇을 결정적인 증거로 인정할지, 현재 접근법을 언제 포기하고 처음부터 다시 시작할지를 판단해야 한다. 이런 결정에는 단순한 실행 능력뿐 아니라 불확실한 결과를 해석하고 여러 가능성을 비교하는 능력이 필요하다. 프린스턴대학교의 피터 키르기스와 사야시 카푸어가 이끈 연구진은 바로 이 지점이 현재의 평가에서 충분히 측정되지 않았다고 보았다.

3. 미공개 논문을 활용한 섀도 평가

연구진은 개방형 연구 능력을 시험하기 위해 고품질 미공개 논문의 질문을 에이전트에게 풀게 하는 섀도 평가를 제안했다. 시험 대상은 오픈클로 소프트웨어에서 실행한 앤스로픽의 클로드 오퍼스 4.8이었으며, 2026년 뉴립스에 제출된 논문 두 편의 연구 질문을 맡았다. 하나는 모델의 행동을 결정하는 페르소나를 가중치 편집으로 제어할 수 있는지에 관한 것이고, 다른 하나는 표 형식 데이터를 이용하는 예측 모델이 신뢰성을 잃었을 때 이를 탐지하는 방법에 관한 것이었다. 논문이 공개되지 않았기 때문에 에이전트는 훈련 데이터에서 답을 암기했거나 인터넷 검색으로 정답을 찾을 수 없었다. 각 에이전트에는 6일, 3,000달러의 앤스로픽 사용 크레딧, 실험용 그래픽처리장치 예산, 독립된 가상 컴퓨터와 공개 웹 접근 권한이 제공됐고, 원 논문 저자들이 실제 학회 심사처럼 결과물을 평가했다.

4. 공학 수행 능력과 논문 심사의 결과

에이전트는 연구 수행에 필요한 공학적 절차 자체는 상당 부분 처리했다. 관련 문헌을 검토하고, 수백 건의 실험을 실행하며, 얻은 결과를 모아 논문 형태로 정리했다. 인간 연구자들은 이러한 문헌 탐색과 실험 실행, 자료 취합 능력만 놓고 보면 에이전트가 필요한 연구 공학을 수행할 수 있었다고 평가했다. 그러나 원 논문 저자들은 완성된 두 논문을 모두 거절했으며, 최상위 인공지능 학회의 게재 수준과는 큰 차이가 있다고 판단했다. 일부 실험은 매우 작은 합성 데이터에서 가설을 시험하는 등 설계가 부적절했고, 논문의 설명도 명료하지 않았으며, 해당 연구 분야에 대한 새로운 기여를 제시하지 못했다.

5. 판단력·창의성과 방향 전환의 한계

가장 큰 문제는 에이전트가 서로 다른 아이디어를 충분히 탐색하지 않은 채 전망이 좋지 않은 접근법에 너무 빨리 전념했다는 점이었다. 에이전트는 원 논문 저자들이 초기 단계에서 검토했던 것과 비슷한 새롭고 야심 찬 가설을 만들기도 했지만, 매우 제한된 자료만 보고 이를 폐기했다. 선택한 접근법이 실패한 뒤에는 일부 세부 사항을 조정하는 작은 전환은 가능했으나, 전체 연구 방향을 근본적으로 다시 설계하거나 새로운 방법으로 처음부터 시작하지 못했다. 연구는 단지 가설을 생성하는 것만이 아니라 어느 가설을 계속 추구할지 판단하고 실패한 전략에서 되돌아오는 능력도 요구한다. 연구진은 이런 행동을 통해 현재 에이전트의 약점이 실험 실행 기술보다 창의성, 판단력, 연구적 취향에 더 가깝다고 결론지었다.

6. 피드백·자원 활용과 연구 진실성

에이전트는 하위 에이전트나 외부 인공지능 검토 도구가 제공한 피드백도 효과적으로 반영하지 못했다. 방법론을 고쳐 문제의 원인을 해결하기보다 주장의 범위를 좁히고 단서 조항을 추가하는 방식으로 대응했다. 토큰, 연산 자원, 시간도 효율적으로 배분하지 못했으며, 연구 단계별 시간 배분이나 논문 분량처럼 명시적으로 주어진 지시도 제대로 따르지 못했다. 다만 불리한 실험이나 자료를 숨기고 왜곡하는 보상 해킹은 나타나지 않았다. 하위 에이전트가 결과를 환각하거나 잘못 표현한 사례는 있었지만, 프로젝트를 감독한 총괄 에이전트가 이를 발견했으므로 최종 실패의 핵심은 의도적인 조작이 아니라 연구 판단과 조정 능력의 부족이었다.

7. 훈련 방식에 대한 설명과 연구의 한계

카푸어는 연구 공학과 개방형 연구 사이의 격차가 현재 모델의 훈련 방식에서 비롯될 수 있다고 설명한다. 강화학습은 성공 여부를 자동으로 확인할 수 있는 과제를 반복 훈련하는 데 적합하므로, 모델은 정답이 분명한 코딩이나 최적화 작업에서 빠르게 향상될 수 있다. 반면 연구 질문과 성공 조건 자체가 열려 있는 과제는 적절한 훈련 환경을 설계하고 결과를 자동으로 평가하기가 더 어렵다. 이번 연구도 두 편의 논문만 다뤘고, 심사자들이 결과물이 인공지능 에이전트가 작성한 것임을 알고 있었으며, 연구진이 실험 설계와 진행에서 상당한 재량을 가졌다는 한계가 있다. 따라서 편견이 평가에 영향을 미쳤을 가능성을 배제할 수 없지만, 연구진은 개방형 평가가 일부 객관성을 포기하는 대신 정형화된 벤치마크보다 훨씬 풍부한 능력을 시험한다고 본다.

8. 자기 개선 전망과 남은 핵심 질문

연구 결과는 인공지능 기업들이 공개적으로 강조해 온 빠른 자기 개선 전망에 신중한 해석이 필요하다는 근거를 제공한다. 앤스로픽 공동창업자 잭 클라크도 인공지능 안전 연구 자동화에서 비슷한 현상을 확인했다며, 현재 시스템이 뛰어난 공학자이면서도 직관적 창의성이 부족하고 정형화된 사고에 머무는 경향을 단기 재귀적 자기 개선 전망의 부정적 신호로 평가했다. 동시에 오픈에이아이는 자동화된 인공지능 연구자 개발을 명시적 목표로 삼고 있고, 앤스로픽도 자기 개선 인공지능을 다음 이정표로 제시하는 등 기업들의 투자 유인은 분명하다. 보스턴대학교의 나정 김은 현재 실패하고 있더라도 집중적인 투자와 노력이 이어지면 진전이 나타날 수 있다고 보면서도, 자동 채점 가능한 좁은 과제는 빠르게 발전하고 개방형 연구는 느리게 나아가는 분화 가능성을 제시했다. 결국 변환기나 새로운 대형 구조의 발명처럼 창의적 도약이 재귀적 자기 개선에 필수적인지, 아니면 훈련 속도와 벤치마크 점수를 계속 개선하는 것만으로도 도달할 수 있는지가 아직 풀리지 않은 핵심 질문이다.

🧾 핵심 주장 / 시사점

• 자동화 가능성은 단일한 척도가 아니다. 실험 실행과 코드 작성이 자동화되더라도 연구 질문의 선택, 증거의 해석, 실패한 전략의 폐기까지 자동화됐다고 볼 수는 없다.
• 현재 훈련 체계는 결과를 자동 채점할 수 있는 과제에 유리하므로, 좁은 공학 과제와 개방형 연구 사이의 발전 속도 차이가 지속될 가능성이 연구 결과에서 드러난다.
• 이번 결과는 재귀적 자기 개선이 불가능하다는 결론이 아니라 단기 실현을 뒷받침할 증거가 부족하다는 뜻이며, 창의적 도약 없이 좁은 최적화의 누적만으로 목표에 도달할 수 있는지는 여전히 미해결 상태다.

✅ 액션 아이템

• 재귀적 자기 개선의 실현을 성급히 단정하지 말고, 개방형 인공지능 연구에서 에이전트의 판단력과 방향 전환 한계를 반영한 실험 설계를 선행한다.
• 클로드 오퍼스 4.8 섀도 평가처럼 미공개 고품질 논문 두 편을 대상으로 에이전트의 6일 문헌 검토·수백 건 실험 기록을 동일 조건으로 재평가한다.
• 최상위 학회 수준 미달 결과를 근거로 벤치마크 성과와 가설 선택·증거 판단을 분리하는 평가 기준을 재정의한다.

❓ 열린 질문

• 단기적인 재귀적 자기 개선 전망에서 에이전트의 실패에서 되돌아오는 판단이 실제로 가설 선택을 바꿔 주는가?
• 클로드 오퍼스 4.8 섀도 평가와 같은 미공개 고품질 논문 설정에서 벤치마크 성과만으로는 연구 방향 판단에서 어떤 편향이 남는가?
• 에이전트가 유망하지 않은 접근법에 너무 빨리 매달리는 문제를 막으려면 어느 지점에서 어떤 중단 기준을 두어야 가능한가?