Articletechnologyreview.com·2026년 11월 20일·0

The most misunderstood graph in AI just got a major update

Quick Summary

METR의 갱신된 AI 평가에서는 검증하기 쉬운 과제의 능력 향상이 이어졌지만, 판단이 필요한 과제에서는 인간에 못 미쳐 AI 연구개발 자동화의 수준과 도래 속도를 단정하기 어려운 것으로 나타났다.

The most misunderstood graph in AI just got a major update 관련 대표 이미지

🖼️ 인포그래픽

The most misunderstood graph in AI just got a major update 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

The most misunderstood graph in AI just got a major update의 핵심 내용을 4단계로 요약한 인포그래픽
The most misunderstood graph in AI just got a major update 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

METR의 갱신된 AI 평가에서는 검증하기 쉬운 과제의 능력 향상이 이어졌지만, 판단이 필요한 과제에서는 인간에 못 미쳐 AI 연구개발 자동화의 수준과 도래 속도를 단정하기 어려운 것으로 나타났다.

📌 핵심 요약

  • METR의 시간 지평 그래프는 인간의 과제 완료 시간을 난도 기준으로 삼아 모델이 수행할 수 있는 과제의 길이를 평가한다. 기존 그래프에서는 최첨단 모델이 성공적으로 수행하는 과제의 길이가 4개월마다 두 배로 늘어났으며, 새 보고서도 일부 능력의 지수적 향상이 이어지고 있다고 밝혔다.
  • 새 평가는 인간에게 더 오랜 시간이 걸릴 것으로 추정되는 과제와 개방형 과제를 추가했다. 자동으로 성공 여부를 확인하기 쉬운 코딩·수학에서의 발전이 판단이 필요한 AI 연구개발 과제로 이어지는지가 핵심 쟁점이다.
  • AI 평가 설계 과제에서 모델이 만든 결과물 중 METR 직원이 연구에 유용하다고 인정한 것은 없었고, 철학적 논증 평가에서도 모델은 인간보다 낮은 성능을 보였다. 다만 철학적 논증 평가가 AI 연구개발 자동화와 얼마나 관련되는지는 METR 내부에서도 의견이 갈렸다.
  • Opus 5.5 등 일부 최신 모델은 평가 설계에서 METR이 ‘기준선을 간신히 넘는’ 수준으로 분류한 성과를 보였지만 실제 연구에 쓸 수준은 아니었다. 1년 전에는 모든 모델이 ‘기준선에 명백히 못 미치는’ 범주였으나, 개방형 과제의 수가 적어 향후 추세를 예측하기는 어렵다.
  • 새 보고서의 인간 완료 시간은 대부분 추정치이며, 철학적 논증 대부분은 한 사람이 평가해 측정에 한계가 있다. 별도의 대폭 가림 처리된 METR 보고서는 Anthropic에서 AI가 AI 발전 속도를 두 배로 높이고 있을 가능성을 주장했지만, 이를 인간 개입 없는 재귀적 자기개선의 실현 근거로 단정할 수는 없다.

🧩 주요 포인트

  1. 검증하기 쉬운 과제의 성능 향상 → 유망한 질문·가설·실험을 고르는 ‘연구 감각’까지 확보했는지는 별도 검증이 필요하며, 이것이 AI 연구개발 자동화의 병목일지를 두고 견해가 갈림.
  2. 개방형 과제 추가와 인간 완료 시간의 추정치 의존 → 평가 범위는 넓어졌지만, 과제 난도와 판단 능력의 향상 속도를 해석할 때 측정 불확실성을 함께 고려해야 함.
  3. Anthropic의 AI 발전 속도 두 배 가속 가능성 주장 → 연구 보조의 효과와 인간 개입 없는 재귀적 자기개선 사이의 간극을 구분해야 하며, 현재 결과만으로 자동화 시점을 확정하기 어려움.

🧠 상세 정리

1. 시간 지평 그래프가 측정하는 능력

AI 평가 비영리단체 METR의 새 보고서는 일부 AI 능력이 지수적 궤적을 따라 계속 향상되는 한편, 판단이 필요한 과제에서는 코딩만큼 뛰어나지 않다는 결과를 제시한다. 이번 보고서는 복잡한 측정 방식 때문에 널리 공유되면서도 자주 오해를 받았던 시간 지평 그래프를 갱신한 것이다. 기존 평가에서는 인간과 모델이 같은 과제들을 수행하고, 인간이 완료하는 데 걸린 시간을 각 과제의 난도 기준으로 삼았다. 그런 다음 모델이 성공적으로 수행할 수 있는 과제를 인간 기준의 소요 시간으로 나타냈으며, 기존 그래프에서는 그 길이가 4개월마다 두 배로 늘어났다. 따라서 이 수치는 모델 자체의 실행 시간이 아니라 인간의 완료 시간을 기준으로 표현한 수행 범위를 뜻한다.

2. 검증 가능한 성과에서 연구 판단으로

새 평가에는 인간에게 훨씬 긴 시간이 걸릴 것으로 추정되는 과제와 정답이 명확하지 않은 개방형 과제가 추가됐다. 원문은 코딩과 수학처럼 성공 여부를 자동으로 판정하기 쉬운 분야에서는 반복 시도의 성공과 실패를 바탕으로 강화학습을 적용하기가 상대적으로 쉽다고 설명한다. 반면 새로운 연구 방향을 선택하는 일처럼 성공 기준이 모호하거나 결과를 확인하기까지 오래 걸리는 과제는 같은 방식으로 학습하고 평가하기가 어렵다. 이러한 과제는 기존 그래프에는 없었지만 AI 연구개발 자동화에는 핵심적이라는 것이 기사의 문제의식이다. 별도의 대폭 가림 처리된 METR 보고서가 Anthropic에서 AI가 AI 발전 속도를 두 배로 높이고 있을 가능성을 주장하면서, 인간 개입 없이 후속 AI를 설계하는 재귀적 자기개선에 대한 우려도 커졌다고 전한다.

3. 평가 설계와 철학적 논증에서 드러난 한계

METR은 AI 연구개발에 필요한 판단 능력을 살펴보기 위해 모델이 새로운 AI 평가를 설계하고 직원들이 그 결과를 채점하는 과제를 포함했다. 기사는 최첨단 모델이 소프트웨어 공학에서는 거의 모든 인간보다 뛰어나다고 서술하지만, 이번에 모델이 만든 평가 중 METR 직원들이 실제 연구에 유용하다고 판단한 것은 하나도 없었다고 전한다. 또 다른 과제에서는 모델이 철학적 논증을 평가하도록 했으며, 여기서도 모델의 성능은 인간에 미치지 못했다. 다만 이 과제가 AI 연구개발 자동화에 얼마나 관련되는지는 METR 직원들 사이에서도 의견이 갈린다고 보고서가 명시했다. 결과는 판단 중심 과제의 약점을 보여주지만, 개별 과제가 연구 능력을 얼마나 잘 대표하는지에 대한 불확실성도 함께 남긴다.

4. 연구 감각이 병목이 될지를 둘러싼 논쟁

UC 버클리 부임 예정 교수이자 컴퓨터과학자인 Sayash Kapoor는 AI 평가가 더 창의적으로 바뀌어야 할 시점이라며 새로운 유형의 과제를 도입한 점을 긍정적으로 평가했다. 그는 공동연구진과 8월 공개한 사전논문에서도 AI 모델이 인간의 컴퓨터과학 연구를 독자적으로 재현하지 못했다고 보고했다며, 개방형 과제의 낮은 성과가 놀랍지 않다고 말했다. 기사에 따르면 OpenAI 역시 수요일 블로그 글에서 자사 모델들이 직원들이 맡기는 현실 과제에서 METR의 기존 평가에 포함된 더 쉽고 검증 가능한 과제만큼 잘하지 못한다고 밝혔다. Kapoor는 유망한 질문·가설·실험을 고르는 연구 감각이 AI 연구개발 자동화의 주요 병목이 될 것으로 본다. 반면 검증하기 쉬운 과제로 훈련된 모델이 결국 개방형 과제도 수행하게 될 것이라는 견해가 있으며, 검증 가능한 과제에서의 발전은 둔화 조짐을 보이지 않는다고 기사는 전한다.

5. 개선 신호와 추세 예측의 어려움

현재의 한계가 판단 중심 과제에서 발전이 없다는 뜻은 아니며, 새 보고서는 일부 최신 모델의 개선 신호도 보여준다. Opus 5.5 등은 평가 설계 과제에서 METR이 ‘기준선을 간신히 넘는’ 수준으로 부르는 성과를 보이는 경향이 있지만, 여전히 실제 연구에 사용할 수준에는 이르지 못했다. 1년 전에는 모든 모델이 ‘기준선에 명백히 못 미치는’ 범주에 속했다는 점에서 변화는 관찰된다. 그러나 이러한 과제는 설계와 채점이 어려워 보고서에 포함된 수가 적으며, 보스턴대학교의 언어학자이자 컴퓨터과학자인 Najoung Kim은 현재의 개선을 미래로 어떻게 외삽할지는 아직 불분명하다고 말했다. METR의 Matt Putz 역시 판단이 필요한 과제는 연구와 정량화가 본질적으로 어려워, 명세가 쉬운 과제만큼 명확하고 견고한 추세를 확립하기 어려울 것으로 봤다.

6. 측정 비용과 평가자 의존성이 남긴 불확실성

새 보고서는 어려운 과제를 평가 범위에 넣으면서 인간 기준의 완료 시간을 측정하는 실무적 한계에도 부딪혔다. 기존 그래프에서는 사람들이 각 과제를 실제로 수행한 시간을 측정했지만, 이번에는 수백 시간이 걸리거나 소수 전문가만 수행할 수 있는 과제의 비용과 시간 부담 때문에 대부분 추정치를 사용했다. 철학적 논증 과제에서는 대부분의 논증을 한 사람이 평가했으며, 모델의 점수는 그 특정 평가자의 판단과 얼마나 일치하는지에 따라 정해졌다. 더 많은 전문가가 참여하면 점수가 달라질 가능성이 있지만, 그렇게 평가를 확대하는 데에도 시간이 든다. 기사에 등장하는 전문가들은 개방형 과제 도입을 올바른 방향의 진전으로 평가하면서도, AI 연구개발이 자동화될지와 그 속도에 관해 확정적인 답을 얻기까지는 여전히 많은 작업이 필요하다고 강조했다.

🧾 핵심 주장 / 시사점

  • 시간 지평 그래프의 지수적 향상은 평가된 과제에서의 진전을 보여주지만, 이를 판단이 필요한 연구 활동 전체의 자동화 속도로 곧바로 해석하기는 어렵다.
  • 평가 설계 결과가 이전보다 나아졌다는 관찰과 실제 연구에 유용한 결과물이 없었다는 관찰은 양립한다. 성능 개선과 실용 수준 도달은 구분할 필요가 있다.
  • 개방형 과제를 포함하면 평가의 관련성은 높아지지만, 완료 시간 추정과 평가자 판단에 대한 의존 때문에 추세를 정밀하게 해석하기는 더 어려워진다.

✅ 액션 아이템

  • METR의 4개월마다 두 배라는 결과를 인간 완료 시간 기준의 수행 범위로 해석하고, 판단이 필요한 AI 연구개발 과제로 일반화하는 데 유보.
  • Opus 5.5의 평가 설계 성과를 검토할 때 1년 전 대비 개선과 실제 연구에 쓸 수준에 미달했다는 결과를 함께 반영.
  • Anthropic의 AI 발전 속도 두 배 가속 가능성 주장과 인간 개입 없는 재귀적 자기개선의 실현 여부를 구분해 판단.

❓ 열린 질문

  • 검증하기 쉬운 코딩·수학에서의 발전은 판단이 필요한 AI 연구개발 과제로 어느 정도 이어질 수 있는가?
  • Opus 5.5의 평가 설계 성과 개선은 과제 수가 적다는 제약 속에서도 지속적인 추세로 확인될 수 있는가?
  • 인간 완료 시간의 추정치 의존과 철학적 논증의 단일 평가자 의존은 METR 결과의 해석에 얼마나 영향을 미치는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.