9 big questions benchmarks can help answer

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

에포크 AI는 직업 자동화와 경제적 파급부터 모델 간 격차, 추론 확장, 인공지능 연구 자동화, 분포 밖 일반화와 새로운 아이디어 창출까지 아홉 가지 핵심 질문을 통해 벤치마크가 실제 인공지능 발전을 어떻게 측정해야 하는지 제시한다.

📌 핵심 요약

• 현재 인공지능의 업무 활용은 대체로 과업의 일부에 머물며, 개방적이고 복잡한 직무 전체를 수행할 수 있는지는 노동시장 변화와 모델 개발사의 수익 성장을 가늠하는 핵심 질문이다.
• 사이버보안, 신속하고 신뢰할 수 있는 컴퓨터 사용, 현장 기술자 지원처럼 경제적 가치가 큰 영역의 역량을 추적하면 다음 대규모 인공지능 도입 계기를 조기에 포착할 수 있다.
• 선도 모델과 후발 모델의 격차가 영역별로 얼마나 일관적인지는 기업의 가치 포착과 미국·중국 간 경쟁에 영향을 주며, 벤치마크 점수만 높이는 벤치맥싱은 이러한 격차를 왜곡할 수 있다.
• 여러 영역의 벤치마크 점수가 함께 상승하는 현상은 개별 영역별 최적화의 결과일 수도 있고 일반 역량이나 장기적으로 일관된 추론 능력이라는 공통 요인의 결과일 수도 있다.
• 인공지능 연구개발 자동화, 실행 중 학습, 추론 계산량 확대, 강화학습의 분포 밖 일반화, 새로운 아이디어 창출을 측정하는 벤치마크는 향후 급격한 역량 변화의 선행 지표가 될 수 있다.

🧩 주요 포인트

1. 좁고 정형화된 과업에서는 이미 상당한 성과가 관찰되지만 실제 직무는 더 개방적이므로, 노동시장 영향을 판단하려면 전체 작업 흐름과 현실적 결과물을 평가해야 한다.
2. 종합 점수의 상승과 모델 간 격차는 경제적 우위나 일반 역량을 자동으로 증명하지 않으므로, 영역별 편차·현실 적합성·점수 최적화 가능성을 함께 검토해야 한다.
3. 반복 학습과 장시간 추론, 연구 자동화와 아이디어 창출을 측정하면 배포 전 평가의 한계와 급격한 역량 향상 가능성을 살필 수 있지만, 비용·현실성·검증 난도가 중요한 제약으로 남는다.

🧠 상세 정리

1. 1. 인공지능은 직무 전체를 수행할 수 있는가

첫 번째 질문은 인공지능이 좁게 정의된 과업을 넘어 복잡하고 개방적인 직무 전체를 맡을 수 있는지에 관한 것이다. 에포크 AI의 조사에 따르면 사람들이 업무에서 인공지능을 사용할 때에도 아직은 대부분 한 과업의 일부에만 활용하고 있으며, 이 상태가 바뀐다면 더 큰 노동시장 혼란과 모델 개발사의 빠른 수익 성장을 예고할 수 있다. 기존 벤치마크는 버그 수정, 수학 문제 풀이, 보고서 작성처럼 범위가 비교적 분명한 과업에 집중해 왔다. 미러코드는 구조화된 환경에서 대규모 소프트웨어 패키지를 처음부터 구현하게 하고, 원격 노동 지수는 프리랜서 플랫폼의 실제 프로젝트를 가져와 인공지능 결과물과 인간의 기준 작업을 사람이 비교 평가한다. 안돈 카페는 한발 더 나아가 인공지능 에이전트가 실제 카페를 소유하고 운영하게 하며, 저자는 향후 전통적 점수형 벤치마크뿐 아니라 이런 반복적 현실 사례 연구가 더 많아질 것으로 본다.

2. 2. 경제적 영향이 큰 영역에서 진전하고 있는가

두 번째 질문은 인공지능이 장차 큰 경제적 효과를 낼 것으로 예상되는 역량에서 실제로 진전하고 있는지를 묻는다. 거의 모든 주제에 관해 일관된 대화를 할 수 있게 된 시점이 챗GPT의 전환점이었다면, 거의 모든 코딩 과업을 어느 정도 시도할 수 있게 된 시점은 클로드 코드의 전환점이었으며, 다음 전환점을 정확히 예측할 수는 없어도 유력한 역량에 대한 측정은 가능하다. 현재 두드러진 분야는 사이버보안으로, 거의 모든 취약한 시스템을 해킹할 수 있는 시점이 언제인지가 중요하며 관련 벤치마크는 허깅페이스 사건 전부터 경고 신호를 보였다고 저자는 평가한다. 빠르고 신뢰할 수 있는 컴퓨터 사용 역시 채팅 앱을 넘어 에이전트형 활용을 확산시킬 가능성이 있지만, 필요한 속도와 신뢰성의 정확한 기준은 아직 분명하지 않다. 로봇 자체가 아니더라도 인공지능이 공장 현장의 숙련도가 낮은 기술자에게 고장 난 기계의 수리를 안내할 수 있는지 같은 물리 산업의 과업을 측정하면, 아직 도달하지 못한 고가치 역량까지 더 구체적으로 추적할 수 있다.

3. 3. 선도 모델과 후발 모델의 격차는 영역마다 일관적인가

세 번째 질문은 공개 가중치와 비공개 가중치 모델, 미국과 중국, 미국 내 최선도 기업과 차선도 기업 사이의 역량 격차가 여러 영역에서 얼마나 일관적으로 나타나는지를 다룬다. 이 격차는 선도 개발사가 경쟁자보다 충분한 가치를 확보해 대규모 기반시설 투자를 지속할 수 있는지와 연결되며, 미국과 중국의 비교에는 지정학적 의미도 더해진다. 공개 가중치 개발사가 제한된 자원을 코딩 같은 몇몇 중심 영역에 집중하고 경제적으로 중요한 긴 꼬리 영역을 소홀히 한다면, 공개 모델과 비공개 모델의 실제 격차는 대표 벤치마크에서 보이는 것보다 클 수 있다. 극단적인 사례가 벤치맥싱으로, 개발사가 벤치마크가 의도한 실질 역량은 뒤처진 채 높은 점수를 얻는 데 우선순위를 두는 현상이다. 세심한 벤치마크는 이런 경제적 질문을 밝히는 데 도움을 주지만, 승자독식 효과가 강하면 작은 역량 차이만으로도 대부분의 가치가 한쪽에 집중될 수 있어 벤치마크만으로 결론을 내리기는 어렵다.

4. 4. 서로 다른 벤치마크 점수는 왜 함께 움직이는가

에포크 역량 지수는 여러 벤치마크의 점수를 하나의 일반적인 인공지능 역량 지표로 결합하며, 이는 명목상 서로 다른 영역의 점수들이 높은 상관관계를 보이기 때문에 가능하다. 한 가지 설명은 기업들이 출시 때마다 여러 영역에서 동시에 개선을 보이도록 각 영역의 학습 데이터를 별도로 확보하는 등 독립적인 작업을 수행한다는 것으로, 이 경우 점수가 함께 오르는 데 더 깊은 공통 원인이 없을 수 있다. 다른 설명은 인간의 지능지수와 비슷한 일반 역량의 기저 요인이 존재한다는 것이며, 포화되기 전 메트르의 시간 지평 측정값의 로그가 에포크 역량 지수와 높은 상관관계를 보였다는 점이 관련 단서로 제시된다. 저자는 인공지능이 일관된 추론을 유지할 수 있는 최대 문맥 길이가 지수 상승을 크게 좌우할 가능성도 제시하지만, 어느 해석도 확정하지 않는다. 이 지수가 현실의 영향과 직접 연결되는 양을 측정한다고 설명할 수 있다면 역량 성장의 가속을 더 명확히 해석할 수 있고, 나아가 최전선 지수 한 점의 증가와 수익 사이의 경제적 관계도 탐색할 수 있다.

5. 5. 인공지능은 인공지능 연구개발을 수행할 수 있는가

다섯 번째 질문은 인공지능이 인공지능 연구개발 자체를 자동화할 수 있는지이며, 이는 재귀적 자기 개선이라는 근본적인 역량 동인과 연결된다. 자동화된 연구개발의 일부 형태는 역량이 폭주하는 지능 폭발로 이어질 수 있으므로, 포괄적인 연구개발 벤치마크 묶음은 그러한 변화를 미리 보여주는 선행 지표가 될 수 있다. 실제 인공지능 연구개발은 복잡하고 다양한 능력을 요구하기 때문에 벤치마크도 과정의 여러 측면을 포괄해야 하며, 단일 지표에 집중하거나 더 큰 단위의 연구 성과를 만들어 내는 능력을 시험하는 방식이 모두 가능하다. 가장 중요한 난점 가운데 하나는 현실성으로, 결정적인 연구개발이 외부에 불투명한 최전선 인공지능 기업 내부에서 이루어져 외부 평가자가 실제 환경을 재현하기 어렵다. 또 다른 난점은 비용으로, 현실적인 규모의 연구에는 상당한 그래픽처리장치 자원이 필요하기 때문에 이를 벤치마크에 제공하는 일은 어떤 규모에서는 비싸고 더 큰 규모에서는 현실적으로 불가능할 수 있다.

6. 6. 인공지능은 실행 중에 스스로 학습할 수 있는가

여섯 번째 질문은 지속 학습과 관련해, 인공지능이 가중치를 갱신하지 않고 주로 문맥을 관리하면서 같은 과업을 반복 시도해 성능을 높일 수 있는지를 묻는다. 이런 능력이 나타나면 경제적으로 가치 있는 과업이나 위험한 과업에서 배포 후 역량이 계속 달라질 수 있으므로, 배포 전 시험 결과만으로 실제 역량의 상한을 정하기 어려워진다. 에포크 AI의 이비알 벤치는 인공지능이 전략적으로 풍부하고 장기간 이어지는 캠페인형 보드게임을 반복해서 플레이하도록 해 이 가능성을 측정한다. 현재 인공지능은 처음부터 이 게임을 못하는 것은 아니지만, 여러 차례 플레이하면서 성능이 향상되는 뚜렷한 긍정적 학습 궤적은 거의 또는 전혀 보이지 않았다. 따라서 이 벤치마크의 현재 결과는 실행 중 학습이 이미 확인됐다는 뜻이 아니라, 향후 그러한 역량이 등장할 경우 반복 수행 과정의 변화를 통해 식별하기 위한 기준을 제공한다.

7. 7. 추론 계산량을 늘릴 때 얻는 수익은 어느 정도인가

일곱 번째 질문은 인공지능 시스템이 충분히 오래 생각할 수 있다면 어떤 과업이든 수행할 수 있는지, 즉 추론 단계의 계산량 확대가 얼마나 큰 성능 향상을 주는지를 다룬다. 기존 실험에서는 대체로 최선의 경우에도 로그 형태의 향상이 나타나므로, 많은 과업에서 필요한 계산 규모가 비현실적으로 클 수 있다. 다만 현재는 지나치게 많은 토큰이 필요해 실용적이지 않은 역량도 추론 비용 하락이나 추가 학습에 따라 접근 가능한 범위로 들어올 수 있다. 측정상의 첫 번째 난점은 추론 계산량을 늘리는 최적 방법을 모른다는 것으로, 순차적으로 더 오래 생각하게 하는 방법 외에 다중 에이전트 구조나 특화된 실행 장치가 더 효율적일 수 있다. 두 번째 난점은 영역별 차이로, 결과를 확인하며 점진적으로 개선하기 쉬운 영역은 로그 향상이 오래 지속될 수 있지만 검증이 어려운 영역은 더 일찍 정체할 가능성이 있어 벤치마크도 이러한 차이를 구분해야 한다.

8. 8. 강화학습은 영역과 학습 분포 밖으로 얼마나 일반화되는가

여덟 번째 질문은 인공지능 역량 향상에서 더 많고 품질 높은 학습 데이터가 차지하는 비중과, 학습 분포에서 멀리 떨어진 과업에서 성능이 얼마나 약해지는지를 묻는다. 가장 강한 형태의 일반화 실패는 현재 관찰되지 않는데, 인공지능은 사후 학습에 포함됐을 가능성이 낮은 비공개 게임의 퍼즐 벤치마크에서도 향상됐고 미러코드에서는 저자원 언어와 고자원 언어를 사용할 때 거의 비슷한 성과를 보였다. 이는 현재 시스템의 추론이 이미 상당히 유연하다는 근거지만, 학습 분포에서 더 멀어질수록, 특히 정답이나 성과를 확인하기 어려운 과업에서는 일반화 정도가 여전히 불분명하다. 저자는 성능 저하가 크지 않고 시스템이 모든 영역에서 동시에 나아지는 임계점을 넘었을 가능성, 이른바 강화학습의 GPT-3 순간이라는 가설도 제시하지만 사실로 단정하지 않는다. 이를 판별하려면 학습 분포와 멀다는 근거가 강하면서도 인공지능이 실패할 다른 원인이 결과를 흐리지 않는 벤치마크가 필요하다.

9. 9. 인공지능은 새로운 아이디어를 만들어 낼 수 있는가

마지막 질문은 인공지능이 인간이 새로운 아이디어를 만들고 시험하고 발전시키는 기존 혁신 과정을 얼마나 바꿀 수 있는지에 관한 것이다. 인공지능이 아이디어의 생산 속도와 가치를 크게 높인다면 전례 없는 영향을 낼 수 있지만, 실제 물리적 시험 같은 다른 병목이 전체 과정을 늦출 가능성도 있어 결과는 아직 분명하지 않다. 저자는 아직 천재들로 가득 찬 데이터센터가 존재한다고 보지 않으며, 가장 앞선 분야로 보이는 수학에서도 지금까지의 인공지능 통찰은 인간이 정기적으로 떠올리는 종류라는 것이 수학자들의 대체적인 평가라고 설명한다. 프런티어매스 공개 문제는 인간이 새로운 아이디어라고 인식할 만한 발상을 요구할 가능성이 적절히 높은 문제를 선택함으로써, 이러한 상태가 달라지는 사례를 더 쉽게 찾는 것을 목표로 한다. 따라서 인공지능이 문제를 해결한다면 그 자체로 혁신을 확정하는 것이 아니라, 예상 밖의 아이디어가 사용됐는지 사람이 자세히 조사할 가치가 있는 후보 사례가 된다.

🧾 핵심 주장 / 시사점

• 높은 벤치마크 점수 하나만으로 실제 직무 수행력이나 경제적 우위를 판단하기 어렵고, 현실적 작업 환경·영역별 격차·벤치맥싱 가능성을 함께 평가해야 한다.
• 벤치마크의 역할은 정적인 단일 과업의 정답률 측정에서 벗어나 장기 프로젝트, 실제 운영, 반복 수행에 따른 학습 궤적, 추론 자원별 성능 변화까지 관찰하는 방향으로 확장될 필요가 있다.
• 인공지능 연구 자동화와 새로운 아이디어 창출 같은 중대한 변화에서 벤치마크는 확정적 예언보다 선행 신호를 제공하며, 현실성·비용·결과 검증·물리적 병목을 분리해 해석해야 한다.

✅ 액션 아이템

• 전체 작업 흐름과 현실적 결과물을 평가해 좁고 정형화된 과업의 성과가 실제 직무와 노동시장 변화로 이어지는 조건을 정의한다.
• 사이버보안과 현장 기술자 지원의 역량을 영역별로 추적하고, 벤치맥싱에 따른 점수 최적화와 현실 적합성의 차이를 비교한다.
• 장시간 추론·연구개발 자동화·새로운 아이디어 창출을 측정할 때 비용·현실성·검증 난도를 함께 기준으로 정한다.

❓ 열린 질문

• 개방적이고 복잡한 직무 전체를 수행하는 능력이 실제 노동시장 변화와 모델 개발사의 수익 성장 중 무엇을 먼저 설명할 수 있는가?
• 여러 영역의 벤치마크 점수 상승이 일반 역량인지 개별 영역별 최적화인지, 영역별 편차와 현실 적합성으로 어떻게 판단할 것인가?
• 실행 중 학습과 강화학습의 분포 밖 일반화를 측정하는 벤치마크는 비용·현실성·검증 난도의 제약을 감수할 만큼 급격한 역량 향상을 예고할 수 있는가?