🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Epoch Capabilities Index는 여러 AI 벤치마크 점수를 하나의 일반 능력 척도로 결합해 모델 간 비교를 돕는 Epoch AI의 지표입니다.

📌 핵심 요약

• ECI는 40개 이상의 서로 다른 AI 벤치마크를 결합해 단일한 일반 능력 점수를 만들며, 개별 벤치마크가 포화된 뒤에도 모델 간 장기 비교를 가능하게 하려는 목적을 갖습니다.
• 점수는 벤치마크의 상대적 난이도와 모델의 성능을 함께 추정해 산출되며, 더 어려운 벤치마크에서 좋은 성과를 내는 모델일수록 더 높은 ECI를 받을 수 있습니다.
• 도메인별 ECI는 수학, 소프트웨어 엔지니어링 등 특정 영역의 벤치마크만 사용해 일반 ECI와 비교 가능한 척도로 표시하지만, 장기적인 영역별 발전 속도를 직접 비교하는 용도로는 설계되지 않았습니다.
• ECI 값은 절대값 자체로 해석할 수 없고 모델 간 상대 비교에 의미가 있으며, 현재 척도는 Claude 3.5 Sonnet을 130, GPT-5를 150으로 두도록 조정되어 있습니다.
• 문서는 벤치마크 선택 기준, 점수 변동 이유, 개발사 보고 점수의 편향 가능성, 벤치마크 최적화 문제, 모델과 벤치마크가 포함되지 않는 이유 등 해석상의 주의점을 함께 설명합니다.

🧩 주요 포인트

1. ECI는 40개 이상의 서로 다른 AI 벤치마크를 결합해 단일한 일반 능력 점수를 만들며, 개별 벤치마크가 포화된 뒤에도 모델 간 장기 비교를 가능하게 하려는 목적을 갖습니다.
2. 점수는 벤치마크의 상대적 난이도와 모델의 성능을 함께 추정해 산출되며, 더 어려운 벤치마크에서 좋은 성과를 내는 모델일수록 더 높은 ECI를 받을 수 있습니다.
3. 도메인별 ECI는 수학, 소프트웨어 엔지니어링 등 특정 영역의 벤치마크만 사용해 일반 ECI와 비교 가능한 척도로 표시하지만, 장기적인 영역별 발전 속도를 직접 비교하는 용도로는 설계되지 않았습니다.
4. ECI 값은 절대값 자체로 해석할 수 없고 모델 간 상대 비교에 의미가 있으며, 현재 척도는 Claude 3.5 Sonnet을 130, GPT-5를 150으로 두도록 조정되어 있습니다.
5. 문서는 벤치마크 선택 기준, 점수 변동 이유, 개발사 보고 점수의 편향 가능성, 벤치마크 최적화 문제, 모델과 벤치마크가 포함되지 않는 이유 등 해석상의 주의점을 함께 설명합니다.

🧠 상세 정리

1. ECI의 목적과 기본 개념

Epoch Capabilities Index, 즉 ECI는 여러 AI 벤치마크 점수를 하나의 일반 능력 척도로 통합하기 위해 만들어진 지표입니다. 문서는 ECI가 특정 과제 하나의 성적을 보여주기보다, 다양한 작업에 걸쳐 유용한 기저 능력을 포착하려는 시도라고 설명합니다. 이렇게 여러 벤치마크를 결합하면 한 벤치마크가 포화되거나 더 이상 모델 차이를 잘 구분하지 못하는 상황에서도 모델 간 비교를 이어갈 수 있습니다. 따라서 ECI는 개별 벤치마크의 순위표가 아니라, 시간이 지나며 변화하는 모델 능력의 상대적 위치를 비교하기 위한 추상적 척도에 가깝습니다.

2. 일반 ECI 산출 방식

일반 ECI는 40개 이상의 서로 다른 벤치마크 점수를 사용해 단일한 일반 능력 점수를 생성합니다. 핵심 아이디어는 여러 모델이 여러 벤치마크에서 동시에 평가된 지점을 이용해, 각 벤치마크가 상대적으로 얼마나 어려운지를 통계적으로 이어 붙이는 것입니다. 벤치마크의 난이도는 사람이 임의로 정하는 것이 아니라, 겹치는 모델 평가 결과를 통해 추정됩니다. 개별 모델은 더 어렵고 정보량이 큰 벤치마크에서 높은 성과를 낼수록 더 높은 ECI 점수를 얻습니다. 문서는 이러한 방법론의 개요와 더 자세한 기술 설명이 별도의 방법론 문서와 논문에 제공된다고 밝힙니다.

3. 도메인별 ECI의 역할

도메인별 ECI는 일반 ECI의 방법론과 벤치마크 매개변수를 대체로 유지하되, 수학이나 소프트웨어 엔지니어링처럼 특정 영역에 속한 벤치마크만 사용해 점수를 계산합니다. 이를 통해 한 모델이 일반적인 능력에 비해 특정 영역에서 더 강한지, 또는 더 약한지를 확인할 수 있습니다. 예를 들어 어떤 LLM의 수학 ECI가 일반 ECI보다 높다면, 그 모델이 비수학 벤치마크보다 수학 벤치마크에서 상대적으로 더 잘 수행한다는 뜻으로 해석됩니다. 다만 도메인별 ECI는 모든 도메인의 값이 일반 ECI와 같은 전체 증가 속도에 맞춰 스케일링되므로, 영역별 장기 발전 속도를 그대로 비교하는 지표는 아닙니다.

4. 사이버 ECI의 예외적 구성

문서는 사이버 ECI가 다른 도메인별 ECI와 다르게 구성된다고 명시합니다. 일반적인 도메인별 ECI는 일반 ECI를 만들 때 사용된 벤치마크의 부분집합을 활용하지만, 사이버 ECI는 일반 ECI에 포함되지 않는 여러 사이버 보안 벤치마크를 추가로 반영합니다. 이 때문에 사이버 ECI는 일반 ECI보다 덜 자주 업데이트됩니다. 또한 충분한 사이버 벤치마크 결과가 있는 모델은 일반 ECI 산출에 필요한 최소 기준을 충족하지 못하더라도 사이버 ECI를 받을 수 있으며, 이런 모델은 탐색기에서 일반 ECI 없음이라는 표시가 붙는다고 설명됩니다.

5. ECI 점수 해석 원칙

ECI 점수의 절대값은 그 자체로 의미가 없으며, 의미 있는 해석은 모델 간 비교에서 나온다고 문서는 강조합니다. ECI 척도는 선형으로 설계되어 있어 이론적으로 100에서 110으로 오르는 10점과 140에서 150으로 오르는 10점은 같은 크기의 향상으로 볼 수 있습니다. 그러나 ECI 단위와 다른 관심 지표가 반드시 선형 관계를 갖는 것은 아니며, 문서는 출시 시점에 ECI 5점 상승이 METR Time Horizon의 약 두 배 증가와 대략 대응하는 것처럼 보였다고 예시를 듭니다. 현재 점수 범위는 편의를 위해 Claude 3.5 Sonnet을 130, GPT-5를 150으로 두도록 조정되어 있으며, 향후 모델과 벤치마크가 추가되면 보정점이 재검토될 수 있습니다.

6. 벤치마크 선택과 포함 기준

Epoch는 ECI에 사용할 벤치마크를 고를 때 다양성, 경제적 가치, 포화되지 않은 정도, 널리 사용되는지 여부를 중요하게 본다고 설명합니다. 내부 평가와 벤치마크 개발자가 보고한 점수뿐 아니라, 모델 카드와 기술 보고서에 실린 오래된 벤치마크 점수도 보완적으로 사용합니다. 다양한 난이도의 벤치마크를 포함하면 ECI 추정의 정밀도를 높이는 데 도움이 됩니다. 다만 벤치마크 점수는 0과 1 사이로 표현될 수 있어야 하므로, WebDev Arena와 같은 ELO 방식 벤치마크는 제외되었다고 밝힙니다.

7. 모델 포함, 점수 변동, 데이터 요건

ECI는 가능한 많은 모델을 포함하려 하지만, 특히 프런티어 수준으로 볼 수 있는 모델에 초점을 둔다고 설명합니다. 일반 ECI에 포함되려면 안정적이고 공정한 점수를 위해 최소 4개의 벤치마크 평가가 필요합니다. 도메인별 ECI는 특정 영역 안에서 최소 2개의 벤치마크가 있어야 하며, 그렇지 않으면 결과가 지나치게 noisy할 수 있어 산출하지 않습니다. 또한 ECI 모델은 전체 데이터를 공동으로 맞추기 때문에, 새로운 모델이나 새로운 벤치마크 평가가 추가되면 기존 데이터가 변하지 않은 모델의 점수도 약간 이동할 수 있습니다.

8. 편향과 벤치마크 최적화에 대한 한계

문서는 ECI가 벤치마크의 장점을 활용하는 동시에 벤치마크 기반 평가의 한계도 함께 물려받는다고 인정합니다. 모델 개발사 보고서에 포함된 평가는 모델이 좋아 보이도록 선별되었을 가능성이 있으며, 이런 점수에만 의존하면 추정에 편향이 생길 수 있습니다. 이를 완화하기 위해 Epoch는 자체 내부 평가를 실행하고, 결과와 무관하게 보고되는 독립 운영 리더보드 평가도 수집한다고 설명합니다. 또한 모델 개발사가 특정 벤치마크 점수를 높이도록 최적화할 수 있어 일부 모델의 능력이 과대평가될 수 있으며, 문서는 오픈 웨이트 모델이 벤치마크에 더 공격적으로 최적화하는 경향이 있다는 일부 증거도 언급합니다.

🧾 핵심 주장 / 시사점

• ECI는 단일 벤치마크 순위보다 넓은 비교를 목표로 하지만, 절대 점수보다 모델 간 상대적 차이를 중심으로 읽어야 합니다.
• 도메인별 ECI는 특정 영역의 강점과 약점을 보여주는 데 유용하지만, 영역별 장기 발전 속도를 직접 비교하는 지표로 해석하면 안 됩니다.
• ECI의 신뢰성은 다양한 벤치마크와 독립 평가를 결합하는 데서 나오지만, 개발사 점수 선별과 벤치마크 최적화라는 구조적 한계는 남아 있습니다.

✅ 액션 아이템

• ECI 값은 절대 지표가 아니므로 모델 간 상대 비교에만 사용하고 수치 단독으로 성능 우열 판단을 절대 하지 않는다.
• 현재 기준점이 Claude 3.5 Sonnet 130, GPT-5 150이므로 버전·모델 비교표에 이 상대 기준을 고정해 제시하고 해석 한계를 함께 기록한다.
• 벤치마크의 상대 난이도·성능 추정 방식과 누락·편향 가능성 제약을 함께 반영해 일반 ECI와 도메인별 ECI의 적용 범위를 분리한다.

❓ 열린 질문

• 더 어려운 벤치마크 성능이 높은 모델이 ECI에서 지속적으로 상위권일 때, 실제 범용 역량 우위를 얼마까지 신뢰해야 하는가?
• 도메인별 ECI가 특정 벤치마크 집합으로 계산되는데도 장기 영역별 성장 속도를 추정하려는 시도는 어떤 조건에서 왜곡되기 쉬운가?
• 개발사 보고 점수 편향이나 벤치마크 최적화가 동반될 때, ECI 변동의 원인을 모델 실력 변화와 어떻게 구분해 판단할 것인가?