Open-weight AI models are 6-7 months behind on cyber

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Epoch AI의 2026년 10월 8일 기준 Cyber ECI 분석에서 오픈 웨이트 최고 모델 GLM-5.3은 폐쇄형 모델의 선두 성능보다 약 6~7개월 뒤처진 것으로 추정되며, 평가 결과 수와 모델 식별·추정 방식에 따른 불확실성이 있다.

📌 핵심 요약

• Z.ai의 GLM-5.3은 Cyber ECI 160.10으로 오픈 웨이트 모델 중 최고점을 기록했다. 2026년 3월 5일 출시된 GPT-5.4의 157.04보다 높고, 4월 7일의 Claude Mythos Preview의 164.82보다 낮아, 데이터 기준일 현재 폐쇄형 선두의 약 6~7개월 전 수준으로 평가됐다.
• 폐쇄형 선두도 계속 발전해 Claude Opus 5.5가 171.14, GPT-6 Astra가 171.03을 기록했다. GLM-5.3은 2026년 4월 출시된 GPT-5.5의 162.22에도 미치지 못했다.
• Cyber ECI는 일반·사이버 벤치마크를 함께 적합해 얻은 벤치마크 매개변수를 유지하면서 각 모델의 사이버 평가 결과만으로 점수를 추정하며, 일반 ECI와 같은 척도를 사용한다. 선두와 격차 비교는 점수의 중앙 추정치를 기준으로 한다.
• 2026년 10월 업데이트로 지수는 56개에서 76개 모델, 20개에서 35개 사이버 보안 벤치마크로 확대됐으며, 모델·벤치마크 평가 결과는 총 324건이다. 이번 비교에는 사이버 벤치마크 결과가 최소 2개인 57개 모델이 포함되며, 오픈 웨이트에는 사용 제한·비상업용 라이선스 모델도, 폐쇄형에는 접근 제한·미공개 모델도 포함된다.
• GLM-5.3의 점수는 CAISI 벤치마크 3개, Claude Opus 5.5의 점수는 Anthropic이 보고한 벤치마크 4개에 근거한다. Claude Opus 5.5와 GPT-6 Astra는 공통 벤치마크가 없고 90% 신뢰구간이 거의 전부 겹치며, CAISI의 일부 익명 모델 식별은 추론에 의존한다. 10월 재적합으로 점수도 바뀌어 과거 발표 수치와 직접 비교할 수 없다.

🧩 주요 포인트

1. GLM-5.3의 성능을 사이에 둔 GPT-5.4와 Claude Mythos Preview의 출시일 → 6~7개월은 데이터 기준일에서 과거 폐쇄형 성능 수준까지의 시간차를 뜻함.
2. 최소 2개 평가 결과와 폭넓은 접근성 분류 → 비교 대상은 평가 자료가 확보된 모델에 한정되며, 오픈 웨이트를 무제한 사용 가능성과 동일시할 수 없음.
3. 적은 벤치마크 수·겹치는 90% 신뢰구간·익명 모델 식별·재적합 → 세부 순위와 시점별 점수 변화의 해석에는 불확실성 반영이 필요함.

🧠 상세 정리

1. GLM-5.3이 보여주는 오픈 웨이트의 현재 위치

Epoch AI는 사이버 보안 역량에 초점을 맞춘 Cyber ECI에서 Z.ai의 GLM-5.3을 오픈 웨이트 최고 모델로 제시하며, 표의 점수는 160.10이고 본문에서는 이를 약 160으로 표현한다. 이 점수는 2026년 3월 출시된 OpenAI의 GPT-5.4보다 높지만, 같은 해 4월의 Claude Mythos Preview와 GPT-5.5보다는 낮다. 따라서 오픈 웨이트 선두는 일부 앞선 폐쇄형 모델을 넘어섰으나, 폐쇄형 모델이 이후 도달한 최고 수준에는 아직 미치지 못한 상태로 설명된다. 기사의 핵심인 약 6~7개월의 격차는 이러한 성능 위치를 과거 폐쇄형 선두의 출시 시점에 대응시킨 추정이다. 이는 2026년 10월 8일까지 확보한 사이버 평가 자료에 따른 결론이며, 모든 모델의 일반 역량에 관한 주장으로 제시된 것은 아니다.

2. 오픈 웨이트 모델의 성능 상승

표에 제시된 오픈 웨이트 모델을 시간순으로 보면, 2024년 4월의 Llama 3-70B는 129.24였고 2025년 1월의 DeepSeek-R1은 133.97이었다. 이후 2025년 5월의 DeepSeek-R1은 139.99, 8월의 gpt-oss-120b는 143.13을 기록해 이전보다 높은 점수를 보였다. Z.ai의 GLM 계열에서는 2026년 2월 GLM-5가 147.95, 4월 GLM-5.1이 152.91, 6월 GLM-5.2가 154.12로 제시된다. 7월의 Kimi K3는 157.60에 도달했고, 8월 14일 출시된 GLM-5.3은 160.10으로 이번 비교의 오픈 웨이트 최고점에 올랐다. 이 흐름은 공개된 가중치를 가진 모델의 사이버 점수가 상승해 왔다는 사실을 보여주지만, 아래에서 다루는 평가 수와 포함 기준의 제약을 함께 고려해야 한다.

3. 계속 높아진 폐쇄형 선두

폐쇄형 모델 역시 계속 발전했으며, GLM-5.3이 과거 폐쇄형 모델의 성능에 도달하는 동안 비교 대상의 선두 수준도 높아졌다. 2026년 4월 7일의 Claude Mythos Preview는 164.82, 4월 23일의 GPT-5.5는 162.22로 모두 GLM-5.3의 중앙 추정치보다 높다. 이후 6월의 Claude Mythos 5는 168.27, 7월의 GPT-5.6 Sol은 166.46, Claude Opus 5는 167.47을 기록했다. 데이터 기준일의 최고 점수는 9월 22일 출시된 Claude Opus 5.5의 171.14와 9월 3일 출시된 GPT-6 Astra의 171.03으로, 본문에서는 둘 다 약 171로 소개된다. 다만 이 두 모델의 작은 점수 차이를 확정적인 우열로 해석하기에는 공통 벤치마크 부재와 크게 겹치는 신뢰구간이라는 한계가 있다.

4. Cyber ECI의 산출 방식

Cyber ECI는 Epoch Capabilities Index인 ECI를 사이버 보안 영역에 맞춰 구성한 지수로, 사이버 보안 벤치마크 결과를 이용해 모델을 비교한다. 산출 과정에서는 일반 벤치마크와 사이버 벤치마크를 함께 적합해 얻은 벤치마크 매개변수를 유지하고, 개별 모델의 Cyber ECI는 해당 모델의 사이버 평가 결과만으로 추정한다. 점수는 일반 ECI와 같은 척도를 사용하지만, 이번 분석에서 점수를 결정하는 모델별 근거는 사이버 결과라는 구분이 있다. 기사에서 모델을 비교하거나 선두를 판별할 때는 점수의 중앙 추정치를 사용하며, 데이터 탐색기에는 각 모델의 90% 신뢰구간도 제시된다. Epoch AI는 모델 간 점수 차이의 불확실성을 더 잘 추정할 수 있도록 방법론을 조만간 변경할 예정이라고 밝혀, 현재 비교 방식에도 개선 여지가 있음을 명시한다.

5. 데이터 확대와 실제 비교 대상

분석은 2026년 10월 8일 기준 Cyber ECI 자료를 사용하며, 10월 업데이트에서 지수의 모델 수는 56개에서 76개로, 사이버 보안 벤치마크 수는 20개에서 35개로 늘어났다. 전체 모델·벤치마크 평가 결과는 324건이고, 자료는 영국 AI Security Institute인 AISI, CAISI, 사이버 평가 기업 Irregular, 모델 개발사 보고서와 기타 공개 출처에서 수집됐다. 다만 기사와 그래프의 비교 대상은 탐색기의 기본 보기와 마찬가지로 사이버 벤치마크 결과가 최소 2개인 57개 모델이다. CAISI 벤치마크 7개 중 3개는 2026년 9월의 GLM-5.3 평가에서 나왔으며, 이 3개가 해당 모델에 대해 확보된 유일한 사이버 결과다. 따라서 지수 전체의 모델 수와 이번 비교에 포함된 모델 수는 구별해야 하며, 자료 확대가 모든 모델에 동일한 평가 범위를 제공한다는 뜻은 아니다.

6. 선두 정의와 6~7개월 격차의 계산

그래프는 오픈 웨이트와 폐쇄형을 나눠, 각 집단에서 출시 당시 모든 이전 모델보다 높은 점수를 기록한 모델들을 연결한다. 오픈 웨이트에는 사용 제한이나 비상업용 라이선스가 적용된 모델도 포함되며, 폐쇄형에는 Claude Mythos 5 같은 접근 제한 모델과 Claude Mythos Preview의 초기 체크포인트 같은 미공개 모델도 포함된다. 본문에서 별도 수식 없이 쓰는 Mythos Preview는 2026년 4월 7일 체크포인트를 뜻한다. 현재 격차는 GLM-5.3의 점수를 가장 가깝게 아래와 위에서 둘러싸는 폐쇄형 모델, 즉 3월 5일의 GPT-5.4와 4월 7일의 Mythos Preview를 찾아 계산한다. 두 출시 시점이 데이터 기준일보다 각각 약 7개월과 6개월 앞서므로 6~7개월이라는 범위를 제시하며, 이는 GLM-5.3과 해당 모델들의 출시일 차이를 직접 계산한 값이 아니다.

7. 적은 평가 수와 모델 식별의 불확실성

원문은 모델별 평가 결과가 적다는 점을 주요 한계로 들며, GLM-5.3은 CAISI 벤치마크 3개, Claude Opus 5.5는 Anthropic이 보고한 벤치마크 4개에 근거한다고 설명한다. GLM-5.3의 90% 신뢰구간은 155.83~166.97로 제시돼 중앙 추정치 주변의 불확실성을 보여준다. 특히 Claude Opus 5.5와 GPT-6 Astra는 서로 공유하는 벤치마크가 없으며, 두 모델의 신뢰구간은 거의 전부 겹친다. 따라서 두 선두 모델의 점수가 비슷하다는 관찰과 어느 모델이 실제로 더 우수한지에 대한 판단은 구별할 필요가 있다. 또 CAISI가 평가한 미국 모델의 이름을 공개하지 않아, Epoch AI는 당시 선두였을 가능성이 높다고 판단한 GPT-6 Astra와 Claude Mythos Preview 등에 결과를 귀속했다. 이 귀속은 공개된 모델명으로 확인된 사실이 아니라 분석자의 추론이라는 불확실성을 갖는다.

8. 재적합에 따른 변화와 포함 범위의 한계

Cyber ECI 점수는 자료를 다시 적합하면서 달라질 수 있으며, 10월 재적합은 기존에 높았던 여러 모델의 점수를 낮췄다. 구체적으로 Claude Mythos 5는 3.9점, GPT-5.6 Sol은 4.7점 하락했으며, 원문은 이 때문에 이전 출판물의 Cyber ECI 수치를 새 수치와 직접 비교할 수 없다고 명시한다. 이는 같은 모델의 발표 점수가 달라졌을 때 모델 자체의 역량 변화와 지수 추정의 변화를 구별해야 함을 뜻한다. 포함 범위에도 제약이 있어 사이버 벤치마크 결과가 2개 미만인 모델은 빠지며, 일반 ECI가 존재하는 일부 최근 오픈 웨이트 모델도 이번 비교에는 등장하지 않는다. 따라서 6~7개월이라는 결론은 확보된 평가 결과와 현재의 적합 방식, 포함 기준을 전제로 한 추정으로 읽어야 한다. Epoch AI는 점수와 원자료를 CSV로 제공하며, 출처와 저자를 표시하는 조건의 Creative Commons Attribution 라이선스로 자료의 이용·배포·재생산을 허용한다.

🧾 핵심 주장 / 시사점

• 오픈 웨이트 모델의 점수가 상승해도 폐쇄형 선두가 함께 발전하므로, 절대 성능 향상과 선두 대비 시간 격차 축소는 별도로 판단해야 한다.
• 6~7개월은 평가된 성능에 대응하는 과거 출시 시점을 이용한 추정이므로, 모든 오픈 웨이트 모델에 공통으로 적용되는 지연 기간이나 향후 추격 속도를 뜻하지 않는다.
• 지수의 전체 데이터가 확대돼도 개별 모델의 근거는 소수 벤치마크에 머물 수 있어, 데이터 규모와 개별 순위의 확실성을 동일시하기 어렵다.

✅ 액션 아이템

• GLM-5.3의 6~7개월 격차를 인용할 때 2026년 10월 8일 기준과 GPT-5.4·Claude Mythos Preview의 출시 시점에 근거한 추정이라는 조건을 함께 명시.
• Claude Opus 5.5와 GPT-6 Astra의 비교에는 공통 벤치마크 부재와 거의 전부 겹치는 90% 신뢰구간을 반영.
• Cyber ECI 수치 해석에 최소 2개 평가 결과라는 포함 기준, CAISI의 익명 모델 식별, 재적합에 따른 과거 수치의 직접 비교 제한을 반영.

❓ 열린 질문

• GLM-5.3의 평가 결과가 CAISI 벤치마크 3개에 한정된 상황에서 6~7개월이라는 추정은 얼마나 안정적인가?
• 공통 벤치마크가 없고 90% 신뢰구간이 거의 전부 겹치는 Claude Opus 5.5와 GPT-6 Astra의 우열을 현재 자료로 판단할 수 있는가?
• 최소 2개 평가 결과라는 포함 기준, CAISI의 익명 모델 식별, 재적합은 오픈 웨이트와 폐쇄형의 격차 추정에 각각 얼마나 영향을 미치는가?