Are Mythos’ cyber capabilities overhyped?
Quick Summary
Epoch AI 글은 Claude Mythos 계열이 취약점 악용 개발에서는 분명한 도약을 보였지만, 취약점 발견 능력의 실질적 향상 폭은 공개 증거만으로는 덜 명확하다고 평가한다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
Epoch AI 글은 Claude Mythos 계열이 취약점 악용 개발에서는 분명한 도약을 보였지만, 취약점 발견 능력의 실질적 향상 폭은 공개 증거만으로는 덜 명확하다고 평가한다.
📌 핵심 요약
- 글은 Anthropic이 Claude Mythos Preview를 발표하며 주장한 사이버 역량 향상을 ‘취약점 발견’과 ‘익스플로잇 개발’로 나누어 검토해야 한다고 설명한다.
- 공개 사이버 벤치마크를 종합한 Cyber-ECI 분석에서는 Mythos Preview, 특히 April 버전이 기존 추세보다 약 7개월 앞서 있으며 GPT-5.5보다도 익스플로잇 개발에서 크게 앞선 것으로 나타난다.
- 초기 논쟁이 혼란스러웠던 이유는 Mythos Preview의 내부 초기 버전과 더 강한 April 버전이 혼재되어 평가되었고, 일부 비교 벤치마크가 이미 포화 상태에 가까웠기 때문이다.
- 취약점 발견에서는 Project Glasswing 이후 고·중대 CVE 발견이 크게 늘었지만, 이는 모델 성능 향상뿐 아니라 대규모 API 크레딧과 보안 점검 투자 증가의 효과일 수도 있어 고정 예산 기준의 도약 여부는 불확실하다.
- 글의 결론은 Mythos 계열의 사이버 능력이 단순한 과장은 아니지만, 모든 영역에서 같은 폭의 도약을 보였다고 단정할 수는 없으며, 특히 널리 공개될 경우 더 빠른 패치 대응이 필요한 새로운 사이버 보안 환경을 만들 수 있다는 것이다.
🧩 주요 포인트
- 글은 Anthropic이 Claude Mythos Preview를 발표하며 주장한 사이버 역량 향상을 ‘취약점 발견’과 ‘익스플로잇 개발’로 나누어 검토해야 한다고 설명한다.
- 공개 사이버 벤치마크를 종합한 Cyber-ECI 분석에서는 Mythos Preview, 특히 April 버전이 기존 추세보다 약 7개월 앞서 있으며 GPT-5.5보다도 익스플로잇 개발에서 크게 앞선 것으로 나타난다.
- 초기 논쟁이 혼란스러웠던 이유는 Mythos Preview의 내부 초기 버전과 더 강한 April 버전이 혼재되어 평가되었고, 일부 비교 벤치마크가 이미 포화 상태에 가까웠기 때문이다.
- 취약점 발견에서는 Project Glasswing 이후 고·중대 CVE 발견이 크게 늘었지만, 이는 모델 성능 향상뿐 아니라 대규모 API 크레딧과 보안 점검 투자 증가의 효과일 수도 있어 고정 예산 기준의 도약 여부는 불확실하다.
- 글의 결론은 Mythos 계열의 사이버 능력이 단순한 과장은 아니지만, 모든 영역에서 같은 폭의 도약을 보였다고 단정할 수는 없으며, 특히 널리 공개될 경우 더 빠른 패치 대응이 필요한 새로운 사이버 보안 환경을 만들 수 있다는 것이다.
🧠 상세 정리
1. 논쟁의 출발점: Mythos는 정말 위험한 도약인가
글은 Anthropic이 Claude Mythos Preview를 공개하면서 이를 매우 강력한 사이버 역량 향상으로 묘사한 데서 논의를 시작한다. Anthropic은 Mythos Preview가 중요한 소프트웨어를 보호하기 위한 1억 달러 이상 규모의 이니셔티브가 필요할 정도로 위험할 수 있다고 보았다. 이후 Claude Mythos 5도 공개되었고, 사이버 벤치마크에서 Mythos Preview보다 완만하게 개선된 것으로 소개된다. 반면 회의론자들은 GPT-5.5도 여러 사이버 벤치마크에서 Mythos Preview와 비슷해 보였고, GPT-5.5 출시가 즉각적인 사이버 재앙으로 이어지지 않았다는 점을 들어 과장 가능성을 제기했다. 글은 이 논쟁을 정리하기 위해 공개된 증거를 가능한 한 모아 Mythos Preview와 Mythos 5의 의미를 평가한다.
2. 취약점 발견과 익스플로잇 개발은 다른 능력이다
글은 Anthropic의 주장을 이해하려면 ‘취약점 발견’과 ‘익스플로잇 개발’을 구분해야 한다고 강조한다. 취약점 발견은 코드베이스를 살펴보며 버퍼 오버플로처럼 메모리를 손상시킬 수 있는 약점을 찾아내는 작업을 뜻한다. 반면 익스플로잇 개발은 이미 알려졌거나 찾아낸 취약점을 실제로 이용해 프로그램을 중단시키거나, 공격자가 원하는 코드를 실행하게 만드는 방법을 구성하는 작업이다. 실제 사이버 공격이 성립하려면 약점을 찾는 능력과 그 약점을 이용하는 능력이 모두 필요하다. 글은 Anthropic이 Mythos Preview가 이 두 능력 모두에서 크게 향상되었다고 주장했지만, 공개 증거는 두 영역에 대해 서로 다른 결론을 보여준다고 설명한다.
3. Cyber-ECI는 Mythos Preview의 익스플로잇 개발 도약을 보여준다
글은 Mythos Preview의 능력 향상을 확인하기 위해 약 15개의 공개 사이버 보안 벤치마크를 모아 분석했다고 밝힌다. 이 벤치마크들은 대부분 AI가 익스플로잇을 얼마나 잘 구성하는지를 측정하며, 저자들은 Epoch Capabilities Index 방법론을 변형해 Cyber-ECI라는 종합 지표를 만들었다. 이 지표에서 Mythos Preview는 2025년 초 이후 관찰된 선형 추세보다 약 7개월 앞선 위치에 놓인 것으로 나타난다. GPT-5.5도 추세보다 2~3개월 앞서 있었지만, Mythos Preview의 April 버전은 그보다 더 강한 성과를 보였다. 따라서 글은 공개 벤치마크 증거만 보아도 Mythos Preview가 코드 취약점을 악용하는 능력에서 큰 도약을 보였다고 평가한다.
4. 초기 비교가 혼란스러웠던 이유: 두 버전과 포화 벤치마크
글은 일부 사람들이 Mythos Preview와 GPT-5.5가 큰 차이가 없다고 본 이유도 설명한다. 가장 큰 혼란 요인은 Mythos Preview에 내부 체크포인트 기반의 초기 버전과 Project Glasswing 참가자에게 공개된 더 강한 April 버전이 함께 존재했다는 점이다. 일부 벤치마크 평가는 초기 버전을 대상으로 이루어졌고, 이 버전은 실제로 GPT-5.5와 사이버 능력이 매우 가까웠다. 또 다른 문제는 초기에 비교에 쓰인 여러 벤치마크가 최대 점수에 가까운 포화 상태였다는 점이다. 이 때문에 April 버전이 GPT-5.5보다 익스플로잇 개발에서 훨씬 강하더라도 특정 벤치마크 점수만으로는 차이가 잘 드러나지 않았고, ExploitBench와 ExploitGym 같은 포화되지 않은 새 벤치마크가 나오면서 격차를 더 분명히 볼 수 있게 되었다.
5. 현실적 익스플로잇 능력: 임의 코드 실행에서의 강점
Cyber-ECI 결과는 Anthropic의 현실 세계 분석과도 연결된다. 글에 따르면 Anthropic은 Mythos Preview가 이전 모델들보다 임의 코드 실행을 가능하게 하는 익스플로잇을 훨씬 잘 개발한다고 보았다. 이전 모델들은 이런 수준의 익스플로잇을 드물게 성공했지만, Mythos Preview는 취약점에 대한 정보가 많지 않은 경우에도 자주 성공하는 것으로 제시된다. 이는 단순히 취약한 위치를 지적하는 것과 달리, 실제 공격에 가까운 절차를 구성하는 능력이 향상되었다는 뜻이다. 글은 이 점을 근거로 Mythos Preview와 이후 Mythos 5의 핵심적인 진전은 특히 익스플로잇 개발 측면에서 분명하게 관찰된다고 정리한다.
6. 취약점 발견 능력은 강하지만 도약 폭은 불확실하다
취약점 발견 영역에서는 평가가 훨씬 더 조심스럽다. 글은 소스 코드에서 취약점을 찾아내는 능력을 측정하는 포화되지 않은 공개 벤치마크가 없다고 지적한다. 대신 Anthropic의 Project Glasswing에 참여한 기업들이 발견한 취약점 수를 살펴보면, Mythos Preview 공개 시점과 맞물려 큰 증가가 나타난다. 21개 주요 조직에서 발견된 High와 Critical 취약점은 2025년 기준선보다 4월에 142%, 5월에 262% 많았고, 취약점 공개 등록에는 시간이 걸리므로 수치는 더 늘어날 수 있다고 설명된다. 그러나 글은 이 증가가 모델 자체의 도약 때문인지, 아니면 대규모 보안 점검과 API 크레딧 투입으로 탐색량이 늘어난 결과인지 분리하기 어렵다고 본다.
7. 기업 사례는 유용하지만 결정적 증거는 아니다
글은 Project Glasswing 참여 기업들의 정성적 보고도 함께 검토한다. Mozilla는 Mythos Preview가 엘리트 보안 연구자 수준으로 보였지만 완전히 새로운 종류의 취약점을 찾아낸 것은 아니라고 보았다. Palo Alto Networks는 Mythos Preview를 포함한 프런티어 모델들이 취약점 식별에 매우 효과적이며, 3주도 안 되는 기간에 1년치 침투 테스트에 해당하는 작업을 수행했다고 주장했다. Cloudflare와 Palo Alto Networks는 Mythos Preview가 낮은 심각도의 버그들을 연결해 높은 심각도의 익스플로잇으로 만들 수 있어 어떤 취약점을 우선 수정해야 하는지 판단하는 데 도움이 되었다고 언급했다. AWS 사례도 이전 모델보다 나은 점을 시사하지만, 글은 이런 사례들이 취약점 발견 능력 자체가 얼마나 크게 뛰었는지를 단정하게 해 주지는 않는다고 선을 긋는다.
8. 반례와 최종 판단: 과장은 아니지만 전면적 도약도 아니다
글은 Mythos Preview 이전에도 AI가 취약점 발견에 이미 상당히 강했을 가능성을 보여주는 증거를 제시한다. AISLE은 일부 작은 오픈 모델도 Anthropic이 Mythos Preview 사례로 제시한 여러 취약점을 인식할 수 있다고 주장했고, curl 프로젝트 사례에서는 Mythos Preview가 낮은 심각도의 취약점 1개와 false positive 4개를 찾는 데 그쳤다. curl의 리드 메인테이너는 이 설정이 기존 도구들보다 더 고도화된 방식으로 문제를 찾는다는 증거를 보지 못했다고 말했다. 다만 curl과 Cloudflare 모두 false positive가 많지 않았다는 점을 언급했고, 글은 Mythos Preview의 강한 익스플로잇 개발 능력이 발견된 취약점의 실제성 및 심각도 평가를 돕는다고 본다. 최종적으로 글은 Mythos 계열이 단순한 hype는 아니지만, 취약점 발견 전반에서 동일하게 거대한 도약을 보였다고 말하기는 어렵다고 결론짓는다.
🧾 핵심 주장 / 시사점
- Mythos 논쟁의 핵심은 ‘취약점을 찾는 능력’과 ‘취약점을 실제로 악용하는 능력’을 분리해 봐야 한다는 점이며, 공개 증거는 후자에서 훨씬 더 강한 도약을 보여준다.
- 벤치마크 해석에서는 모델 버전 차이와 벤치마크 포화 여부가 중요하다. 초기 Mythos Preview와 April 버전을 혼동하면 GPT-5.5와의 격차를 과소평가할 수 있다.
- 취약점 발견에서 Mythos의 실용적 가치는 새로운 약점을 더 많이 찾는 것만이 아니라 false positive를 줄이고, 여러 낮은 심각도 버그가 실제 고위험 공격으로 이어질 수 있는지를 더 잘 우선순위화하는 데 있을 수 있다.
✅ 액션 아이템
- 취약점 발견과 익스플로잇 개발을 분리해 4월판 기준 성능 우위와 GPT-5.5 대비 격차를 정량 비교한다.
- 초기 Mythos Preview와 April 판의 벤치마크 혼재를 제거해 포화된 비교군을 가려 해석 편차를 줄인다.
- Project Glasswing 이후 CVE 급증이 모델 성능인지 API 크레딧·보안 점검 투자 효과인지 고정 예산 조건에서 분해해 점검한다.
❓ 열린 질문
- 취약점 발견 영역에서 Mythos의 실질 점프가 공개 증거만으로 충분히 입증되었는지 판단 기준은 무엇인가?
- 벤치마크 포화 구간이 존재할 때 익스플로잇 개발 우위를 더 신뢰성 있게 검증할 대체 지표는 무엇인가?
- Mythos 공개 확산 시 더 빠른 패치 대응이 가능한지 판단하려면 어떤 운영 지점에서 병목을 점검해야 하는가?