🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Cloudflare는 Project Glasswing에서 Mythos Preview를 자사 저장소 50여 개에 적용하며, 보안 특화 LLM이 취약점 발견을 넘어 exploit chain과 실행 가능한 증명까지 만들 수 있지만 대규모 활용에는 정교한 harness와 검증 구조가 필요하다고 설명한다.

📌 핵심 요약

• Cloudflare는 최근 몇 달 동안 보안 중심 LLM을 자사 인프라와 코드베이스에 적용해 잠재 취약점을 찾고, 최신 모델이 공격자에게 어떤 능력을 줄 수 있는지도 관찰했다.
• Project Glasswing의 일환으로 사용한 Anthropic의 Mythos Preview는 기존 범용 frontier model보다 exploit chain 구성과 proof generation에서 뚜렷한 진전을 보였으며, 여러 낮은 심각도의 취약점을 연결해 실제로 더 심각한 공격 가능성으로 발전시킬 수 있었다.
• 다만 Mythos Preview는 통제된 연구 환경에서 제공된 모델임에도 합법적 취약점 연구 요청에 대해 일관되지 않게 거부하거나 수락하는 모습을 보였고, 이는 향후 공개 모델에는 별도의 안전장치가 필요함을 보여준다.
• 보안 취약점 triage에서는 false positive와 speculative finding이 큰 문제이며, 특히 C/C++ 같은 memory-unsafe 언어와 모델의 ‘무언가를 찾아내려는’ 편향이 noise를 키운다. Mythos Preview는 PoC와 재현 절차를 함께 제시해 이 문제를 일부 줄였다.
• 저자는 범용 coding agent 하나를 저장소에 붙이는 방식으로는 실제 코드베이스를 충분히 커버하기 어렵다고 보고, 좁은 범위의 병렬 작업, adversarial review, 역할 분리, deduplication을 관리하는 harness가 대규모 취약점 연구의 핵심이라고 결론짓는다.

🧩 주요 포인트

1. Cloudflare는 최근 몇 달 동안 보안 중심 LLM을 자사 인프라와 코드베이스에 적용해 잠재 취약점을 찾고, 최신 모델이 공격자에게 어떤 능력을 줄 수 있는지도 관찰했다.
2. Project Glasswing의 일환으로 사용한 Anthropic의 Mythos Preview는 기존 범용 frontier model보다 exploit chain 구성과 proof generation에서 뚜렷한 진전을 보였으며, 여러 낮은 심각도의 취약점을 연결해 실제로 더 심각한 공격 가능성으로 발전시킬 수 있었다.
3. 다만 Mythos Preview는 통제된 연구 환경에서 제공된 모델임에도 합법적 취약점 연구 요청에 대해 일관되지 않게 거부하거나 수락하는 모습을 보였고, 이는 향후 공개 모델에는 별도의 안전장치가 필요함을 보여준다.
4. 보안 취약점 triage에서는 false positive와 speculative finding이 큰 문제이며, 특히 C/C++ 같은 memory-unsafe 언어와 모델의 ‘무언가를 찾아내려는’ 편향이 noise를 키운다. Mythos Preview는 PoC와 재현 절차를 함께 제시해 이 문제를 일부 줄였다.
5. 저자는 범용 coding agent 하나를 저장소에 붙이는 방식으로는 실제 코드베이스를 충분히 커버하기 어렵다고 보고, 좁은 범위의 병렬 작업, adversarial review, 역할 분리, deduplication을 관리하는 harness가 대규모 취약점 연구의 핵심이라고 결론짓는다.

🧠 상세 정리

1. Project Glasswing의 목적과 실험 범위

글은 Cloudflare가 최근 몇 달 동안 보안 중심 LLM을 자사 인프라에서 시험해 왔다는 배경에서 시작한다. 이 모델들은 내부 시스템의 잠재 취약점을 찾아 고치기 위한 도구이면서, 동시에 최신 모델을 이용할 공격자가 앞으로 무엇을 할 수 있는지 가늠하게 해주는 관찰 대상이기도 했다. 그중 가장 큰 관심을 받은 모델이 Anthropic의 Mythos Preview였고, Cloudflare는 Project Glasswing의 일부로 이 모델을 사용할 기회를 얻었다. 이후 50개가 넘는 자사 저장소에 Mythos Preview를 적용해 어떤 취약점을 찾는지, 어떤 방식으로 추론하고 작업하는지 확인했다.

2. Mythos Preview가 보여준 질적 변화

저자는 Mythos Preview를 단순한 성능 개선이 아니라 ‘다른 종류의 일을 하는 다른 종류의 도구’로 평가한다. 이전의 범용 frontier model과 정면으로 벤치마크해 비교하기 어렵다고 말하면서도, 기존 모델에서 가능했던 수준과 Mythos Preview가 보여준 수준 사이에는 분명한 도약이 있었다고 강조한다. 특히 눈에 띈 능력은 exploit chain construction과 proof generation이었다. 이는 단순히 의심스러운 코드를 지적하는 scanner가 아니라, 여러 취약점 primitive를 엮어 공격 가능성을 추론하고 검증하는 연구자에 가까운 작업 방식으로 설명된다.

3. Exploit chain 구성 능력

글은 실제 공격이 보통 하나의 버그만으로 성립하지 않는다는 점을 강조한다. 예를 들어 use-after-free 버그가 arbitrary read/write primitive로 이어지고, 제어 흐름 탈취와 return-oriented programming chain을 거쳐 시스템 장악으로 발전할 수 있다는 식이다. Mythos Preview는 이런 여러 primitive를 보고 그것들을 어떻게 결합하면 작동하는 exploit이 되는지 추론할 수 있었다. 저자는 그 과정에서 드러난 reasoning이 자동 scanner의 출력이라기보다 senior researcher의 작업에 가까워 보였다고 평가한다.

4. Proof generation과 반복 검증 루프

Mythos Preview의 또 다른 강점은 취약점을 찾는 것과 그것이 실제로 exploitable한지 증명하는 일을 함께 수행한다는 점이다. 모델은 의심되는 버그를 유발하는 코드를 작성하고, scratch environment에서 컴파일한 뒤 실행해 자신이 예상한 동작이 나오는지 확인한다. 실패하면 실패 내용을 읽고 가설을 조정한 뒤 다시 시도한다. 저자는 이 반복 루프가 발견 자체만큼 중요하다고 본다. 작동하는 proof가 없는 취약점 주장은 speculation에 머물지만, Mythos Preview는 그 간극을 스스로 좁히려 했기 때문이다.

5. 다른 모델과의 차이와 낮은 심각도 버그의 재평가

저자는 Mythos Preview가 보여준 모든 요소가 완전히 고유한 것은 아니라고 설명한다. 같은 harness에서 다른 frontier model을 실행했을 때도 상당수의 동일한 underlying bug를 발견했고, 일부 reasoning에서는 기대보다 더 멀리 나아간 사례도 있었다. 그러나 차이는 조각들을 끝까지 엮는 지점에서 나타났다. 다른 모델들은 흥미로운 버그를 찾고 의미 있는 설명을 작성한 뒤 멈추는 경우가 많았고, exploit chain은 완성되지 않은 채 exploitable 여부가 열린 질문으로 남았다. Mythos Preview의 변화는 기존에는 backlog에 묻혔을 낮은 심각도의 버그들을 하나의 더 심각한 exploit로 연결할 수 있다는 데 있다.

6. 합법적 보안 연구에서 나타난 불규칙한 거부

Project Glasswing에서 제공된 Mythos Preview는 일반 공개 모델에 존재하는 추가 safeguard가 없는 형태였다고 설명된다. 그럼에도 모델은 일부 요청에 대해 스스로 pushback을 보였고, 이는 취약점 탐지에 유용했던 cyber capability와 마찬가지로 emergent guardrail처럼 작동했다. 문제는 이 거부가 일관되지 않았다는 점이다. 같은 코드와 같은 성격의 연구 요청이라도 환경 변화, framing, 실행 시점에 따라 전혀 다른 응답이 나올 수 있었다. 저자는 이러한 organic refusal만으로는 완전한 safety boundary가 될 수 없으며, 향후 더 넓게 공개될 강력한 cyber frontier model에는 별도의 추가 안전장치가 필요하다고 본다.

7. Signal-to-noise와 triage 비용

취약점 triage에서 가장 어려운 일은 어떤 버그가 실제이고, 어떤 버그가 exploitable하며, 무엇을 지금 고쳐야 하는지 판단하는 것이다. 글은 이 문제가 AI 이전에도 어려웠지만, AI vulnerability scanner와 AI-generated code가 등장하면서 더 악화됐다고 말한다. noise를 키우는 주요 요인으로는 programming language와 model bias가 제시된다. C와 C++ 같은 memory-unsafe 언어는 buffer overflow나 out-of-bounds read/write 같은 버그 클래스를 만들기 쉬워 false positive가 더 많았고, 모델은 ‘버그를 찾으라’는 요청을 받으면 실제 여부와 관계없이 가능성 표현이 붙은 finding을 많이 생성했다. Mythos Preview는 PoC, 명확한 재현 절차, 더 적은 hedged finding을 제공해 fix-or-dismiss 결정을 내리는 비용을 줄였다.

8. 범용 coding agent 대신 harness가 필요한 이유

Cloudflare는 처음에는 범용 coding agent를 임의의 저장소에 붙여 취약점을 찾게 하는 직관적인 접근을 시도했다. 이 방식은 finding을 생산한다는 의미에서는 작동하지만, 실제 코드베이스를 의미 있게 커버하고 가치 있는 취약점을 식별하는 데는 부적합했다. 취약점 연구는 본질적으로 좁고 병렬적인 작업이며, 특정 기능, 보안 경계, 취약점 유형을 깊게 파고드는 과정을 수천 번 반복해야 한다. 단일 agent session은 context window와 compaction 때문에 거대한 저장소 표면의 극히 일부만 유용하게 다룰 수 있고, 이전에 중요했을 finding이 압축 과정에서 사라질 위험도 있다. 그래서 저자는 좁은 scope, adversarial review, 질문 분리, 병렬 agent, deduplication을 포함한 harness가 필요하다고 설명한다.

🧾 핵심 주장 / 시사점

• 강력한 보안 LLM의 핵심 가치는 ‘취약점 후보를 많이 찾는 것’보다 ‘여러 약한 신호를 실제 exploit 가능성으로 연결하고 검증하는 것’에 있다.
• 모델의 자발적 거부나 조심스러운 태도는 안전성의 징후일 수 있지만, 일관성이 없으면 운영 가능한 통제 수단이 되기 어렵다.
• 대규모 취약점 연구에서는 모델 자체보다 작업을 좁게 나누고, 검토자를 분리하고, 병렬 실행과 후속 triage를 관리하는 harness 설계가 성패를 좌우한다.

✅ 액션 아이템

• 보안 LLM 적용 시 Mythos의 exploit chain 구성력과 PoC·재현 절차를 함께 묶어 저위험 항목의 위협 전환 기준을 정한다.
• Mythos의 간헐적 거부·승인 거동을 반영해 공개 모델 사용 전 정합성 검사와 제약 규칙을 별도 정의한다.
• 단일 코딩 에이전트 한계를 보완하기 위해 좁은 범위 병렬 작업, 역할 분리, adversarial review, deduplication을 운영하는 harness 설계를 정한다.

❓ 열린 질문

• Mythos의 탐지 편향이 memory-unsafe 언어 구간에서 노이즈를 얼마나 키우는지 정량 지표는 어떤 것이 적절한가?
• 공개 모델 환경에서 임의적 거부·승인 반응이 빈번할 때 탐지 일관성 저하를 어떤 안전장치로 억제할 것인가?
• 낮은 심각도 취약점을 exploit chain로 결합해 실제 공격 가능성으로 전환할 때 false positive와 speculative finding을 어떻게 분리할 것인가?