Strengthening our defenses against distillation attacks

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic은 Claude의 추론 추출을 제한하는 새 증류 공격 방어책으로 공격자의 데이터 수집량이 약 90~99% 감소했다는 초기 근거를 제시했지만, 효과의 지속성과 정상 사용자에게 발생하는 비용은 남은 과제로 인정했다.

📌 핵심 요약

• Anthropic은 무단 증류가 충분한 안전장치 없이 첨단 모델의 역량을 복제하게 하고, 생물학·사이버보안 피해와 외국 군사·정보·감시 시스템 활용 위험을 높인다고 주장한다. 사례로 Zhipu의 GLM-5.3과 Moonshot의 Kimi를 제시했다.
• 방어의 핵심 대상은 최종 답변보다 증류에 유용한 Claude의 추론 기록이다. Claude Opus 4.8의 전체 추론 기록으로 학습한 모델은 SWE-bench Verified에서 80.4%를 기록했지만, 요약된 추론 기록으로 학습한 모델은 71.8%에 그쳤다.
• 새 방어는 추론의 이동·접근 제한, 추출 시도를 차단하는 2단계 분류기, 반복 공격에 대한 사용량 제한·계정 차단·차단 요청 과금으로 구성된다. preserved thinking은 Claude Fable 5.1과 Claude Opus 5.5에서 2026년 8월 31일 이후 생성된 API 계정의 기존 맥락 편집을 제한하며, 분류기의 오탐률은 0.1% 미만이라고 설명한다.
• Anthropic의 자체 플랫폼 추정에 따르면 분류기 도입 후 공격자가 추출한 추론 토큰은 이전보다 지속적으로 10~100배 적었고, 방어책이 완전히 적용된 뒤에는 10~100배 이상 감소했다. 증류 관련 계정 수만 개를 차단했으며, 공격 시작 후 2시간 이내에 차단한 경우도 많았다고 밝혔다.
• Anthropic은 상당한 매출과 수조 토큰 규모의 유료 트래픽을 포기했으며, 일부 정상 개발자는 연동을 수정해야 했다. 정상 요청도 0.1% 미만의 비율로 오인·차단될 수 있고 차단 요청에도 과금되며, 방어 효과가 얼마나 지속될지와 고도로 정교하고 끈질긴 공격에 대한 대응력은 아직 확인되지 않았다.

🧩 주요 포인트

1. 추론 기록의 학습 가치 → 답변 접근보다 추론의 노출·이동 경로 통제가 방어의 중심이 됨.
2. 수동 수집에서 능동 추출·대규모 계정망으로의 전환 → 단순 요약을 넘어 접근 제한·분류·반복 시도 억제를 결합할 필요가 커짐.
3. 데이터 수집량 감소와 정상 사용자 부담의 동시 발생 → 방어 성과는 효과의 지속성, 연동 수정, 오탐 및 차단 요청 과금과 함께 평가해야 함.

🧠 상세 정리

1. 무단 증류의 성격과 안전장치 우려

Anthropic은 증류 공격을 원래 개발자의 허가 없이 한 모델의 능력을 추출해 다른 모델에 복제하는 은밀하고 산업적인 규모의 활동으로 정의하며, 공격자들이 사기 계정망을 이용해 개발 시간과 비용의 일부만으로 첨단 역량을 모방한다고 설명한다. 특히 이렇게 만들어진 모델이 역량에 상응하는 안전장치 없이 공개되면 생물학과 사이버보안 분야에서 큰 피해를 일으킬 수 있다고 우려한다. 사례로 Zhipu가 GLM-5.3 개발 과정에서 미국 주요 모델의 사이버 역량을 증류했으며, Claude Fable 5의 안전장치가 공격 효과를 떨어뜨리자 이전 Claude 모델과 다른 연구소의 모델로 전환했다고 주장한다. 미국 CAISSI는 이후 GLM-5.3을 당시 공개된 오픈웨이트 모델 중 사이버 역량이 가장 높은 모델로 평가했다고 원문은 전한다. Anthropic은 자체 연구에서 GLM-5.3의 안전장치를 쉽게 우회할 수 있었으며, 모델이 보안 익스플로잇을 처음부터 끝까지 개발하려는 모습을 보였다고 밝혔다.

2. 국가안보 위험과 방어 강화의 비용

Anthropic이 제시하는 두 번째 우려는 무단 증류로 확보한 역량이 외국의 군사·정보·감시 시스템에 통합될 수 있다는 국가안보 위험이다. 회사는 Moonshot의 Kimi에 들어온 요청이 증류 활동의 일부로 Claude에 은밀히 전달된 사례를 보고했으며, 그중 특정 인물의 CCTV 영상을 분석하려는 사용자가 중국 인민해방군과 관련됐을 것으로 판단했다고 설명한다. 이는 Anthropic의 판단이 포함된 사례이며, 해당 사용자의 소속을 확정된 사실로 제시하지는 않는다. 회사는 공격의 규모와 정교함이 커지면서 방어를 강화했고, 그 과정에서 상당한 매출과 수조 토큰 규모의 유료 트래픽을 거절했으며 연구·제품 조직의 시간과 노력도 투입했다고 밝혔다. 일부 변경은 정상 사용자의 연동 수정까지 요구했지만, Anthropic은 모든 모델 개발자와 플랫폼이 증류 문제에 대응해야 하며 방어 비용을 감수할 이유가 있다고 주장한다.

3. 추론 요약의 효과와 능동 추출로의 전환

증류 공격자는 더 강력한 모델에서 수백만 개의 응답을 생성한 뒤 이를 다른 모델의 학습에 활용하며, Anthropic은 최종 답변보다 답에 도달하는 과정을 보여 주는 추론 기록이 특히 가치 있다고 설명한다. 초기 방어는 일반 사용자처럼 요청하고 응답을 학습에 사용하는 수동적 증류를 겨냥했으며, 사용자에게 추론 전체 대신 요약을 보여 주는 방식이 포함됐다. 사전학습된 Claude 모델을 Claude Opus 4.8의 기록으로 학습한 실험에서 SWE-bench Verified 점수는 전체 기록 사용 시 80.4%, 요약된 추론 기록 사용 시 71.8%였다. 그러나 공격자는 요약을 우회하고 숨겨진 추론 전체를 드러내도록 유도하는 능동적 추출로 전환했으며, 이전 추론을 글자 단위로 그대로 출력하라는 요구부터 더 복잡한 기법까지 사용했다. 한 연구소는 서로 다른 방식으로 모델을 속이려는 요청 12,000개를 시험했으며, 이는 추론 요약만으로 지속적인 공격을 막기 어렵다는 근거로 제시된다.

4. 단순 탐지를 넘어선 대규모 계정망 대응

Anthropic은 일반 사용자가 숨겨진 추론 전체를 출력해 달라고 요구하는 일은 드물기 때문에, 이런 요청을 탐지하는 안전장치를 설계할 수 있다고 설명한다. 다만 초기에 만든 비교적 단순한 방어는 충분하지 않았고, 공격자들은 우회법을 찾은 뒤 이를 대규모로 실행했다. 원문에 따르면 프록시 네트워크는 수십만 개의 사기 계정을 통제하면서 방어를 피하는 요청을 보냈고, Claude가 제공되지 않는 지역에 접근권을 재판매하기도 했다. 이 과정에는 허위 신원과 도난당한 결제정보를 이용한 계정 생성이 포함됐으며, 2월 보고서에서 소개한 한 네트워크는 동시에 20,000개가 넘는 사기 계정을 관리했다. Anthropic은 이처럼 개별 요청의 탐지만으로 해결하기 어려운 규모와 지속성이 드러났기 때문에, 추론 접근 경로와 반복 시도 자체를 함께 제한하는 더 정교한 방어가 필요했다고 설명한다.

5. 추론의 대화·모델·조직 간 이동 제한

공격자들은 보호된 추론 블록을 다른 대화로 옮겨 이미 원문에 접근할 권한이 있는 것처럼 모델을 속이거나, 안전장치가 약한 모델을 통해 더 강한 모델의 추론을 추출하고, 계정 차단 뒤 다른 계정으로 시도를 이어 갔다. Anthropic은 Claude Fable 5.1과 Claude Opus 5.5에 preserved thinking을 도입해 2026년 8월 31일 이후 생성된 API 계정이 Claude의 이전 맥락을 편집하지 못하도록 했다. 회사는 이 조치가 프록시 네트워크를 이용해 보호된 추론 추출을 반복 시도하기 어렵게 만든다고 설명한다. 또한 해당 모델들의 추론을 증류 방어가 약한 이전 모델이 읽지 못하도록 제한했다. Claude Sonnet 5.5에서는 추론 기록을 생성한 요청의 소속 조직만 그 기록에 접근할 수 있도록 해, 대화·모델·계정 사이로 추론을 이동시키는 공격 경로를 줄였다.

6. 2단계 분류기와 지속적인 우회 기법 수정

Anthropic은 사이버보안이나 생물학의 유해 작업을 막는 데 사용하는 방식과 유사한 안전장치를 증류 방어에도 적용했으며, constitutional classifiers 연구에서 설명한 유형의 2단계 분류기를 구축했다. 실제 추론 추출 시도의 기록을 바탕으로 수동·자동 기법을 활용한 내부 및 외부 레드팀 평가를 수행하고 발견된 취약점을 수정했다고 밝혔다. 회사는 현재 방어가 생물무기 제작 지원을 막는 안전장치와 대략 비슷한 수준으로 견고하며, 오탐률은 0.1% 미만이라고 설명한다. 적용 대상은 현재 Claude Sonnet 5.5, Claude Opus 5와 5.5, Claude Fable 5와 5.1이며, 향후에도 증류 공격자에게 비슷하게 매력적인 모델에 적용할 계획이다. 다만 공격자가 새로운 우회법을 찾을 것으로 예상해 성공 사례를 감시하고 있으며, 이전 추론을 다른 언어로 번역하게 하거나 답변 옆 태그 안에 출력하게 하는 기법도 발견 후 차단했다고 밝혔다.

7. 반복 시도 억제와 관측된 방어 성과

Anthropic은 추론 추출을 계속 시도하는 사용자에게 더 엄격한 사용량 제한을 적용하고, 반복적이고 지속적인 증류 시도가 확인되면 관련 계정을 차단한다고 설명한다. 또한 9월 24일부터 증류를 포함해 오탐률이 0.1% 미만인 특정 영역에서는 Claude가 응답하기 전에 안전장치가 차단한 요청에도 과금을 재개했다. 회사는 가장 강력한 일반 제공 모델의 2단계 분류기가 9월 보고서에 기술한 모든 증류 기법을 포착하며, 자체 플랫폼에서 추출된 추론 토큰은 분류기 도입 전보다 지속적으로 10~100배 적었다고 추정한다. 방어책이 완전히 적용된 뒤 감소 폭은 10~100배 이상이었고, 일부 날에는 추출량이 측정하기 어려울 만큼 적었다고 밝혔다. 이러한 조치는 preserved thinking의 효과에 더해진 것으로 설명되며, 증류 관련 계정 수만 개를 차단했고 공격 시작 후 2시간 이내에 차단한 경우도 많았다고 제시한다.

8. 효과의 지속성과 정상 사용자에 대한 한계

Anthropic은 새 방어책이 효과적이라고 판단하면서도 이러한 성과가 얼마나 오래 유지될지는 아직 알 수 없으며, 증류 공격과 방어는 계속 대응을 반복하는 양상이 될 것으로 예상한다. 특히 방어책을 우회하려는 고도로 정교하고 끈질긴 공격은 아직 관찰하지 못했으므로, 현재의 성과가 모든 수준의 공격에 대한 검증을 뜻하지는 않는다. 회사는 2월에 정상 사용자의 경험에 영향을 주지 않으면서 증류를 어렵게 만들겠다고 밝혔지만, 그 목표를 완전히 달성하지 못했다고 인정한다. preserved thinking 때문에 일부 개발자가 연동을 수정해야 했고, 분류기는 0.1% 미만의 경우 정상 요청을 오인하거나 차단할 수 있으며 해당 차단 요청에도 과금된다. 따라서 원문은 데이터 수집량 감소라는 성과와 함께 사용자 부담 및 미확인된 지속성을 제시하며, 마지막의 모든 개발자와 플랫폼에 관한 절은 문장이 중간에 끊겨 있어 이후의 구체적인 결론은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 추론 요약 실험과 접근 제한 조치는 모두 추론 기록의 학습 가치를 낮추거나 확보를 어렵게 하는 데 초점을 둔다. 이는 Anthropic의 방어 중심이 최종 답변 자체보다 추론 기록에 있음을 보여 준다.
• 공격자가 수동 수집에서 능동 추출과 대규모 계정망으로 전환한 흐름은 단일 방어책의 한계를 드러낸다. 새 방식은 추론 이동, 요청 내용, 반복 시도라는 서로 다른 공격 경로를 함께 제한한다.
• 약 90~99%라는 초기 감소 추정은 자체 플랫폼에서 관측한 성과로 해석해야 한다. 효과의 장기 지속성, 정교한 공격에 대한 대응력, 정상 사용자의 연동·오탐·과금 부담까지 해결됐다는 의미는 아니다.

✅ 액션 아이템

• preserved thinking 적용에 따른 기존 맥락 편집 제한과 Claude Fable 5.1·Claude Opus 5.5 연동 수정 필요성 검토.
• 0.1% 미만의 오탐과 차단 요청 과금이 정상 사용자에게 주는 영향 평가.
• 약 90~99%의 데이터 수집량 감소가 지속되는지와 고도로 정교하고 끈질긴 공격에 대한 대응력 추가 확인.

❓ 열린 질문

• 약 90~99%의 데이터 수집량 감소는 공격자가 능동 추출 방식을 바꾼 뒤에도 지속될 수 있는가?
• preserved thinking에 따른 연동 수정과 0.1% 미만의 오탐·차단 요청 과금은 정상 사용자에게 어느 정도의 부담을 주는가?
• 고도로 정교하고 끈질긴 공격이 발생하면 접근 제한·2단계 분류기·반복 시도 억제의 결합은 어느 수준의 방어 효과를 유지할 수 있는가?