Disrupting a coordinated model-distillation campaign

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 보호된 내부 추론을 추출하려는 조직적 모델 증류 활동을 탐지·차단했으며, 일부 활동을 Moonshot AI 관련 인물들에게 귀속하고 기술적 보호와 업계 공동 대응을 강화하고 있다.

📌 핵심 요약

• OpenAI는 2026년 9월 30일, 모델의 보호된 내부 추론을 조직적·대규모로 추출하려는 활동을 탐지하고 차단했다고 밝혔다. 공격자는 암호화를 깨거나 데이터베이스를 침해하거나 저장된 사용자 대화에 직접 접근한 것이 아니라, 모델 상호작용을 조작해 내부 추론이 요청자에게 보이도록 유도했다.
• 활동은 7월 1일 소규모로 시작됐으며, 7월 24~25일에는 4,000명 이상의 사용자에게서 관련 추출 패턴을 사용하는 요청 16,000건이 관찰됐다. 추가 조사로 15,000명 이상의 사용자 집단에서 관련 프롬프트 패턴이 확인됐고, OpenAI는 해당 집단의 활동을 7월 28일까지 완전히 차단했다. 이 수치는 추출 시도 규모이며 성공 건수를 뜻하지 않는다.
• OpenAI는 핵심 활동 집단을 Kimi 개발사인 Moonshot AI와 연관된 인물들에게 귀속했다. 다만 관찰된 모든 운영자가 단일 행위자에게서 비롯됐는지는 불분명하다고 밝혔다.
• OpenAI는 계정 금지·제한, 가입·인프라 통제, 관련 네트워크 감시를 강화하고, 타인의 암호화된 추론을 재전송해 내용을 복원하는 경로를 폐쇄했다. 추론 노출 가능성이 있는 스트리밍 출력을 탐지·보류하는 검사도 추가했으며, 독립 보안 연구자의 책임 있는 제보를 조사하고 제3자 서비스 제공업체, Frontier Model Forum 및 정부 정보공유 채널과 협력했다.
• OpenAI는 적대적 증류가 원래 모델의 안전장치를 보존하지 않은 채 다른 모델을 훈련하고, 같은 수준의 안전 투자 없이 고급 역량 이전을 가속할 수 있어 안전·국가안보 위험을 초래한다고 주장했다. 파트너 호스팅 배포에도 자체 서비스와 같은 보호가 필요하며, 도구 출력 방어·분류기 적용 범위·모델 거부 동작을 개선하고 관련 통제를 클라우드 파트너로 확대하는 작업이 계속되고 있다.

🧩 주요 포인트

1. 모델 상호작용 조작으로 보호된 내부 추론이 노출될 수 있음 → 암호화와 저장소 보호에 더해 추론 재전송 경로와 출력 단계의 통제가 필요하다.
2. 대규모 추출 시도와 Moonshot AI 관련 핵심 집단이 확인됐지만 성공 건수와 전체 운영자의 단일 행위자 여부는 불명확함 → 관찰된 규모, 실제 성과, 행위자 귀속을 구분해 해석해야 한다.
3. 다른 모델의 안전장치 없는 학습 가능성과 파트너 호스팅·도구 출력의 남은 보호 과제 → 기술적 보호, 조직적 활동 탐지·제재, 업계·정부 정보공유를 함께 강화해야 한다.

🧠 상세 정리

1. 보호된 추론 추출과 사건의 성격

OpenAI는 2026년 9월 30일 발표에서 모델의 보호된 추론을 추출하려는 조직적 활동을 최근 식별하고 차단했으며, 최초 관찰 시점은 7월 첫째 주였다고 밝혔다. 이 활동은 한 모델의 출력이나 추론을 체계적이고 승인되지 않은 방식으로 이용해 다른 모델을 훈련·재현·개선하는 적대적 증류에 부합한다고 설명했다. 보호된 추론은 모델이 과제를 해결하는 내부 기록으로, 이를 추출하면 최종 답변에서 제공되지 않은 정보를 드러내고 모델 역량을 재현하는 데 도움을 줄 수 있다. 공격자는 암호화를 깨거나 데이터베이스를 침해하거나 저장된 사용자 대화에 직접 접근한 것이 아니라, 서비스 약관을 위반하면서 모델 상호작용을 조작해 추론을 요청자에게 보이는 형태로 재현하도록 유도했다. OpenAI는 공개 전에 범위와 잠재적 영향을 조사하고 자체 완화 조치를 적용했으며, 연구자와 업계 파트너의 의견을 받았고 추가 조사와 대응도 계속하고 있다고 밝혔다.

2. 추출 방식과 독립 연구자의 발견

OpenAI가 관찰한 새로운 추출 시도에는 한 대화의 암호화된 추론을 복사한 뒤, 다른 대화에서 모델에게 숨겨진 추론 내용을 복호화하고 전사하도록 요청하는 방식이 포함됐다. 이는 모델 간 또는 대화 간 상호작용을 통해 보호된 추론이 노출될 수 있는 공격 경로를 보여준다. 독립 보안 연구자들도 책임 있는 공개 절차를 통해 관련된 모델 간 취약점과 대화 압축 취약점을 OpenAI에 알렸다. OpenAI는 이 발견을 조사해 연구자들이 식별한 공격 경로가 실제로 존재함을 확인했으며, 연구 결과가 더 넓은 공격 유형을 이해하고 완화 조치를 앞당기는 데 기여했다고 밝혔다. 또한 이러한 조작이 OpenAI 모델만의 고유한 취약점은 아니라고 설명하고, 공동 방어를 강화하기 위해 Frontier Model Forum을 통해 업계 파트너들과 관련 정보를 공유했다.

3. 활동 규모와 귀속의 한계

활동은 7월 1일 시작됐고 초기에는 규모가 작았지만, 7월 24일과 25일에 관련 추출 패턴을 사용하는 요청이 급증했다. 이 기간에는 4,000명 이상의 사용자에게서 요청 16,000건이 관찰됐으며, 원문의 각주는 이 수치가 추출 시도를 나타낼 뿐 반드시 성공한 추출을 뜻하지는 않는다고 명시한다. 추가 조사에서는 15,000명 이상의 사용자로 구성된 집단 전반에서 관련 프롬프트 패턴이 확인됐고, OpenAI는 이 집단의 활동을 7월 28일까지 완전히 차단했다고 밝혔다. 활동 방식은 시간이 지나면서 변했으며, OpenAI는 이를 적대적 증류에 다층적이고 적응적인 방어가 필요하다는 근거로 제시했다. OpenAI는 핵심 활동 집단을 Kimi 개발사인 Moonshot AI와 연관된 인물들에게 귀속했지만, 해당 기간에 관찰한 모든 운영자가 단일 행위자에게서 비롯됐는지는 불분명하다고 밝혔다.

4. 안전·국가안보 위험과 공동 대응

OpenAI는 적대적 증류가 안전과 국가안보에 위험을 초래한다고 주장했다. 추출된 추론은 원래 모델의 사용자 대상 출력에 적용된 안전장치를 보존하지 않은 채 다른 모델을 훈련하는 데 사용될 수 있다는 설명이다. 대규모 증류는 동일한 수준의 안전 투자 없이도 고급 역량의 이전을 가속할 수 있으며, 모델이 이중용도 분야에서 더 높은 역량을 갖출수록 이러한 우려가 커진다고 밝혔다. 원문은 이 위험을 OpenAI에만 한정하지 않고, 비슷한 기법이 다른 첨단 AI 시스템에도 영향을 줄 수 있는 업계 공동의 보안 과제로 다룬다. 이에 따라 OpenAI는 Frontier Model Forum과 적절한 정부 정보공유 채널에 관련 발견을 전달해 다른 첨단 모델 개발사와 공공부문 파트너가 유사 활동을 찾고 방어를 강화할 수 있도록 했으며, 이동하거나 재전송할 수 있는 추론 산출물을 지원하는 시스템도 관련 위험에 직면할 수 있다고 설명했다.

5. 계정·인프라·추론 노출 경로의 차단

OpenAI는 이번 활동에 계정 제재, 기술적 통제, 파트너 협력을 결합해 대응했다고 밝혔다. 부정 계정을 금지하거나 제한하고 가입 및 인프라 통제를 강화했으며, 관련 네트워크에 대한 감시 범위도 확대했다. 사용자, 워크스페이스, 조직, 모델 계열 전반에 걸쳐 숨겨진 추론의 보호를 강화하고, 이미 타인의 암호화된 추론을 보유한 사람이 이를 재전송해 내용을 복원할 수 있던 경로를 폐쇄했다. 또한 추론을 노출할 가능성이 있는 스트리밍 출력을 탐지하고 보류하는 검사를 추가해 출력 과정에서도 보호가 작동하도록 했다. 관련 활동이 제3자 서비스를 통해 이동했을 때는 해당 제공업체들과 협력해 연루된 계정을 식별하고 차단했으며, 이는 서비스 내부의 조치와 외부 파트너의 대응을 함께 적용한 사례로 제시됐다.

6. 남은 보호 과제와 지속적 대응 방향

OpenAI는 첨단 모델이 발전하고 행위자들이 더 저렴하게 그 역량을 모방하려 할수록 적대적 증류 시도가 더욱 정교해질 것으로 예상했다. 따라서 이 활동에 대한 방어에는 여러 층의 통제와 지속적인 적응이 필요하며, 이번 대응으로 작업이 끝난 것은 아니라고 밝혔다. 파트너가 호스팅하는 배포 환경에도 자체 서비스와 같은 보호가 필요하고, 도구 출력 공격에는 일반적인 가시적 텍스트를 넘어서는 검사가 필요하다고 설명했다. OpenAI는 도구 방어, 분류기의 적용 범위, 모델의 거부 동작을 계속 개선하면서 관련 통제를 클라우드 파트너 전반으로 확대하고 있다고 밝혔다. 향후 대응은 추출을 막는 기술적 보호 강화, 조직적 활동에 대한 탐지와 제재 개선, 업계와 정부 간 위협 정보공유 확대라는 세 영역에 계속 집중할 계획이다.

🧾 핵심 주장 / 시사점

• 암호화나 저장소가 침해되지 않아도 모델 상호작용을 통해 내부 추론이 노출될 수 있으므로, 보호는 추론을 다루는 경로와 출력 단계까지 포괄해야 한다.
• 요청 16,000건과 15,000명 이상의 사용자 집단은 시도 규모를 보여주지만, 실제 추출 성공 규모나 모든 운영자의 동일한 배후를 입증하는 수치는 아니다.
• 제3자 서비스와 파트너 호스팅 환경까지 관련된 대응은 자체 서비스의 통제 강화와 파트너 보호 확대, 정보공유가 함께 필요하다는 점을 보여준다.

✅ 액션 아이템

• 보호된 내부 추론의 재전송 경로와 출력 단계 통제를 강화하고, 파트너 호스팅 배포와 도구 출력의 보호 확대를 지속 추진한다.
• 조직적 추출 시도의 탐지·제재를 강화하며, 요청 16,000건의 시도 규모와 실제 성공 건수, Moonshot AI 관련 귀속의 불확실성을 구분해 평가한다.
• Frontier Model Forum 및 정부 정보공유 채널을 통한 협력을 지속하고, 관련 통제를 클라우드 파트너로 확대한다.

❓ 열린 질문

• 요청 16,000건 가운데 실제로 보호된 내부 추론 추출에 성공한 건수는 얼마인가?
• Moonshot AI 관련 핵심 활동 집단 외에 관찰된 운영자들도 단일 행위자에게서 비롯됐는가?
• 파트너 호스팅 배포와 도구 출력에는 현재 어떤 보호가 적용돼 있으며, 추가로 필요한 보호는 무엇인가?