🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Protect AI와 Hugging Face의 6개월 파트너십은 Guardian 스캔으로 447만 개 모델 버전을 검사하고 35.2만 건의 unsafe/suspicious 이슈를 찾아, 공개 모델 사용자가 보안 위험을 더 명확히 판단하도록 돕고 있다.

📌 핵심 요약

• Hugging Face와 Protect AI는 2024년 10월 파트너십을 맺고 Hugging Face Hub의 모델을 탐색·사용하는 개발자 커뮤니티에 Guardian 기반 보안 스캔을 제공하기 시작했다.
• Protect AI는 이후 Guardian의 탐지 능력을 확장해 Archive Slip, Joblib 모델 로드 시 의심 코드 실행, TensorFlow SavedModel의 아키텍처 백도어, llamafile 추론 중 악성 코드 실행 탐지 모듈을 추가했다.
• 2025년 4월 1일 기준 Guardian은 Hugging Face Hub의 141만 개 저장소에서 447만 개 고유 모델 버전을 스캔했고, 51,700개 모델에서 총 352,000건의 unsafe/suspicious 이슈를 식별했다.
• Guardian은 임의 코드 실행을 의도와 무관하게 본질적으로 위험한 것으로 보고, 명백한 악성 코드뿐 아니라 난독화·압축·직렬화·프레임워크 확장 기능을 통한 숨은 실행 위험까지 의심 항목으로 표시한다.
• Protect AI는 내부 위협 연구팀과 17,000명 이상의 보안 연구자가 참여하는 huntr 버그바운티를 통해 200건 이상의 모델 파일 취약점 보고를 반영했고, 이를 Hugging Face의 자동 모델 스캔에 적용하고 있다.

🧩 주요 포인트

1. Hugging Face와 Protect AI는 2024년 10월 파트너십을 맺고 Hugging Face Hub의 모델을 탐색·사용하는 개발자 커뮤니티에 Guardian 기반 보안 스캔을 제공하기 시작했다.
2. Protect AI는 이후 Guardian의 탐지 능력을 확장해 Archive Slip, Joblib 모델 로드 시 의심 코드 실행, TensorFlow SavedModel의 아키텍처 백도어, llamafile 추론 중 악성 코드 실행 탐지 모듈을 추가했다.
3. 2025년 4월 1일 기준 Guardian은 Hugging Face Hub의 141만 개 저장소에서 447만 개 고유 모델 버전을 스캔했고, 51,700개 모델에서 총 352,000건의 unsafe/suspicious 이슈를 식별했다.
4. Guardian은 임의 코드 실행을 의도와 무관하게 본질적으로 위험한 것으로 보고, 명백한 악성 코드뿐 아니라 난독화·압축·직렬화·프레임워크 확장 기능을 통한 숨은 실행 위험까지 의심 항목으로 표시한다.
5. Protect AI는 내부 위협 연구팀과 17,000명 이상의 보안 연구자가 참여하는 huntr 버그바운티를 통해 200건 이상의 모델 파일 취약점 보고를 반영했고, 이를 Hugging Face의 자동 모델 스캔에 적용하고 있다.

🧠 상세 정리

1. 파트너십의 목적과 출발점

Hugging Face와 Protect AI는 2024년 10월 머신러닝 모델 보안을 강화하기 위해 협력하기 시작했다. 글은 이 파트너십을 자연스러운 결합으로 설명한다. Hugging Face는 오픈소스 AI 사용을 민주화하면서 안전성과 보안을 중시하고, Protect AI는 공개 모델을 더 안전하게 쓰기 위한 가드레일을 구축한다는 점에서 역할이 맞물린다는 것이다. 이 협력의 핵심은 Hugging Face Hub에서 모델을 탐색하고 사용하는 개발자들이 모델 페이지 안에서 보안 신호를 확인할 수 있게 만드는 데 있다.

2. Guardian 탐지 모듈의 확장

Protect AI는 파트너십 이후 Guardian의 탐지 기능을 크게 확장했다고 설명한다. 새로 추가된 모듈은 로드 시 파일 시스템에 쓸 수 있는 Archive Slip, Joblib 모델 로드 시 의심스러운 코드 실행, TensorFlow SavedModel 안의 아키텍처 백도어, llamafile 추론 중 악성 코드 실행 가능성을 다룬다. 이 업데이트로 Guardian은 더 많은 모델 파일 형식을 다루고, Keras의 고위험 CVE-2025-1550 같은 취약점과 추가 난독화 기법을 탐지할 수 있게 됐다. 결과는 Hugging Face 플랫폼의 인라인 알림과 Insights DB의 취약점 보고서로 사용자에게 제공된다.

3. 스캔 규모와 수치로 본 성과

2025년 4월 1일 기준 Protect AI는 Hugging Face Hub에서 141만 개 저장소에 포함된 447만 개 고유 모델 버전을 스캔했다. 현재까지 51,700개 모델에서 총 352,000건의 unsafe/suspicious 이슈를 식별했다는 수치도 제시된다. 최근 30일 동안에는 Hugging Face에서 온 2억 2600만 건의 요청을 처리했으며, 응답 시간은 7.94밀리초로 제시됐다. 글은 이러한 수치를 통해 Guardian이 단순한 연구용 도구가 아니라 대규모 공개 모델 생태계에서 실제로 운영되는 보안 인프라라는 점을 강조한다.

4. 제로 트러스트 방식의 모델 보안

Guardian의 핵심 접근법은 AI·ML 보안에 대한 제로 트러스트다. 특히 임의 코드 실행은 의도와 무관하게 본질적으로 안전하지 않은 것으로 취급한다. 그래서 Guardian은 명백히 악성으로 보이는 위협만 분류하지 않고, Insights DB에서 실행 위험을 suspicious로 표시한다. 글은 공격자가 무해해 보이는 스크립트나 프레임워크 확장 요소 안에 페이로드를 숨길 수 있으므로, 페이로드 내용만 보는 방식으로는 충분하지 않다고 설명한다. 이런 보수적인 접근은 머신러닝 모델 안에 숨겨진 위협을 줄이는 데 목적이 있다.

5. huntr와 위협 연구를 통한 취약점 반영

Protect AI는 내부 위협 연구팀뿐 아니라 huntr 커뮤니티를 활용해 Guardian의 탐지 능력을 계속 발전시키고 있다. huntr는 17,000명 이상의 보안 연구자가 참여하는 AI·ML 버그바운티 프로그램으로 소개된다. Protect AI는 파트너십 시작 시점에 맞춰 새로운 Model File Vulnerabilities 연구 프로그램을 시작했고, 이후 200건 이상의 보고를 받았다고 설명한다. 이 보고들은 Protect AI 팀이 검토한 뒤 Guardian에 반영했으며, Hugging Face에서 실행되는 모델 스캔에도 자동 적용된다. 글은 커뮤니티 기반 연구가 실제 탐지 모듈 개선으로 이어지는 흐름을 강조한다.

6. 반복적으로 드러난 공격 패턴

글은 huntr 보고와 독립 위협 연구를 통해 몇 가지 공통 공격 테마가 나타났다고 정리한다. 첫째는 머신러닝 워크스테이션 환경에 이미 존재하는 라이브러리의 함수를 악용하는 library-dependent attack chain이다. 글은 이를 과거 Java나 Flash 같은 보편적 유틸리티가 있던 환경에서 발생한 drive-by download식 공격과 비교한다. 둘째는 압축, 인코딩, 직렬화 등을 이용해 모델 안에 페이로드를 숨기는 payload obfuscation이다. 이러한 기법은 Joblib, Keras, NeMo 같은 형식의 내장 파일이나 압축 처리와 맞물려 일반적인 스캔을 우회할 수 있다고 설명된다.

7. 프레임워크 확장성과 공격 체인

머신러닝 프레임워크는 custom layers, 외부 코드 의존성, 설정 기반 코드 로딩 같은 확장 메커니즘을 제공하지만, 글은 이런 기능이 위험한 공격 벡터가 될 수 있다고 설명한다. 예시로 Keras의 CVE-2025-1550은 보안 기능이 있어도 custom layer를 통해 임의 코드 실행이 가능함을 보여준 사례로 제시된다. 설정 파일의 직렬화 취약점도 동적 코드 로딩을 허용할 수 있어, 사용자가 의심 없이 로드하는 모델 형식 안의 조작된 페이로드가 문제가 된다. 또 최근 보고들은 난독화 페이로드와 확장 메커니즘을 순차적으로 악용하는 attack vector chaining을 보여줬으며, 개별 요소만 보면 무해해 보이는 공격이 결합될 때 탐지가 어려워진다고 설명한다.

8. Hugging Face 사용자에게 제공되는 방어 강화

Protect AI는 Guardian이 여러 유형의 위협 탐지를 강화했다고 설명한다. PyTorch와 Pickle 스캐너는 직렬화된 코드의 깊은 구조를 분석해 실행 경로와 잠재적으로 위험한 코드 패턴을 살피며, PyTorch, Numpy, Pandas 같은 널리 쓰이는 라이브러리의 위험 함수도 더 많이 탐지할 수 있게 됐다. Guardian은 중첩 아카이브를 풀고 압축된 페이로드를 검사해 압축·인코딩·직렬화로 숨겨진 악성 모델을 찾는다. 또한 CVE-2025-1550이 공개되기 전에도 영향을 받은 모델에 대해 Hugging Face 사용자에게 알림을 제공했다고 설명한다. ONNX를 넘어 TensorFlow 같은 추가 형식의 아키텍처 백도어 탐지도 확장됐고, Joblib과 llamafile 같은 형식 지원도 추가됐다.

🧾 핵심 주장 / 시사점

• 공개 모델 생태계에서 보안 판단은 모델 카드나 평판만으로 충분하지 않으며, 파일 형식·직렬화·압축·프레임워크 확장 경로를 함께 보는 자동화된 스캔이 중요해지고 있다.
• Guardian의 제로 트러스트 접근은 ‘악성 의도 확인’보다 ‘실행 가능성과 위험 경로 식별’을 우선한다는 점에서, 오픈소스 모델 사용자의 실무적 의사결정에 더 직접적인 정보를 제공한다.
• huntr 커뮤니티 보고가 Guardian 모듈과 Hugging Face 스캔에 반영되는 구조는 AI·ML 보안이 단일 업체의 정적 규칙보다 지속적인 연구와 피드백 순환에 의존한다는 점을 보여준다.

✅ 액션 아이템

• 파트너십 기반 Guardian 스캔 체계로 Hugging Face Hub 공개 모델의 위험 판단 시점과 대응 기준을 정합한다.
• 2025-04-01 기준 447만 모델 버전과 35.2만 건 이슈 수치를 반영해 위험 분류 임계값을 재정의한다.
• Archive Slip, Joblib, SavedModel 아키텍처 백도어, llamafile 탐지 항목별로 의심 코드 실행 패턴의 대응 우선순위를 정의한다.

❓ 열린 질문

• 임의 코드 실행을 의도와 무관하게 본질적 위험으로 본 기준이 정상 모델 사용 흐름에 과도한 제약을 주는지 어떻게 판단할 것인가?
• 난독화·압축·직렬화·프레임워크 확장 기능을 의심 항목으로 표시할 때 오탐 한계는 어떤 지표로 정할 것인가?
• 17,000명 이상 참여한 huntr에서 200건 이상 반영된 취약점 데이터가 최신 위협 대응에 실제로 충분한 반영 속도를 제공하는가?