Articledeploymentsafety.openai.com·2026년 11월 16일·0

OpenAI CSAM Image Classifier Model Card - OpenAI Deployment Safety Hub

Quick Summary

OpenAI CSAM Image Classifier는 신규·AI 생성 아동 성착취물 의심 이미지를 탐지해 사람의 검토를 돕는 도구로, 분류 점수의 법적 판단 한계와 평가 데이터의 누출 가능성을 함께 고려해야 한다.

deploymentsafety.openai.comdeploymentsafety.openai.com원문 보기
OpenAI CSAM Image Classifier Model Card - OpenAI Deployment Safety Hub 관련 대표 이미지

🖼️ 인포그래픽

OpenAI CSAM Image Classifier Model Card - OpenAI Deployment Safety Hub 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

OpenAI CSAM Image Classifier Model Card - OpenAI Deployment Safety Hub의 핵심 내용을 4단계로 요약한 인포그래픽
OpenAI CSAM Image Classifier Model Card - OpenAI Deployment Safety Hub 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

OpenAI CSAM Image Classifier는 신규·AI 생성 아동 성착취물 의심 이미지를 탐지해 사람의 검토를 돕는 도구로, 분류 점수의 법적 판단 한계와 평가 데이터의 누출 가능성을 함께 고려해야 한다.

📌 핵심 요약

  • OpenAI CSAM Image Classifier는 NCMEC의 도움으로 개발됐으며 승인된 조직에 무료로 제공된다. 알려진 콘텐츠의 해시 매칭이 놓칠 수 있는 신규·AI 생성 CSAM의 위험 점수를 제공하지만, 점수만으로 CSAM 여부나 법적 지위, 신고 의무를 확정할 수 없다.
  • 모델은 내부 CLIP 이미지 인코더와 3층 MLP를 결합한다. 일부 대안이 개별 벤치마크에서 더 우수했지만, 내부 평가에서 CLIP+MLP가 보인 미관측 데이터 일반화와 높은 추론 처리량의 균형을 근거로 선택됐다.
  • 학습 데이터의 추정 고유 이미지 수는 양성 505K·음성 913K이며, 오프라인 평가 데이터는 양성 7K·음성 40K다. 오탐 평가에는 Re-LAION-5B-research 이미지 약 1.25M장도 사용했다. PDQ로 중복을 줄였지만 동일 아동이 여러 해에 걸쳐 등장하는 이미지 간 학습·평가 중첩 가능성은 남아 있다.
  • API는 서로 배타적이지 않은 likely-csam과 likely-csam/gen-ai 점수를 제공하며, 후자는 이미지의 생성 출처를 검증하지 않는다. API 제출 이미지는 보관하지 않고 학습·평가에도 사용하지 않으며, 추가 검증이 필요한 중대 하위 범주 신호는 외부에 공개하지 않았다.
  • 평가는 보류된 라벨 이미지, 독립적인 공개 웹 데이터, 표본 추출한 ChatGPT 트래픽 등을 대상으로 진행됐다. 기본 임계값은 likely-csam 0.996324, likely-csam/gen-ai 0.90이며, 중복 제거된 보류 평가에서 AUROC·AUPRC가 포화 수준에 가깝다고 설명한다. 다만 제공된 본문에는 성능표의 구체적인 값이 없고 마지막 평가 설명도 중간에 끊겨 있다.

🧩 주요 포인트

  1. 위험 점수와 법적 판단의 분리 → OpenAI CSAM Image Classifier는 해시 매칭·맥락 기반 탐지·훈련된 사람의 검토·법적 신고 절차를 보완하는 용도로 해석해야 한다.
  2. CLIP+MLP의 일반화·처리량과 평가 데이터 중첩 위험 → 아키텍처 선택의 근거와 평가 결과의 신뢰 한계를 함께 살펴야 한다.
  3. 낮은 CSAM 발생 비율과 임계값에 따른 정밀도·재현율 변화 → 기본 임계값이나 AUROC·AUPRC만으로 실제 배포 성능을 단정하기 어렵고, 평가 데이터 구성과 누락된 수치도 고려해야 한다.

🧠 상세 정리

1. 도구의 목적과 판단 범위

OpenAI CSAM Image Classifier는 아동 성착취물에 해당할 가능성이 있는 이미지를 식별하며, 알려진 콘텐츠의 해시 매칭만으로 놓칠 수 있는 신규 이미지와 AI 생성 이미지도 탐지 대상으로 삼는다. 제공되는 위험 점수는 플랫폼이 이미지를 훈련된 검토자에게 전달하거나 검토 우선순위를 정하고 다른 안전 조치를 지원하는 데 활용할 수 있다. 다만 분류기 점수만으로 이미지가 CSAM이라는 사실, 해당 이미지의 법적 지위, 신고 의무의 존재를 확정할 수는 없다. 따라서 해시 매칭, 맥락을 고려한 학대 탐지, 훈련된 사람의 검토와 법적 신고 절차를 보완하는 도구로 설명된다. 이 모델은 National Center for Missing and Exploited Children(NCMEC)의 도움으로 개발됐으며, 승인된 조직에는 무료로 제공되고 접근 신청은 https://openai.com/form/csam-classifier-intake 에서 받는다.

2. CLIP과 MLP를 결합한 설계

모델은 내부 CLIP 이미지 인코더와 3층 다층 퍼셉트론인 MLP를 결합하며, 이미지의 시각적 내용을 요약한 수치 표현을 각 범주의 점수로 변환한다. CLIP은 이미지와 텍스트의 쌍으로 범용 시각 표현을 학습하고, 이번 구성에서는 사전학습된 표현을 재사용하면서 CSAM 데이터로 과제 전용 MLP를 학습했다. 또한 인코더의 일부 계층을 미세조정해 해당 과제에 맞게 표현을 조정했으며, 내부 인코더는 모델 깊이·은닉 너비·사전학습 데이터에서 공개 CLIP 구현과 다르다. OpenAI는 개별 벤치마크에서 더 나은 성능을 보인 대안 구조도 평가했다고 설명한다. 그러나 내부 평가에서 CLIP+MLP가 보지 못한 데이터에 더 잘 일반화하고 더 높은 추론 처리량을 제공했기 때문에, 일반화와 계산 효율의 균형을 근거로 이 구조를 선택했다.

3. CSAM과 비CSAM의 학습상 정의

학습을 위한 CSAM의 정의는 아동이 관련된 성적으로 노골적인 행위를 시각적으로 묘사한 자료이며, 미국 연방법상 정의와 다른 관할권의 더 넓은 정의를 포괄하도록 선택됐다. 그러나 이 모델은 특정 관할권의 법률을 판정하는 분류기가 아니므로, 적용되는 정의와 신고 요건은 별도로 확인해야 한다. CSAM으로 라벨링된 데이터에는 AI 생성·수정 자료인 GAI, 동물 관련 학대를 뜻하는 BES, 폭력이나 고통·극심한 굴욕을 수반하는 SAD, 영아·유아 발달 단계 아동이 관련된 TOD 등의 하위 라벨이 추가될 수 있다. 비CSAM은 이러한 아동 관련 성적 행위를 묘사하지 않으며, 아동을 성적 대상화하거나 착취·학대하려는 의도로 제작되지 않은 시각 자료로 설명된다. 원문은 의료 진료·교육 자료, 성교육이나 발달 교육용 이미지, 문화·역사적 상황을 기록한 자료, 목욕 사진 같은 사적 가족 사진을 비CSAM의 예로 제시한다.

4. 데이터 취급과 규모

학습과 평가는 아동 성착취 예방 목적으로 미국 법률에 따라 구성한, 접근이 통제되고 사람이 라벨링한 이미지 데이터셋을 사용했다. 민감한 자료는 접근이 제한된 통제 환경에서 저장·처리됐으며, 법률·개인정보 보호·보안·검토자 복지 관련 통제가 학습과 데이터 취급에 적용됐다. 실제 이미지, 조작된 실제 이미지, AI 생성 이미지의 CSAM·비CSAM을 포함했고, 추정 고유 이미지 수는 학습 양성 505K·음성 913K, 오프라인 평가 양성 7K·음성 40K다. 별도로 성인 성적 콘텐츠와 기타 NSFW 콘텐츠도 포함하는 Re-LAION-5B-research에서 약 1.25M장을 오탐 평가에 사용했으며, 이 데이터셋의 CSAM 제거 필터가 모든 잔여 이미지의 비CSAM 여부를 보장하지는 않는다고 명시했다. 민감한 자료 노출, 개인정보 침해와 우회 가능성을 이유로 실제 이미지, 정확한 데이터 구성, 라벨링 지침과 보안상 민감한 구현 세부사항은 공개하지 않는다.

5. 중복 제거와 남아 있는 데이터 누출 위험

CSAM은 편집되거나 반복 공유되는 경우가 많아 동일하거나 거의 같은 이미지가 학습과 평가 데이터에 동시에 포함될 위험이 있다. 직접적인 육안 확인에도 제약이 있어 이러한 중첩을 찾기 어렵기 때문에, OpenAI는 PDQ 같은 지각적 중복 제거 기법으로 위험을 줄였다고 설명한다. 오프라인 평가에서는 데이터를 무작위로 나눈 뒤 각 분할 내부와 분할 사이에서 PDQ 기반 중복 제거를 수행해 학습 이미지의 평가 유입과 일부 이미지의 반복본이 지표를 지배하는 문제를 억제했다. 그러나 동일 아동이 여러 해에 걸쳐 등장하는 서로 다른 이미지로 구성된 시리즈까지 이 기법으로 모두 처리할 수는 없다. 현재는 이런 형태의 학습·평가 중첩을 방지하는 데 필요한 데이터가 부족하므로, 평가 결과는 잔존하는 데이터 누출 위험을 고려해 해석해야 한다.

6. 학습 목표와 API 신호의 한계

학습은 잠재적 CSAM을 탐지하는 동시에 시각적으로 비슷한 비CSAM 자료의 오탐을 줄이는 데 중점을 뒀으며, 추가로 확인된 오류 유형은 이후 학습·평가 주기에 반영될 수 있다. 다만 분류기 API에 제출된 이미지는 보관 없이 처리되고 학습이나 평가에 사용되지 않는다고 명시한다. 외부 API는 의심 CSAM을 뜻하는 likely-csam과 의심 AI 생성 CSAM을 뜻하는 likely-csam/gen-ai를 제공하며, 두 점수는 배타적이지 않아 하나의 이미지가 모두 높은 점수를 받을 수 있다. 특히 likely-csam/gen-ai는 이미지의 생성 출처를 검증하지 않으며, 두 점수 모두 사실이나 법적 판단이 아닌 해당 범주의 위험 신호다. 내부적으로는 likely-csam/bestiality, likely-csam/bondage-sadism, likely-csam/infant-toddler도 별도로 산출하지만, 범주별 빈도·평가 데이터·오류 유형·검토 긴급성이 다르고 추가 성능 검증이 필요해 외부에는 공개하지 않았다.

7. 평가 구성과 기본 임계값

OpenAI는 학습에서 보류한 라벨 이미지, 독립적인 공개 웹 데이터셋, 표본 추출한 ChatGPT 트래픽으로 분류기를 평가했으며, 알파 파트너에게도 자체 트래픽에서 시험하도록 요청했다. 오프라인 평가셋은 약 46,849장의 접근 통제 이미지로 구성됐고, 운영 안전 절차에서 확보한 확정 양성 사례와 기존 오탐·비CSAM 의료 이미지 같은 경계 사례를 포함한 다양한 음성 사례를 담았다. 실제 배포 트래픽은 클래스 불균형이 크고 CSAM 발생 비율이 낮으므로 전체 정확도만으로 성능을 판단하기 어렵다고 설명한다. 기본 임계값은 온라인 평가셋에서 재현율과 정밀도의 균형을 맞추도록 선택됐으며, 오프라인 평가셋에서는 정밀도에 무게가 실리는 결과가 관찰됐다. 제시된 값은 likely-csam 0.996324와 likely-csam/gen-ai 0.90이며, CSAM-GenAI 평가의 양성은 전체 CSAM 양성의 부분집합이고 AI로 생성되지 않은 CSAM 양성은 CSAM-GenAI 평가에서는 음성으로 취급된다.

8. 성능 해석과 제공된 자료의 공백

원문은 임계값 변화에 따른 성능을 ROC 곡선과 정밀도-재현율 곡선으로 살펴보고, 각 곡선 아래 면적인 AUROC와 AUPRC도 측정했다고 설명한다. 중복을 제거한 보류 평가셋에서 두 지표가 포화 수준에 가깝다고 서술하지만, 제공된 본문에는 표 2의 라벨별 구성이나 표 3의 기본 임계값별 구체적인 성능 수치가 나타나지 않아 정확한 값을 확인할 수 없다. 학습에 사용하지 않은 Re-LAION-5B-research로 보류 평가 분포 밖의 탐지 동작도 평가했으나, PDQ 중복 제거 이후 표본 규모를 설명하는 마지막 문장은 중간에 끊겨 최종 규모와 결과가 확인되지 않는다. OpenAI는 합의된 정의와 대표성 있는 시험 데이터를 사용하는 공동의 독립 벤치마킹 절차가 시스템 간 효과 비교와 사각지대 파악에 도움이 될 것이라고 제안한다. 이는 놓친 학대와 오탐을 함께 평가하고 도입 판단과 개선을 지원하려는 취지이며, 현재 제시된 높은 지표만으로 실제 환경의 성능이나 법적 판단 능력까지 확정할 근거는 아니다.

🧾 핵심 주장 / 시사점

  • 이 도구의 활용 가치는 점수로 최종 판정을 내리는 데보다, 해시 매칭이 놓칠 수 있는 자료를 찾아 훈련된 사람의 검토로 연결하는 데 있다.
  • 개별 벤치마크 최고 성능보다 미관측 데이터 일반화와 추론 처리량을 함께 고려한 설계 선택은, 모델의 평가 기준이 단일 지표에 한정되지 않았음을 보여준다.
  • 중복 제거된 평가셋의 높은 지표와 실제 배포에서의 유효성은 구분해 해석할 필요가 있다. 잔존 데이터 누출 위험, 낮은 CSAM 발생 비율, 평가표 수치의 누락이 판단의 제약으로 남는다.

✅ 액션 아이템

  • OpenAI CSAM Image Classifier의 위험 점수를 해시 매칭·훈련된 사람의 검토·법적 신고 절차와 함께 활용하는 범위를 검토한다.
  • CLIP+MLP의 일반화·처리량에 관한 평가를 학습·평가 데이터 중첩 위험과 함께 검토한다.
  • likely-csam 0.996324와 likely-csam/gen-ai 0.90의 적용 의미를 정밀도·재현율 변화와 누락된 성능 수치를 고려해 검토한다.

❓ 열린 질문

  • OpenAI CSAM Image Classifier의 위험 점수를 훈련된 사람의 검토와 법적 신고 절차에 어떻게 연결할 수 있는가?
  • 동일 아동이 여러 해에 걸쳐 등장하는 학습·평가 데이터 중첩 가능성은 CLIP+MLP의 일반화 평가에 어느 정도 영향을 미치는가?
  • 기본 임계값 likely-csam 0.996324와 likely-csam/gen-ai 0.90에서 구체적인 정밀도·재현율은 얼마이며 실제 배포 트래픽에서도 유지되는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.