OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM
Quick Summary
OpenAI가 아동 성적 학대물(CSAM)에 대응하기 위해 새 이미지 분류기, ChatGPT 경고와 24시간 계정 정지, 개발자 지침 및 법 집행기관용 AI 도구를 발표했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
OpenAI가 아동 성적 학대물(CSAM)에 대응하기 위해 새 이미지 분류기, ChatGPT 경고와 24시간 계정 정지, 개발자 지침 및 법 집행기관용 AI 도구를 발표했다.
📌 핵심 요약
- OpenAI는 2026년 11월 16일 AI 생성물을 포함한 CSAM 이미지를 탐지하는 새 이미지 분류기를 발표하고, 일부 기업에 API를 통한 무료 접근을 제공한다고 밝혔다.
- OpenAI는 NCMEC와 분류기를 개발했으며 Tech Coalition, ROOST와 접근 제공을 협력하고 있다. 회사에 따르면 파트너 초기 시험에서 동일한 수의 학대 이미지를 찾아내면서 표시하는 이미지 수가 48% 줄었고, 표시된 이미지가 학대 이미지일 가능성은 두 배였다.
- ChatGPT는 아동을 성적 대상화하는 자료를 요구하는 사용자에게 경고와 전문 지원 안내를 제공하고, 경고 조치로 계정을 24시간 정지한다. 기존에도 CSAM 콘텐츠와 관련 요청을 차단했으며, 반복 위반은 영구 계정 삭제로 이어질 수 있다.
- OpenAI는 개발자에게 CSAM 예방·탐지·신고 지원 지침을 제공하고, 아동 안전 관련 법 집행기관에는 전용 플러그인, 수사 도구, 복잡한 데이터 분석 기능과 교육을 제공한다. 회사는 초기 시험에서 여러 개발자가 아동 안전 도구를 도입하고 NCMEC 신고를 위한 등록을 했다고 밝혔다.
- 이번 발표는 특히 아동을 포함한 사용자 피해를 주장하는 여러 소송과 Common Sense Media의 청소년 대상 ‘수용 불가능한 위험’ 평가 속에서 나왔다. OpenAI는 지난 12개월 동안 안전 청사진, 콘텐츠 지침 개정, 유해 콘텐츠 생성을 막기 위한 모델 재조정, 청소년용 ChatGPT도 내놓았다.
🧩 주요 포인트
- 새 이미지 분류기의 초기 시험에서 탐지 건수를 유지하면서 표시 이미지가 48% 감소했다는 결과는 검토자의 업무 부담을 줄일 가능성을 보여주지만, 근거는 OpenAI가 밝힌 파트너 시험 결과다.
- ChatGPT의 기존 CSAM 차단에 경고·전문 지원 안내·24시간 계정 정지가 더해지면서, 대응 범위가 콘텐츠 차단에서 사용자 행동 억제까지 확장된다.
- 개발자 지침과 법 집행기관용 AI 도구는 CSAM 예방·탐지·신고·수사를 연결하려는 접근이며, 소송과 청소년 안전 비판 속에서 기존 안전 조치를 확대하는 성격을 갖는다.
🧠 상세 정리
1. CSAM 대응 도구 발표와 이미지 분류기의 역할
TechCrunch의 Ivan Mehta가 2026년 11월 16일 보도한 기사에 따르면, OpenAI는 AI 도구 이용의 안전성에 대한 우려가 커지는 가운데 아동 성적 학대물(CSAM) 대응 도구를 발표했다. 발표에는 새 이미지 분류기, ChatGPT의 경고와 일시적 이용 제한, 개발자 지침, 법 집행기관용 도구가 포함됐다. 이미지 분류기는 AI가 생성한 이미지를 포함해 CSAM을 탐지하며, 이전에 보지 못한 이미지에서도 시각적인 학대 징후를 찾는다. 분류기는 이미지에 점수를 부여해 검토자가 CSAM 처리 방향을 판단하는 데 참고할 수 있도록 하며, OpenAI는 일부 기업에 API를 통한 무료 접근을 제공한다고 밝혔다.
2. 공동 개발과 초기 시험에서 보고된 성과
OpenAI는 미국 실종·학대아동방지센터인 National Center for Missing and Exploited Children(NCMEC)과 새 이미지 분류기를 개발했다고 밝혔다. 또한 Tech Coalition 및 ROOST와 협력해 이 도구에 대한 접근을 제공하고 있다. 회사에 따르면 파트너들과 진행한 초기 시험에서 분류기는 동일한 수의 학대 이미지를 찾아내면서도 검토 대상으로 표시하는 이미지 수를 48% 줄였다. OpenAI는 이를 검토자의 업무를 줄이는 결과로 설명했으며, 분류기가 표시한 이미지가 실제 학대 이미지일 가능성도 두 배라고 밝혔다. 이러한 수치는 기사에서 OpenAI의 초기 시험 결과로 제시되므로, 모든 이용 환경에서 이미 확인된 성과로 확대해 해석할 근거는 제시되지 않았다.
3. ChatGPT의 경고와 계정 이용 제한
OpenAI는 아동을 성적 대상화하는 자료에 접근하려는 시도를 막기 위해 ChatGPT에 새로운 경고 화면을 추가한다고 밝혔다. 관련 프롬프트를 시도하는 사용자에게 알림을 표시하고, 해로운 행동을 중단하도록 돕는 전문 지원으로 안내하며, 경고 조치로 계정을 24시간 정지한다. ChatGPT는 이미 CSAM 콘텐츠와 관련 요청을 차단하고 있었으며, 반복적인 위반은 계정의 영구 삭제로 이어질 수 있다고 회사는 설명했다. OpenAI는 이러한 행동에 대응하는 메시지와 지침을 Protect Children, Lucy Faithfull Foundation, University of Tasmania의 Joel Scanlan 등 단체와 연구자의 협력을 통해 마련했다고 밝혔다. 기사에서는 Joel Scanlan이 억제 메시지 시험을 독립적으로 평가했다는 점도 소개했다.
4. 개발자의 예방·탐지·신고 지원
OpenAI는 자사 도구를 사용하는 개발자를 대상으로 CSAM 대응 지침도 공개한다고 밝혔다. 이 지침은 CSAM을 예방하고 탐지하는 일뿐 아니라, 사용자가 관련 콘텐츠를 신고하도록 돕는 일까지 다룬다. 회사는 초기 시험에서 이 지침이 여러 개발자의 아동 안전 도구 도입과 NCMEC에 CSAM을 신고하기 위한 등록에 도움이 됐다고 설명했다. 기사에 제시된 성과는 개발자의 도구 도입과 신고 등록에 관한 것으로, 실제 CSAM 발생 감소 규모나 신고 처리 성과에 대한 수치는 제시되지 않았다. 따라서 개발자 대상 조치의 핵심은 서비스에서 예방·탐지·신고 기능을 갖추도록 지원하는 데 있으며, 그 효과에 관한 설명은 회사가 밝힌 초기 도입 결과에 한정된다.
5. 법 집행기관의 수사와 분석을 위한 지원
OpenAI는 아동 안전 사건을 다루는 법 집행기관에도 AI 기반 기능을 제공한다고 밝혔다. 기사에 언급된 기능에는 전용 플러그인, 수사 도구, 복잡한 데이터 분석이 포함되며, 이러한 기능에 대한 접근은 프로그램 관리자가 관리한다. 회사는 기능 제공과 함께 수사관을 대상으로 교육을 실시하고, AI를 어떻게 활용할 수 있는지 설명하는 현장 안내서도 제공한다고 설명했다. 이는 개발자의 CSAM 예방·탐지·신고 지원과 더불어 법 집행기관의 수사 및 분석 업무까지 지원 범위에 포함하는 조치다. 다만 기사에는 개별 도구의 구체적인 작동 방식이나 실제 수사에서 얻은 성과, 접근이 허용되는 기관의 범위에 관한 상세 내용은 제시되지 않았다.
6. 소송과 청소년 안전 비판 속에서 이어진 변화
기사는 OpenAI의 기술이 특히 아동을 포함한 사용자에게 피해를 줬다고 주장하는 여러 소송을 이번 발표의 배경으로 제시했다. 안전 문제에 집중하는 비영리단체 Common Sense Media는 OpenAI 기술을 청소년에게 ‘수용 불가능한 위험’이라고 평가했다. 또한 다른 AI 챗봇, 특히 Grok이 아동을 포함한 비동의 성적 이미지 제작에 이용된 사례를 언급하며 AI 업계의 관련 문제도 짚었다. OpenAI는 지난 12개월 동안 안전 청사진 발표, 부적절한 콘텐츠를 금지하는 지침 개정, 유해 콘텐츠 생성을 막기 위한 모델 재조정, 청소년용 ChatGPT 출시 등의 변화를 추진했다. 이번 발표는 이러한 안전 조치의 연장선에 있지만, 기사에 소개된 비판이나 소송의 주장이 해소됐다고 결론 내리지는 않는다.
🧾 핵심 주장 / 시사점
- 이미지 분류기의 가치는 탐지 건수뿐 아니라 검토 대상으로 표시되는 이미지의 양과 정확성에도 연결된다. 다만 48% 감소와 두 배라는 결과는 OpenAI가 보고한 초기 시험의 범위에서 해석할 필요가 있다.
- ChatGPT의 경고, 전문 지원 안내, 일시 정지와 영구 삭제 가능성은 콘텐츠 접근을 막는 기능에 행동 억제와 반복 위반 대응을 결합한다.
- 개발자와 법 집행기관을 함께 지원하는 접근은 CSAM 대응을 여러 단계로 확장하지만, 도구 도입이나 제공 사실만으로 실제 피해 감소 효과까지 확인되는 것은 아니다.
✅ 액션 아이템
- 새 이미지 분류기 도입 검토 시 일부 기업 대상 무료 API 제공 범위와 OpenAI가 밝힌 초기 시험의 48% 감소 결과를 함께 검토.
- ChatGPT의 CSAM 대응을 기존 차단, 전문 지원 안내, 24시간 계정 정지, 반복 위반 시 영구 계정 삭제 가능성까지 포함해 파악.
- 개발자 지침의 CSAM 예방·탐지·신고 지원과 법 집행기관용 AI 도구의 수사 지원 역할을 연계해 검토.
❓ 열린 질문
- 새 이미지 분류기가 동일한 수의 학대 이미지를 탐지하면서 표시 이미지를 48% 줄인 초기 시험 결과는 다른 이용 환경에서도 유지되는가?
- ChatGPT의 경고·전문 지원 안내·24시간 계정 정지는 반복적인 CSAM 관련 요청을 얼마나 줄이는가?
- 개발자 지침과 법 집행기관용 AI 도구는 CSAM 예방·탐지·신고·수사에서 어떤 실제 효과를 내는가?