ArticleOpenAI·2026년 11월 16일·0

Strengthening the fight against online child sexual abuse with new tools and support

Quick Summary

OpenAI는 AI 생성물을 포함한 아동 성적 학대 자료(CSAM) 탐지 분류기, ChatGPT의 경고·24시간 이용 제한, 개발자 지침과 수사기관 지원을 통해 온라인 아동 보호를 강화한다고 발표했다.

Strengthening the fight against online child sexual abuse with new tools and support 관련 대표 이미지

🖼️ 인포그래픽

Strengthening the fight against online child sexual abuse with new tools and support 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Strengthening the fight against online child sexual abuse with new tools and support의 핵심 내용을 4단계로 요약한 인포그래픽
Strengthening the fight against online child sexual abuse with new tools and support 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 AI 생성물을 포함한 아동 성적 학대 자료(CSAM) 탐지 분류기, ChatGPT의 경고·24시간 이용 제한, 개발자 지침과 수사기관 지원을 통해 온라인 아동 보호를 강화한다고 발표했다.

📌 핵심 요약

  • OpenAI는 잠재적 CSAM의 시각적 징후를 탐지하고 검토 우선순위 판단용 점수를 제공하는 이미지 분류기를 공개했다. AI 생성 가능성을 나타내는 별도 신호도 제공하며, 심사를 통과한 조직은 OpenAI API를 통해 무료로 이용할 수 있다.
  • 사용자 업로드 이미지에 대한 초기 내부 평가에서 새 분류기는 기존 도구와 대략 같은 수의 학대 이미지를 찾으면서 검토 대상으로 표시하는 이미지를 48% 줄일 수 있을 것으로 추정됐다. 표시된 이미지에 학대 자료가 포함될 가능성은 약 2배였다.
  • 파트너별 평가에서 fal은 높은 확신도로 표시된 이미지의 72%를 기존에 식별되지 않은 CSAM으로 확인했고, invideo AI는 표시 사례 4건 중 1건이 이용 금지로 이어졌다고 밝혔다. SafetyKit은 아동을 성적 대상으로 묘사한 그림·애니메이션 사례의 90%를 탐지했으며, 합법적 성인 콘텐츠의 오탐률은 1% 미만이었다고 설명했다.
  • ChatGPT는 학대 자료를 찾으려는 시도에 경고를 표시하고, 해당 대화를 삭제하며, 접근을 24시간 중단하되 전문 지원은 계속 제공한다. 반복 위반은 더 긴 제한, 계정 폐쇄 또는 당국 신고로 이어질 수 있으며, 경고는 외부 아동 보호 단체와 연구자들의 의견을 반영해 개발됐다.
  • OpenAI는 CSAM 예방·탐지·검토·신고를 위한 개발자 지침과 Anthropic·Google과 공동 의뢰한 피해 고백 대응 지침을 소개했다. 아동 보호 수사기관에는 긴 채팅 기록과 법적 절차로 확보한 자료의 검토, 연결 관계 파악, 출처가 연결된 타임라인 작성을 돕는 도구와 교육을 지원하지만, 원문 끝부분이 잘려 접근 조건의 구체적인 내용은 확인할 수 없다.

🧩 주요 포인트

  1. AI 생성 가능성 신호와 검토 우선순위 점수 제공 → 새로운 CSAM 식별과 검토 자원 집중을 지원하지만, 초기 내부 평가와 파트너별 수치는 서로 다른 평가 조건을 전제로 해석해야 한다.
  2. ChatGPT의 경고·24시간 이용 제한과 전문 지원 연결 → 위반에 대한 제재와 유해 행동 중단을 돕는 개입을 함께 적용하며, 반복 위반에는 조치가 강화될 수 있다.
  3. 무료 분류기 접근, 개발자 지침, 수사기관 도구·교육 지원 → 탐지부터 대응과 수사까지 여러 조직의 역량을 보완하는 방향이며, 수사기관 접근 조건은 잘린 원문만으로 확정하기 어렵다.

🧠 상세 정리

1. 아동 보호 강화의 목표와 새 이미지 분류기

OpenAI는 아동 성적 학대 자료(CSAM)를 탐지하는 새 도구, 유해 행동을 중단시키고 도움으로 연결하는 개입, 개발자용 실무 자료와 아동 보호 수사관 지원을 발표했다. 이는 기존 Child Safety Blueprint와 학대 자료의 탐지·차단·신고 활동을 확장하는 조치이며, 사람이 통제권을 유지하면서 기술로 아동을 보호하는 것을 목표로 제시한다. 새 이미지 분류기는 AI 생성물을 포함한 잠재적 CSAM의 시각적 징후를 찾아, 이전에 확인되지 않은 이미지도 식별하는 데 도움을 주도록 설계됐다. 분류기는 검토자가 우선 확인할 이미지를 판단할 수 있도록 점수를 반환하며, 최종 판단을 자동으로 확정하는 도구로 설명되지는 않는다. OpenAI는 이를 AI 생성 CSAM일 가능성을 나타내는 별도 신호를 갖추고 폭넓게 제공되는 최초의 CSAM 분류기라고 소개한다.

2. NCMEC의 개발 지원과 조직 간 협력

OpenAI는 온라인 아동 착취 신고의 중앙 창구인 CyberTipline을 운영하는 비영리단체 National Center for Missing and Exploited Children(NCMEC)의 도움을 받아 분류기를 훈련·평가하고 실제 배포에 맞게 설계했다고 설명한다. 심사를 통과한 조직에는 OpenAI API를 통해 무료로 접근을 제공해, 다양한 규모의 안전팀과 아동 보호 단체가 탐지 도구를 활용할 수 있게 한다. 접근 확대를 위해 Tech Coalition 및 ROOST와 협력하고 있으며, 다른 조직이 개발한 도구인 Thorn의 Safer도 지지한다고 밝혔다. 또한 Tech Coalition의 Lantern 프로그램에 참여하기 시작해 온라인 아동 성적 착취·학대 관련 신호를 주고받으며 플랫폼 간 협력을 강화할 계획이다. NCMEC의 John Shehan은 새 분류기가 미식별 CSAM 탐지와 신고를 강화하고 피해 아동의 식별·보호에 필요한 정보를 제공하는 데 기여할 수 있다고 평가했다.

3. 초기 내부 평가에서 나타난 검토 효율

OpenAI는 내부와 초기 파트너 환경에서 분류기가 학대 자료를 얼마나 탐지하는지, 다른 이미지를 얼마나 잘못 표시하는지, 안전팀 업무를 어떻게 지원하는지 시험했다고 밝혔다. 이 과정에서 받은 피드백으로 약점을 파악하고 시스템을 개선했으며, 공개된 결과는 초기 시험에 근거한 것으로 제시됐다. 사용자 업로드 이미지 평가에서는 새 분류기가 기존 보호 도구와 대략 같은 수의 학대 이미지를 찾으면서 검토 대상으로 표시하는 이미지 수를 48% 줄일 수 있을 것으로 추정했다. 새 분류기가 표시한 이미지에 실제 학대 자료가 포함될 가능성은 기존 도구가 표시한 이미지보다 약 2배였다. 이는 검토자의 주의를 학대 가능성이 높은 이미지에 집중시키고 오탐 검토를 줄일 수 있다는 결과이며, 모든 운영 환경에서 같은 효과가 확정됐다는 의미로 제시되지는 않았다.

4. 파트너 평가 결과와 콘텐츠 유형별 차이

fal은 사람이 검토한 실제 운영 이미지로 시험했으며, 분류기가 높은 확신도로 표시한 이미지의 72%를 기존에 식별되지 않은 CSAM으로 확인했다. invideo AI의 시험에서는 표시된 사례 4건 중 1건이 이용 금지로 이어졌고, SafetyKit의 평가에서는 아동을 성적 대상으로 묘사한 그림이나 애니메이션 사례의 90%가 탐지됐다. SafetyKit의 Samuel Wang은 이 분류기가 해시 매칭으로 놓치는 미확인 CSAM을 찾아냈고 그림·애니메이션에서도 강한 성능을 보였으며, 합법적 성인 콘텐츠에 대한 오탐률은 1% 미만이었다고 설명했다. 이 수치들은 각각 다른 자료와 결과 기준을 사용한 파트너 평가이므로 하나의 통합된 정확도처럼 해석할 수는 없다. OpenAI는 모델 카드에서 추가 정보를 제공하고 신청 양식을 통해 접근 요청을 받으며, 이용 조직의 피드백을 반영해 분류기를 계속 개선할 방침이다.

5. ChatGPT의 경고와 단계적 이용 제한

OpenAI는 이미 CSAM을 금지하고 모델이 관련 요청을 거부하도록 훈련하며 정책 위반 계정에 조치를 취하고 있다고 설명한다. 여기에 ChatGPT에서 학대 자료를 찾으려는 시도를 중단시키고 그 결과를 알리며, 유해 행동을 멈추기 위한 도움으로 연결하는 새 제품 경고를 추가한다. 경고는 요청한 자료가 AI로 생성되는 경우에도 아동을 성적 대상으로 묘사하는 행위가 해를 끼친다는 점을 명확히 전달한다. 경고와 함께 해당 대화를 삭제하고 ChatGPT 접근을 24시간 중단하지만, 행동 중단을 돕는 전문 지원은 계속 이용할 수 있도록 한다. 반복 위반은 더 긴 이용 제한으로 이어질 수 있으며, 최종적으로 계정 폐쇄나 당국 신고가 이뤄질 가능성도 있다. 따라서 제재와 지원 연결을 함께 적용하는 방식이지만, 원문은 이 새 경고 자체의 행동 변화 효과를 수치로 제시하지는 않는다.

6. 외부 전문가와 함께 설계한 행동 개입

OpenAI는 아동 성적 학대 예방 프로그램을 연구·개발하는 조직과 학계 자문가들의 의견을 받아 경고 방식을 설계했다고 밝혔다. 참여 대상으로 Protect Children, Lucy Faithfull Foundation, University of Kent의 법의학 심리학 연구자 Caoilte Ó Ciardha, University of Tasmania의 Joel Scanlan을 명시하며, 이들의 억제 메시지 시험 독립 평가 경험도 소개한다. Scanlan은 OpenAI가 경고 메시지를 설계하고 평가해 온 여러 외부 전문가와 협력해 근거에 기반한 공동 설계를 진행했다고 평가했다. 그는 가능한 한 많은 관할 지역에서 이용자를 현지 지원 선택지로 연결하려는 목표가 유해 행동에서 벗어나 도움을 받도록 유도할 가능성을 높인다고 설명했다. 다만 이러한 평가는 개입의 설계 방식에 대한 전문가의 견해이며, 본문에 제시된 기존 억제 메시지 연구를 새 ChatGPT 경고의 확정된 성과로 바꾸어 읽어서는 안 된다.

7. 개발자의 예방·탐지·신고와 피해 고백 대응

OpenAI는 탐지 이후의 대응까지 지원하기 위해 Tech Coalition, Thorn, NCMEC, Internet Watch Foundation의 의견을 반영한 CSAM 개발자 지침을 공개했다. 지침은 안전 체계 구축 단계가 서로 다른 조직을 대상으로 명확한 규칙, 이용자 신고 경로, 탐지 도구, 의심 사례의 검토·신고 절차를 제시한다. 또한 안전 식별자로 오용을 개별 이용자와 연결하는 방법과 민감한 자료를 검토하는 담당자를 지원하는 방법을 설명한다. 개발자는 새 이미지 분류기, Moderation API, ROOST의 자체 호스팅 검토 콘솔 Coop, Thorn의 Safer 같은 전용 탐지 서비스와 함께 이 지침을 활용할 수 있다. 별도로 OpenAI는 Anthropic 및 Google과 AI 시스템에서 아동 성적 착취·학대 피해 고백에 대응하는 지침을 공동 의뢰했으며, Tech Coalition이 최근 이를 발행했다. OpenAI는 이 지침을 통해 아동 보호 도구에 접근하고 NCMEC에 CSAM을 신고하기 위해 등록하는 개발자가 늘어나는 것을 이미 확인했다고 밝혔지만, 구체적인 증가 규모는 제시하지 않았다.

8. 아동 보호 수사기관의 자료 검토와 교육 지원

OpenAI는 피해자를 찾고 학대를 중단시키는 전문 수사관을 지원하는 일도 아동 보호의 일부라고 설명하며, Thorn과의 공개 논의에서 AI가 정보 정리와 우선순위 설정을 돕고 학대 자료에 대한 불필요한 노출을 줄일 수 있다고 제시했다. 이를 위해 아동 보호 법집행 부서에 전용 플러그인, 수사 도구, 복잡한 데이터 분석을 포함한 새 도구와 AI 활용 교육을 지원하며, 접근은 프로그램 관리자가 관리한다. 출시 시 첫 도구는 긴 채팅 기록과 법적 절차로 확보한 자료를 검토하고, 잠재적 연결 관계를 파악하며, 발견 내용을 출처 자료와 연결한 타임라인을 만드는 데 도움을 줄 예정이다. 초기 교육은 개요 설명과 시연으로 계획돼 있고, 이후 팀이 참고할 수 있는 실무 현장 가이드가 함께 제공될 예정이다. 다만 제공된 원문은 접근 조건을 설명하려는 마지막 문장 도중에 잘려 있어, 이용 자격이나 승인 조건의 구체적인 내용은 확인할 수 없다.

🧾 핵심 주장 / 시사점

  • 새 분류기의 가치는 탐지 건수뿐 아니라 검토 부담의 변화에도 있다. 초기 내부 평가의 48% 감소 추정과 약 2배의 학대 포함 가능성은 검토 우선순위를 개선할 잠재력을 보여준다.
  • fal의 72%, invideo AI의 4건 중 1건, SafetyKit의 90%는 측정 대상과 결과 기준이 다르다. 각 수치를 동일한 성능 지표로 비교하면 원문의 평가 범위를 벗어나게 된다.
  • 전체 접근은 탐지 도구 보급, ChatGPT에서의 행동 개입, 개발자 대응 지침, 수사 지원을 연결한다. 사람의 검토와 조직 간 협력이 기술 활용의 중심에 놓여 있다.

✅ 액션 아이템

  • OpenAI API의 무료 CSAM 분류기 접근 자격과 초기 내부·파트너 평가 조건을 바탕으로 도입 가능성 검토.
  • ChatGPT의 경고·24시간 이용 제한과 전문 지원 연결이 유해 행동 중단으로 이어지는지 확인.
  • 개발자 지침의 적용 범위와 수사기관 도구·교육의 접근 조건 확인.

❓ 열린 질문

  • 초기 내부 평가에서 추정된 검토 대상 48% 감소는 다른 조직의 이미지와 운영 조건에서도 유지되는가?
  • ChatGPT의 경고·24시간 이용 제한과 전문 지원 연결은 반복 위반과 유해 행동 중단에 어떤 영향을 미치는가?
  • 수사기관 도구·교육의 구체적인 접근 자격과 승인 조건은 무엇인가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.