🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 아동 성착취·학대에 자사 서비스가 악용되는 것을 막기 위해 정책, 학습 데이터 정제, 자동 탐지, 계정 제재, 전문 인력 검토, 관계 기관 신고, 민관 협력을 결합한 다층적 대응 체계를 운영한다고 설명합니다.

📌 핵심 요약

• OpenAI 서비스에서는 18세 미만을 착취하거나 위험에 빠뜨리거나 성적 대상으로 묘사하는 행위가 금지되며, 이 제한은 OpenAI 기술로 애플리케이션을 개발하는 사업자에게도 적용됩니다.
• CSAM 또는 CSEM을 생성하거나 업로드하려는 사용자는 서비스에서 차단되고 미국 국립실종학대아동센터(NCMEC)에 신고되며, 반복적인 위반을 방치하는 개발자와 제재를 우회하려는 사용자도 추가 집행 대상이 됩니다.
• OpenAI는 학습 데이터에서 CSAM과 CSEM을 탐지·제거하고, 확인된 CSAM을 관계 기관에 신고함으로써 모델이 관련 유해 콘텐츠 생성 능력을 습득할 가능성을 초기 단계부터 낮추려 합니다.
• 운영 환경에서는 해시 매칭, Thorn의 검증된 자료와 콘텐츠 분류기, 문맥 인식 분류기, 프롬프트 탐지, 악용 모니터링 및 제한적인 전문가 검토를 함께 사용해 알려진 자료와 새로운 형태의 악용을 탐지합니다.
• OpenAI는 현행법상 CSAM을 이용한 모델 안전성 시험에 제약이 생긴다고 지적하며, 기술 기업·법 집행기관·아동 보호 단체가 책임 있는 탐지와 신고, 선제적 완화를 수행할 수 있도록 법적 협력 기반을 마련해야 한다고 주장합니다.

🧩 주요 포인트

1. OpenAI 서비스에서는 18세 미만을 착취하거나 위험에 빠뜨리거나 성적 대상으로 묘사하는 행위가 금지되며, 이 제한은 OpenAI 기술로 애플리케이션을 개발하는 사업자에게도 적용됩니다.
2. CSAM 또는 CSEM을 생성하거나 업로드하려는 사용자는 서비스에서 차단되고 미국 국립실종학대아동센터(NCMEC)에 신고되며, 반복적인 위반을 방치하는 개발자와 제재를 우회하려는 사용자도 추가 집행 대상이 됩니다.
3. OpenAI는 학습 데이터에서 CSAM과 CSEM을 탐지·제거하고, 확인된 CSAM을 관계 기관에 신고함으로써 모델이 관련 유해 콘텐츠 생성 능력을 습득할 가능성을 초기 단계부터 낮추려 합니다.
4. 운영 환경에서는 해시 매칭, Thorn의 검증된 자료와 콘텐츠 분류기, 문맥 인식 분류기, 프롬프트 탐지, 악용 모니터링 및 제한적인 전문가 검토를 함께 사용해 알려진 자료와 새로운 형태의 악용을 탐지합니다.
5. OpenAI는 현행법상 CSAM을 이용한 모델 안전성 시험에 제약이 생긴다고 지적하며, 기술 기업·법 집행기관·아동 보호 단체가 책임 있는 탐지와 신고, 선제적 완화를 수행할 수 있도록 법적 협력 기반을 마련해야 한다고 주장합니다.

🧠 상세 정리

1. 아동 성착취 방지를 위한 기본 원칙

OpenAI는 안전하고 유익한 범용인공지능을 개발한다는 사명에 따라, 자사 모델이 아동 성착취와 학대를 지원하는 데 사용되는 모든 시도를 예방·탐지·중단하는 데 초점을 맞추고 있다고 밝힙니다. 보호 조치는 모델과 제품을 배포하기 전 단계뿐 아니라 실제 운영 중인 모델과 서비스에도 적용됩니다. 특히 인공지능으로 생성된 아동 성착취물인 CSAM과 아동 성착취 관련 자료인 CSEM의 제작 및 유통을 막는 것을 핵심 과제로 제시합니다. 이를 위해 자체 기술과 정책에만 의존하지 않고 정부, 관련 업계, 아동 안전 전문가와 협력해 예방과 집행의 실효성을 높이겠다는 입장입니다.

2. 서비스 이용 정책이 금지하는 행위

OpenAI의 이용 정책은 모든 서비스에서 18세 미만을 착취하거나 위험에 빠뜨리거나 성적 대상으로 만드는 행위를 명시적으로 금지합니다. 금지 범위에는 인공지능 생성 여부와 관계없는 CSAM, 미성년자를 대상으로 한 그루밍, 성적·폭력적 콘텐츠나 노골적인 자해 콘텐츠 등 연령에 부적절한 자료의 노출이 포함됩니다. 미성년자의 건강하지 않은 식이·운동 행동을 조장하거나 외모와 체형을 모욕하는 행위, 위험한 도전을 부추기는 행위도 허용되지 않습니다. 또한 미성년자가 등장하는 성적 또는 폭력적 역할극과 연령 제한 상품·활동에 대한 미성년자의 접근 역시 정책 위반으로 규정됩니다.

3. 개발자 책임과 위반 계정에 대한 집행

이용 제한은 일반 사용자뿐 아니라 OpenAI 기술을 기반으로 애플리케이션을 만드는 개발자에게도 동일하게 적용됩니다. 특히 미성년자를 대상으로 하는 도구는 성적으로 노골적이거나 암시적인 콘텐츠를 생성하도록 허용해서는 안 되며, OpenAI는 서비스 이용을 감시해 위반 사용자와 개발자를 차단합니다. CSAM이나 CSEM을 생성 또는 업로드하려는 사용자는 NCMEC에 신고되고 향후 서비스 이용이 금지되며, 개발자에게는 자신의 앱에서 문제 사용자를 차단할 기회가 제공됩니다. 그러나 개발자가 지속적인 악용 양상을 시정하지 않으면 개발자 역시 차단되며, 조사팀은 제재받은 사용자가 새 계정을 만들어 복귀하려는 우회 행위도 감시합니다.

4. 학습 데이터 정제와 모델의 사전 안전 훈련

OpenAI는 이미지 기반 성적 학대 자료로부터 모델을 보호하기 위해 학습 데이터의 출처를 책임 있게 관리하겠다고 설명합니다. 학습 자료에서 CSAM과 CSEM을 탐지해 제거하고, CSAM으로 확인된 자료는 NCMEC를 포함한 관계 기관에 신고합니다. 이러한 데이터 정제는 문제가 발생한 뒤 출력을 차단하는 것에 앞서, 모델이 애초에 CSAM이나 CSEM을 만들어내는 능력을 형성하지 않도록 하기 위한 초기 방어 단계입니다. 모델은 텍스트, 이미지, 오디오, 비디오 전반에서 유해한 결과를 생성하지 않도록 훈련되지만, 실제로 일부 사용자가 미성년자 관련 성적 환상을 충족하려는 콘텐츠나 인공지능 생성 CSAM을 요구하기 때문에 운영 단계의 감시도 병행됩니다.

5. 기술 기반 탐지와 관계 기관 신고 체계

OpenAI는 정책 위반 시도를 조기에 발견하고 차단하기 위해 자체 모델을 포함한 감시·집행 기술과 업계 공동 안전장치를 활용합니다. 내부 아동 안전팀이 확인했거나 Thorn의 검증된 자료 목록에 포함된 기존 CSAM은 해시 매칭 기술로 식별합니다. 여기에 Thorn의 CSAM 콘텐츠 분류기를 업로드된 자료에 적용해 기존 목록에 없는 잠재적 신규 CSAM도 탐지합니다. 아동 안전팀은 업로드와 생성 요청을 포함한 모든 CSAM 사례를 NCMEC에 신고하고 관련 계정을 즉시 차단하며, 학대가 현재도 진행 중이라는 증거가 있으면 추가 조사를 거쳐 우선 처리를 위한 보충 보고서를 작성합니다.

6. 인공지능 도구에서 나타난 새로운 악용 양상

OpenAI는 단순히 모델에 CSAM이나 미성년자의 성적 이미지를 생성하도록 요구하는 방식 외에도 새로운 악용 패턴이 나타나고 있다고 밝힙니다. 일부 사용자는 ChatGPT의 이미지·영상·파일 업로드 기능을 이용해 CSAM을 올린 뒤, 자료에 묘사된 내용을 상세히 설명하도록 요구했습니다. 또 다른 사례에서는 CSAM을 서사의 일부로 업로드하면서 모델을 허구의 성적 역할극에 끌어들이거나, 미성년자가 성적으로 부적절하고 학대적인 상황에 놓이는 이야기를 작성하도록 유도했습니다. OpenAI는 분류기와 해시 매칭으로 이러한 업로드와 요청을 탐지해 응답을 차단하며, 관련 계정을 금지하고 명백한 CSAM이 연관된 경우 NCMEC에 신고합니다.

7. 다층 방어와 제한적인 전문가 검토

OpenAI는 가장 발전된 시스템도 완벽할 수 없다는 점을 인정하면서, 새롭게 등장하는 악용 수법에 대응하기 위해 보호 방식을 지속해서 개선한다고 설명합니다. 대응 체계는 개별 프롬프트 탐지에 그치지 않고 문맥을 고려하는 분류기, 전반적인 악용 모니터링, 내부 전문가 검토를 함께 사용하는 다층 구조입니다. 사람의 검토는 분류기가 잠재적 학대 가능성을 표시한 경우에만 이루어지며, 관련 정보는 내부에서 안전하게 보관되고 교육받은 책임 팀의 전문가에게만 제공됩니다. 사내 아동 안전 분야 전문가들은 실제 탐지와 검토를 지원하는 동시에 분류 기준과 기타 안전장치를 계속 보완하는 역할을 담당합니다.

8. 법적 시험 제약과 민관 협력 정책

OpenAI는 미국에서 CSAM을 소지하거나 생성하는 행위가 불법이며, 이 때문에 인공지능 모델의 취약점을 찾는 레드팀 시험에서도 CSAM을 사용할 수 없고 모의 자료를 이용한 시험까지 제약된다고 설명합니다. 이러한 금지는 아동을 보호하기 위한 것이지만, 동시에 CSAM 대응 안전장치를 충분히 시험하고 검증하는 작업에 추가적인 어려움을 만든다는 것이 OpenAI의 주장입니다. 이에 따라 기술 기업, 법 집행기관, 아동 보호 단체가 책임 있는 신고와 협력, 선제적 탐지·분류·감시·완화를 수행할 수 있도록 정부가 명확한 공공정책 체계를 마련해야 한다고 제안합니다. 구체적인 사례로 뉴욕주의 아동 성학대물 방지법안을 지지했으며, 해당 법안이 유해한 인공지능 생성 콘텐츠에 대응하는 책임 있는 활동에 명확한 법적 보호를 제공할 수 있다고 설명합니다.

🧾 핵심 주장 / 시사점

• OpenAI의 대응은 출력 거부 하나에 의존하지 않고 학습 데이터 정제, 모델 훈련, 업로드 검사, 문맥 기반 탐지, 계정 제재, 전문 인력 검토와 관계 기관 신고를 연결하는 전 과정 방어 구조입니다.
• 멀티모달 서비스에서는 유해 이미지를 새로 생성하는 요청뿐 아니라 기존 불법 자료를 업로드해 설명·분석·역할극에 이용하려는 행위도 핵심 위험으로 다뤄야 한다는 점이 실제 관찰 사례를 통해 드러납니다.
• 효과적인 아동 안전 대응을 위해서는 기업의 기술적 탐지 역량과 집행 정책뿐 아니라, 안전성 시험과 책임 있는 신고·협력을 가능하게 하는 명확한 법적 기반도 함께 필요하다는 것이 글의 정책적 결론입니다.

✅ 액션 아이템

• OpenAI 금지행위 규정을 서비스 정책과 OpenAI 기반 애플리케이션 개발자 조건에 동일 적용해, 18세 미만 아동 착취·위험 노출·성적 묘사를 일관되게 제재한다.
• 학습 데이터 단계에서 CSAM/CSEM을 탐지해 제거하고, 확인 건은 NCMEC에 즉시 신고해 유해 학습이 모델로 전달되는 경로를 초기부터 봉쇄한다.
• 운영에서는 해시 매칭, Thorn 기반 분류기, 문맥 인식 분류기, 프롬프트 탐지, 악용 모니터링, 전문가 검토를 결합해 반복 위반과 제재 우회 징후를 실시간으로 점검한다.

❓ 열린 질문

• 해시 매칭·문맥 분류·프롬프트 탐지를 결합할 때 기존 CSAM/CSEM과 신종 악용 패턴은 어떤 지표로 구분해 오탐과 누락을 동시에 낮출 것인가?
• 반복 위반 개발자와 제재 회피 사용자에 대한 추가 집행은 어떤 수준의 빈도·심각도 기준을 두면 공정성과 억제 효과를 동시에 확보할 수 있는가?
• 현행법이 CSAM 기반 모델 안전성 시험을 제약하는 상황에서 기술 기업·법 집행기관·아동보호 단체 협력은 어떤 법적 근거와 절차 설계가 가장 선행되어야 하는가?