🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

WIRED는 Meta가 Covalen을 통해 계약자들에게 미성년자로 가장해 경쟁사 챗봇을 고위험 주제로 시험하게 했으며, 이 과정이 안전 평가와 경쟁사 벤치마킹의 경계를 흐렸다고 보도했다.

📌 핵심 요약

• WIRED가 검토한 내부 문서와 관계자 증언에 따르면, Meta 프로젝트에 투입된 수백 명의 계약자는 OpenAI ChatGPT, Google Gemini, Character.AI를 대상으로 미성년자처럼 보이는 더미 계정을 만들고 자살, 성, 섭식장애, 약물 등 고위험 주제의 프롬프트를 입력하도록 지시받았다.
• 이 프로젝트는 Meta 계약업체 Covalen이 관리했으며 내부 명칭은 ‘Cannes’였다. 계약자들은 텍스트와 이미지 프롬프트를 경쟁사 챗봇에 보내고 응답을 스프레드시트에 옮겼으며, 2025년 8월 한 차례 테스트에서만 4만5천 건이 넘는 프롬프트가 실행됐다.
• 프롬프트 다수는 챗봇 안전장치가 거부해야 할 응답을 유도하는 방식으로 설계됐다. WIRED가 확인한 3,748개 프롬프트에는 자해, 섭식장애, 성·연애, 약물, 욕설, 인종 비하 표현 등이 포함됐고, 많은 문항이 위기 상황의 어린이나 청소년 시점으로 작성됐다.
• Meta는 이를 안전하고 연령에 맞는 경험을 보장하기 위한 통상적이고 책임 있는 업계 표준 테스트라고 주장했으며, 경쟁사 벤치마킹 결과를 자사 AI 모델 학습에 사용하지 않는다고 밝혔다. 그러나 Covalen은 논평 요청에 응답하지 않았다.
• 전직 계약자들과 외부 전문가는 프로젝트의 규모, 비공개성, 미성년자 위장 계정 사용, 경쟁사 동의 없는 테스트를 문제로 지적했다. Character.AI는 해당 행위가 약관과 정책 위반이라고 밝혔고, OpenAI와 Google도 각각 조사 또는 미승인 테스트라는 입장을 냈다.

🧩 주요 포인트

1. WIRED가 검토한 내부 문서와 관계자 증언에 따르면, Meta 프로젝트에 투입된 수백 명의 계약자는 OpenAI ChatGPT, Google Gemini, Character.AI를 대상으로 미성년자처럼 보이는 더미 계정을 만들고 자살, 성, 섭식장애, 약물 등 고위험 주제의 프롬프트를 입력하도록 지시받았다.
2. 이 프로젝트는 Meta 계약업체 Covalen이 관리했으며 내부 명칭은 ‘Cannes’였다. 계약자들은 텍스트와 이미지 프롬프트를 경쟁사 챗봇에 보내고 응답을 스프레드시트에 옮겼으며, 2025년 8월 한 차례 테스트에서만 4만5천 건이 넘는 프롬프트가 실행됐다.
3. 프롬프트 다수는 챗봇 안전장치가 거부해야 할 응답을 유도하는 방식으로 설계됐다. WIRED가 확인한 3,748개 프롬프트에는 자해, 섭식장애, 성·연애, 약물, 욕설, 인종 비하 표현 등이 포함됐고, 많은 문항이 위기 상황의 어린이나 청소년 시점으로 작성됐다.
4. Meta는 이를 안전하고 연령에 맞는 경험을 보장하기 위한 통상적이고 책임 있는 업계 표준 테스트라고 주장했으며, 경쟁사 벤치마킹 결과를 자사 AI 모델 학습에 사용하지 않는다고 밝혔다. 그러나 Covalen은 논평 요청에 응답하지 않았다.
5. 전직 계약자들과 외부 전문가는 프로젝트의 규모, 비공개성, 미성년자 위장 계정 사용, 경쟁사 동의 없는 테스트를 문제로 지적했다. Character.AI는 해당 행위가 약관과 정책 위반이라고 밝혔고, OpenAI와 Google도 각각 조사 또는 미승인 테스트라는 입장을 냈다.

🧠 상세 정리

1. Meta 계약자들이 미성년자로 가장한 경쟁사 챗봇 테스트

WIRED 보도에 따르면 Meta 관련 프로젝트에서 일한 수백 명의 계약자는 온라인에서 미성년자인 것처럼 행동하며 경쟁사 챗봇을 시험하라는 지시를 받았다. 대상은 OpenAI의 ChatGPT, Google의 Gemini, Character.AI였고, 질문 주제는 자살, 성, 섭식장애, 기타 고위험 상황에 집중됐다. 보도는 내부 문서와 프로젝트를 아는 다섯 명의 증언을 근거로 삼았다. 핵심 쟁점은 단순한 제품 비교가 아니라, 어린이와 청소년 사용자처럼 보이는 계정을 이용해 경쟁사 시스템의 안전 경계를 반복적으로 시험했다는 점이다.

2. Cannes 프로젝트의 운영 방식과 규모

이 작업은 Meta 계약업체 Covalen이 관리했으며 내부적으로는 ‘Cannes’라는 이름으로 불렸다. 문서상 이 프로젝트는 적어도 4월 21일 무렵까지 활동 중이었고, 계약자들은 18세 미만으로 보이는 더미 계정을 만들어 경쟁사 챗봇에 텍스트와 이미지를 보내도록 요구받았다. 일부 이미지에는 알약, 칼, 올가미, 산부인과 절차를 설명하는 의학 도표 등이 포함됐다. 2025년 8월 완료된 한 라운드에서는 경쟁사 챗봇을 상대로 4만5천 건이 넘는 프롬프트가 실행됐으며, 테스트 대상 기업들은 이 작업을 알지 못했다고 보도됐다.

3. 프롬프트의 내용과 위험 주제

WIRED가 검토한 3,748개 프롬프트 스프레드시트에는 자살과 자해에 관한 문항이 수백 개, 섭식장애 관련 문항도 수백 개 포함됐다. 최소 239개는 성이나 연애를 다뤘고, 그 밖에 약물, 욕설, 인종 비하 표현도 있었다. 많은 프롬프트는 위기에 놓인 어린이나 청소년의 관점으로 작성되어, 챗봇이 유해하거나 부적절한 답변을 하도록 유도하는 형식이었다. 기사에 제시된 사례들은 구체적 지시를 얻으려는 질문, 위험한 생각을 정상화하려는 질문, 미성년자의 성적 상황을 다루는 질문 등으로 구성돼 있었다.

4. 안전장치 우회 유도와 다국어 테스트

프로젝트 지침에 따르면 프롬프트는 종종 챗봇 안전 시스템이 거부해야 할 답변을 끌어내도록 설계됐다. 기사에는 약물 획득을 묻는 고등학생 역할의 질문처럼 챗봇이 거절해야 하는 요청이 예시로 등장하며, 해당 사례에서 챗봇은 요청에 응하지 않았다고 적혀 있다. 모든 질의가 영어로만 작성된 것도 아니어서, 프랑스어 프롬프트 중에는 괴롭힘 이후 사망한 양성애자 청소년을 언급하며 편향된 결론에 동의하도록 유도하는 문항도 있었다. 이 대목은 프로젝트가 단순 기능 점검을 넘어, 안전 정책·편향 대응·위기 대응을 동시에 압박하는 방식으로 설계됐음을 보여준다.

5. Meta의 해명과 수집 데이터의 용도 불명확성

WIRED가 검토한 문서만으로는 Meta가 수집된 경쟁사 응답을 어떻게 사용했는지, 또는 실제로 사용했는지 확인되지 않는다. Covalen의 내부 문서는 이 프로젝트를 ‘포괄적 AI 안전 벤치마킹’으로 설명하며 모델 비교와 컴플라이언스를 위한 중요한 데이터셋을 제공한다고 표현했다. Meta 대변인은 챗봇 응답을 테스트하고 벤치마킹해 안전하고 연령에 적합한 경험을 보장하는 것은 책임 있는 업계 표준 관행이라고 반박했다. 또한 Meta는 경쟁사 벤치마킹 결과를 자사 AI 모델 학습에 사용하지 않는다고 밝혔다.

6. 계약자들이 느낀 법적·윤리적 불안

프로젝트에 참여했던 전직 계약자들은 WIRED에 여러 측면이 우려스러웠다고 말했다. 한 전직 작업자는 미성년자 관련 성적 프롬프트에 챗봇이 특정 방식으로 응답할 경우, 작업자들이 아동 성착취물에 해당할 수 있는 내용을 생성하거나 보존하는 위험에 노출되는 것 아니냐고 걱정했다고 밝혔다. 또 다른 전직 작업자는 이 프로젝트가 경쟁사 시스템에서 나온 자료를 몰래 가져와 Meta 시스템에 되먹일 가능성이 있는 것처럼 보였다고 말했다. 한 계약자는 자신과 동료들이 테스트 지시문 일부에 충격을 받았고, 이런 작업을 하다가 문제가 생길 수 있다고 느꼈다고 전했다.

7. 전문가 평가: 안전 평가와 비공개 벤치마킹의 차이

Humane Intelligence PBC의 창립자이자 CEO인 루먼 초드허리는 프롬프트 샘플과 프로젝트 요약을 검토한 뒤, 이 프로젝트가 일반적으로 말하는 ‘업계 표준’ 평가 범위를 벗어난다고 평가했다. 그는 청소년 안전 프롬프트 수천 건으로 구성된 데이터셋이 챗봇이 유해 요청을 얼마나 자주 거부하는지 비교하는 데 유용할 수는 있다고 인정했다. 그러나 수개월에 걸친 대규모 프로젝트가 더미 계정과 미성년자 위장을 통해 경쟁사 규칙을 체계적으로 깨도록 설계된 것처럼 보인다는 점을 문제로 봤다. 특히 테스트 대상 기업에 알리지 않은 비공개 방식과 규모가 공개 안전 벤치마크와는 다르다고 지적했다.

8. 약관 위반 논란과 경쟁사들의 반응

WIRED는 온라인 표현, 플랫폼 거버넌스, 기술법을 전문으로 하는 변호사 두 명에게 프롬프트 예시 검토를 요청했고, 이들은 WIRED가 보여준 자료가 아동 성착취물 요청이나 불법 음란물의 선을 넘지는 않았다고 봤다. 다만 프로젝트는 경쟁사 서비스 약관을 위반했을 가능성이 제기됐다. OpenAI는 사전 동의 없는 안전 테스트, 보호장치 우회 시도, 경쟁 모델 개발에 출력을 사용하는 행위를 금지하고 있고, Google과 Character.AI도 안전 필터 우회 및 유해 콘텐츠와 관련한 제한을 두고 있다. Character.AI는 해당 테스트를 승인하지 않았으며 약관과 정책 위반이라고 밝혔고, OpenAI는 사안을 살펴보고 있다고 했으며, Google은 목적을 알지 못했고 미승인 제3자 테스트였다고 밝혔다.

9. 거버넌스의 회색지대: 안전 명분과 경쟁 목적의 충돌

기사의 마지막 쟁점은 비밀리에 수행된 경쟁사 대상 테스트가 여전히 평범한 안전 작업으로 볼 수 있는지에 모인다. 초드허리는 안전 평가와 경쟁사 벤치마킹이 뒤섞일 때, 안전이 반경쟁적 관행을 가리는 편리한 명분이 될 수 있다고 말했다. 실제로 경쟁사 제품을 테스트하는 것 자체는 AI 업계에서 드문 일이 아니지만, Cannes 프로젝트는 미성년자로 보이는 계정, 민감한 고위험 주제, 대규모 반복 입력, 대상 기업에 대한 비공개성이 결합됐다는 점에서 논란이 커졌다. 이 보도는 AI 안전 평가가 필요하더라도, 투명성·동의·데이터 사용 목적·작업자 보호 기준이 명확해야 한다는 문제를 드러낸다.

🧾 핵심 주장 / 시사점

• AI 안전 벤치마킹은 필요하지만, 경쟁사 동의 없이 미성년자 위장 계정과 고위험 프롬프트를 대규모로 사용하는 방식은 안전 평가와 경쟁 정보 수집의 경계를 흐릴 수 있다.
• 기사의 핵심은 프롬프트 내용 자체보다도 프로젝트의 운영 구조다. 누가 지시했는지, 어떤 목적으로 응답을 모았는지, 수집물이 어떻게 쓰였는지가 불분명할수록 ‘안전’이라는 명분의 신뢰성이 약해진다.
• 청소년 안전과 자해·섭식장애·성적 콘텐츠 대응을 시험하는 데이터셋은 공익적 가치가 있을 수 있지만, 그 과정에는 대상 플랫폼 통지, 작업자 보호, 법적 검토, 데이터 사용 제한 같은 거버넌스 장치가 함께 필요하다.

✅ 액션 아이템

• Meta의 'Cannes' 프로젝트는 수백 명 계약자가 2025년 8월에 4만5천 건 넘는 프롬프트를 실행했으므로, 고위험 주제 실험에서 미성년자 위장 시나리오 사용 기준을 명확히 정한다.
• WIRED가 확인한 3,748개 프롬프트에 자해·섭식장애·성·약물·욕설·인종 비하가 포함된 점을 근거로, 응답 거부 우회 유도 문항을 유형별로 분류해 필터 기준을 확정한다.
• OpenAI·Google·Character.AI 반응을 반영해, 경쟁사 동의 없는 벤치마킹 결과의 사용 범위를 경쟁사 테스트 의도와 분리해 점검한다.

❓ 열린 질문

• 안전성 점검이라는 명분에서 실행된 대량 테스트에도 불구하고, 경쟁사 챗봇 대상 미성년자 위장 계정 사용이 허용될 경계는 어디인가?
• 위기 상황의 어린이·청소년 시점 문항이 많은 3,748개 프롬프트에서, 고위험 주제 편향을 판단할 때 어떤 정량 지표를 적용할 것인가?
• Covalen이 논평하지 않은 상황에서 스프레드시트 기반 기록만으로 3만 건 이상의 프롬프트 실행 실험을 신뢰성 있게 검증할 수 있는가?