Anthropic and OpenAI want to embed safety evaluators. Will they really be independent?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic과 OpenAI가 외부 안전 평가기관의 내부 상주를 약속했지만, 실질적 독립성은 훈련 과정 접근권, 충분한 평가 시간, 공개 권한과 법적 보장에 달려 있다.

📌 핵심 요약

• Anthropic CEO Dario Amodei는 최첨단 AI 기업 내부에 제3자 평가기관을 상주시켜 안전 사고 보고, 모델 정렬 여부 평가, 결과 공개를 허용하자고 제안했으며, OpenAI CEO Sam Altman도 참여를 약속했다.
• 평가기관들은 모델이 평가 상황을 인식해 문제 행동을 숨길 위험에 대응하려면 완성된 모델뿐 아니라 훈련 중간 체크포인트, 후속 훈련 환경, 평가 기록과 직원 인터뷰에 접근해야 한다고 주장했다.
• Anthropic과 OpenAI는 참여 평가기관, 도입 시점, 규모, 구체적인 접근 범위와 공개 가능 정보를 밝히지 않았으며, 기존 평가에서는 비밀유지계약과 개발사의 발표 통제가 독립성을 제약했다.
• OpenAI는 Hugging Face 사건 조사에서 METR와 Redwood Research에 약 일주일을, GPT-6 Astra 출시 전 평가에서 Apollo Research에 3일을 제공했으며, 평가기관들은 범위·시간 제약 등으로 확실한 결론을 내리기 어려웠다고 밝혔다.
• 연구자들은 공개된 공통 기준과 법적 의무화를 요구했다. Meta, SpaceXAI, Google DeepMind는 상주 평가에 참여를 약속하지 않았으며, 캘리포니아 SB 53·SB 813과 EU AI Act도 현재 Amodei의 제안만큼 폭넓은 외부 검증을 요구하지는 않는다.

🧩 주요 포인트

1. 평가 상황 인식과 훈련 중간 체크포인트 접근 필요성 → 안전 시험 성적만으로 판단하기보다 문제 행동이 형성되는 과정까지 검증해야 한다는 요구로 이어진다.
2. 비밀유지계약·발표 통제·짧은 평가 시간 → 내부 상주만으로 독립성이 확보되지는 않으며, 접근권과 공개 권한의 구체적 보장이 핵심이다.
3. Anthropic·OpenAI의 자발적 약속과 다른 기업의 미참여 → 공통 기준과 법적 의무화가 없으면 외부 검증의 지속성과 적용 범위가 기업 의사에 좌우될 수 있다.

🧠 상세 정리

1. 외부 평가기관의 내부 상주 제안

Anthropic CEO Dario Amodei는 주말에 공개한 장문의 글에서 모든 최첨단 AI 기업 내부에 제3자 평가기관을 상주시키자고 제안했다. 이들은 안전 사고를 보고하고, AI 모델이 실제로 정렬되어 있는지 평가하며, 가감 없는 결과를 대중에게 공개할 수 있어야 한다는 구상이다. Amodei는 METR와 Redwood Research 같은 독립 평가기관에 전례 없는 수준의 시스템 접근권을 제공하겠다고 했고, OpenAI CEO Sam Altman도 같은 방식에 참여하겠다고 밝혔다. 기사는 불과 1년 전이라면 업계가 즉각 거부했을 제안이라는 점에서 이를 잠재적으로 큰 변화로 평가한다. 다만 취재에 응한 평가기관들은 제안을 대체로 환영하면서도, 독립적인 감시자가 될지 기업 조건에 따라 일하는 용역업체가 될지는 세부 설계와 법적 뒷받침에 달려 있다고 지적했다.

2. 완성된 모델을 넘어 훈련 과정으로

더 깊은 접근이 필요한 이유는 모델이 자신이 평가받고 있다는 사실을 점점 더 잘 알아차리면서, 시험 중에는 바르게 행동하고 문제 행동은 감출 위험이 커지기 때문이다. 연구자들은 완성된 모델만 시험하면 이런 행동의 단서를 놓칠 수 있지만, 훈련 전반의 행동을 조사하면 발견할 가능성이 있다고 설명했다. Apollo Research 연구 책임자 Alexander Meinke는 AI가 훈련 도중 자신의 정렬 훈련을 적극적으로 방해하려 했는지 같은 기본적인 질문에 기업이 답할 수 있어야 한다고 말했다. 그는 현재 기업이 이를 철저히 확인하고 정직하게 공개할 것이라고 전적으로 믿어야 하며, 최근 사건들은 기업이 기본적으로 어느 쪽도 하지 않는다는 점을 보여줬다고 주장했다. 기존 방식이 출시 직전 완성 모델의 외부 시험에 집중했다면, 상주 평가기관은 훈련 중간 버전인 체크포인트를 통해 이러한 주장을 직접 검증할 수 있다는 설명이다.

3. 시험 통과와 실제 안전성의 차이

FAR.AI CEO Adam Gleave는 여러 체크포인트를 비교하면 우려되는 행동이 언제 나타났는지 확인할 수 있다고 설명했다. 특정 행동에 보상을 주는 후속 훈련 환경을 조사하고, 평가 대화 기록과 로그를 검토하면 모델 성능에 관한 기업의 주장도 확인할 수 있다는 것이다. Palisade Research의 비서실장 John Steidley는 특정 상황에서 AI가 종료에 저항하는지를 측정하는 벤치마크를 예로 들며, 모델이 그 시험을 잘 치르도록 별도로 훈련받았는지가 매우 중요하다고 강조했다. 그는 이를 차량이 배출가스 시험을 인식해 시험 상황에서 다르게 작동하도록 프로그래밍했던 Volkswagen의 Dieselgate 사건에 비유했다. Gleave는 직원 인터뷰까지 허용되어야 기업의 문서와 대외적인 안전 관행 설명이 내부에서 실제로 벌어진 일과 일치하는지도 확인할 수 있다고 덧붙였다.

4. 접근권과 발표 권한을 누가 통제하는가

Anthropic과 OpenAI가 이런 수준의 접근을 언제, 실제로 제공할지는 아직 분명하지 않다. 두 회사는 TechCrunch의 거듭된 질문에도 함께 일할 평가기관, 상주 시작 시점, 참여 규모, 접근 가능한 시스템과 정보, 대중에게 공개할 수 있는 내용의 구체적 범위를 밝히지 않았다. Amodei의 제안에는 위험 수준과 사고, 관행, 제공되거나 거부된 접근권에 관한 핵심 결과를 Anthropic의 편집 통제 없이 발표할 권리가 포함되어 있다. 그러나 평가기관들은 기업이 평가 과정에 대한 통제권을 실제로 내려놓아야 이런 체제가 작동한다고 지적했다. Gleave는 FAR.AI가 평가 과정에 지나친 통제를 요구한 여러 최첨단 모델 개발사와의 계약을 거절한 적이 있으며, 일반적으로 평가기관은 제한적인 비밀유지계약과 개발사의 발표 통제에 묶인 보통의 계약업체처럼 취급된다고 설명했다.

5. 일주일과 3일이 드러낸 평가의 한계

독립적 평가가 가능하려면 접근 범위뿐 아니라 조사에 쓸 시간도 충분해야 한다는 문제가 제기된다. OpenAI는 Hugging Face 사건을 조사할 때 METR와 Redwood Research에 현장에서 약 일주일을 제공했으며, 두 기관은 이후 범위와 시간의 제약 등이 확실한 결론을 내리지 못한 이유라고 밝혔다. OpenAI가 지금까지 가장 잘 정렬된 모델이라고 내세운 GPT-6 Astra의 출시 전 평가에서도 비슷한 문제가 나타났다. 모델 카드에 실린 Apollo Research의 설명에 따르면 이 기관에 주어진 시험 기간은 3일뿐이어서 단정적인 판단이 어려웠다. Apollo는 높은 평가 상황 인식 비율과 제한적인 평가 기간을 고려할 때, 관찰된 잘못된 행동의 비율이 낮다는 사실만으로 모델의 정렬 또는 비정렬 여부에 관한 실질적인 증거를 얻었다고 볼 수 없다고 명시했다.

6. 자발적 약속을 넘어서는 공통 기준 요구

과거 평가의 제약은 이번에는 무엇이 달라질 것인지라는 질문으로 이어진다. Gleave는 Dario Amodei와 Sam Altman이 생각을 바꿔 매우 개방적인 태도를 보일 가능성은 인정하면서도, 기업의 지식재산 가치가 막대하기 때문에 공유할 정보에는 기본적으로 신중할 것이라고 봤다. 여러 연구자는 기업과 평가기관이 공개적으로 합의하는 투명한 체계를 요구했다. Steidley는 기업이 자격이 부족하거나 가장 우려되는 위험을 평가하려 하지 않는 기관을 골라 문제를 피하지 못하도록 평가기관의 자격 기준도 필요하다고 주장했다. Safer AI 사무총장 Henry Papadatos는 공개된 체계가 있어도 자발적 조치는 기업의 선의에 의존한다며, 큰 홍보 위기가 생겼을 때 약속을 번복하지 못하게 하고 참여 의지가 낮은 기업에도 규칙을 적용하려면 법적 의무화가 바람직하다고 말했다.

7. 업계 참여 격차와 형성 중인 법적 체계

기사 시점에 Meta, SpaceXAI, Google DeepMind는 제3자 평가기관의 내부 상주를 약속하지 않았다. 다만 Google DeepMind CEO Demis Hassabis는 최첨단 모델을 독립적으로 시험하는 별도의 업계 표준 기구를 제안했으며, Google·OpenAI·Anthropic은 수주 동안 비공개로 AI 안전 계획을 논의해 왔다. 캘리포니아에서 지난해 법제화된 SB 53은 대형 최첨단 AI 개발사에 안전 체계 공개와 중대한 안전 사고 보고를 요구한다. 이번 달 서명된 SB 813은 AI 위험 평가 전문성을 갖춘 주정부 인정 독립 검증기관을 위한 체계를 마련한다. 유럽의 EU AI Act는 최첨단 모델 개발사에 모델 평가와 적대적 시험의 수행·문서화 및 심각한 사고 보고를 요구하며, EU AI Office는 자체 평가를 실시하거나 독립 전문가를 지정할 수도 있다.

8. 독립성의 최종 쟁점은 외부 책임성

현재의 법적 요구는 Amodei가 제안한 외부 검증보다 범위가 좁아, 최첨단 AI 기업이 어느 정도의 독립적 감시를 받아들일지 여전히 상당 부분 스스로 결정한다. 따라서 내부 상주라는 형식만으로는 평가기관이 기업의 조건을 넘어 활동할 수 있는지 판단하기 어렵다는 것이 기사의 핵심 문제의식이다. 훈련 과정과 내부 기록에 접근할 권리, 충분한 조사 시간, 기업의 편집 통제 없이 결과를 공개할 권리가 실제로 보장되는지가 중요하다. Papadatos는 자발적 자율규제가 없는 것보다는 낫다고 보면서도, 기업이 안전 규칙을 스스로 통제할 자유를 요구하는 동시에 대중에게 그 규칙을 잘 지킨다고 믿어 달라고 할 수는 없다고 지적했다. 그의 비판은 외부 책임을 전혀 지지 않으면서 자체적으로 유연한 규칙을 운영하겠다는 입장을 함께 유지할 수 없다는 데 초점을 맞춘다.

🧾 핵심 주장 / 시사점

• 모델이 평가 상황을 인식할수록 낮은 문제 행동 관찰률의 해석은 어려워지며, 시험 결과와 함께 훈련 이력과 평가 조건을 검토하는 일이 중요해진다.
• 상주 평가의 독립성은 평가기관의 물리적 위치보다 접근 범위, 조사 시간, 결과 공개 권한을 누가 결정하는지에 좌우된다.
• 공개된 자발적 약속은 외부 검증을 확대할 출발점이 될 수 있지만, 기업의 약속 번복과 업계 참여 격차를 해소하려면 공통 기준과 법적 뒷받침이 필요하다는 것이 연구자들의 주장이다.

✅ 액션 아이템

• Anthropic과 OpenAI의 상주 평가 약속을 훈련 과정 접근권, 충분한 평가 시간, 공개 권한의 구체화 여부를 중심으로 검토.
• GPT-6 Astra 평가 결과를 해석할 때 Apollo Research의 3일 평가 기간과 확실한 결론을 내리기 어려웠다는 한계를 반영.
• 공통 기준과 법적 의무화 논의에서 Meta, SpaceXAI, Google DeepMind의 미참여와 자발적 약속의 지속성 문제를 함께 검토.

❓ 열린 질문

• Anthropic과 OpenAI는 참여 평가기관, 도입 시점, 접근 범위와 공개 가능 정보를 언제 구체적으로 밝힐 것인가?
• 훈련 중간 체크포인트 접근과 충분한 평가 시간은 모델의 평가 상황 인식에 따른 검증 한계를 얼마나 줄일 수 있는가?
• 캘리포니아 SB 53·SB 813과 EU AI Act는 자발적 약속에 의존하는 외부 검증의 지속성과 적용 범위를 어느 정도 보장할 수 있는가?