Anthropic update on independent evaluators

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic은 독립적 안전성 평가를 강화하기 위해 METR 직원 6명에게 직원에 준하는 접근 권한을 제공하기 시작했으며, 평가기관의 접근·공개 권한을 3단계로 확대하는 체계를 개발하고 있다.

📌 핵심 요약

• Anthropic은 2026년 10월 15일, 독립적인 제3자 평가 강화 약속과 White House Accord on Super Intelligence 서명에 이어 비영리 프런티어 AI 평가기관 METR에 직원에 준하는 접근 권한을 제공하기 시작했다고 발표했다.
• Anthropic은 악용 가능성이나 영업상 민감성 때문에 안전 관련 정보를 모두 공개할 수 없으므로, 전문성·독립성·충분한 접근 권한·평가 결과 공개의 자유를 갖춘 외부 평가기관을 통해 공개적 책임성을 높이고자 한다.
• METR 직원 6명은 회사 장비와 사무공간, Anthropic 내부 위험평가팀과 대체로 동등한 도구·시스템 접근 권한을 받았다. 고객 데이터, 변호사·의뢰인 간 비밀유지 특권이 적용되는 정보, 모델 아키텍처 정보 등은 원칙적으로 접근 예외에 해당한다.
• METR은 위험 수준·사건·관행에 관한 분석을 공개하며 Anthropic은 공개를 거부할 수 없다. 다만 사전에 정한 좁은 정보 범주의 삭제를 요구할 수 있고, METR은 삭제 내용을 노출하지 않는 범위에서 삭제의 성격과 정당성에 대한 의견을 공개할 수 있다. 참여팀은 집행 가능한 계약과 보안 기준을 따르며 다른 METR 직원들과 정보가 분리된다.
• 개발 중인 3단계 체계에서 1단계는 제한된 조사와 승인 후 공개, 2단계는 더 넓은 접근과 승인 없는 공개, 3단계는 METR처럼 직원에 준하는 접근과 2단계에 유사한 공개 권한을 제공한다. SecureBio는 현재 1단계에서 8월 위험 보고서의 화학·생물무기 장을 검토 중이며, Accenture·Faculty와는 평가·레드팀 활동·정렬 평가·안전장치 시험 등을 포함하는 협력을 추진하고 있다. Hugging Face 등과는 초기 논의 중이다.

🧩 주요 포인트

1. 민감정보의 전면 공개에는 제약이 있음 → 외부 평가기관과 회사 사이의 정보 격차를 줄여 안전 관련 판단의 공개적 책임성을 보완하려는 접근이다.
2. METR의 직원에 준하는 접근과 승인 없는 공개를 결합함 → 독립적인 위험 판단을 뒷받침하되, 제한적 정보 삭제와 참여팀의 정보 분리로 기밀 보호를 병행한다.
3. 평가기관별 접근·공개 권한을 3단계로 구분함 → 초기 협력에서 기밀 보호 역량과 평가 전문성을 확인하고, 신뢰가 쌓이면 더 깊은 평가 참여로 확대하려는 구조다.

🧠 상세 정리

1. 독립적 평가 강화 약속과 METR 참여

Anthropic은 2026년 10월 15일 발표에서, 전월 약속한 모델과 안전 관행에 대한 독립적인 제3자 평가 강화를 구체화한다고 밝혔다. 회사는 독립적인 외부 감사기관 또는 평가기관과 협력하겠다는 기업들의 약속을 담은 White House Accord on Super Intelligence에도 서명했다고 설명했다. 이번 조치의 중심은 프런티어 AI 모델을 평가하는 비영리기관 METR의 팀에 직원에 준하는 접근 권한을 제공하기 시작한 것이다. METR은 위험평가 결과를 공개할 예정이며, 양측은 지난 1년 동안 Anthropic의 위험 보고서를 여러 차례 검토하는 작업을 함께했다. Anthropic은 SecureBio 및 Accenture와도 평가 협력을 진행하고 있으며, Hugging Face를 포함한 다른 여러 조직과는 초기 논의 중이라고 밝혔다.

2. 외부 평가가 필요한 이유와 네 가지 조건

Anthropic은 모델의 역량이 커질수록 더 강한 안전장치와 더 까다로운 위험평가가 필요하며, 자사의 의사결정에 대해 공개적으로 책임을 지고자 한다고 설명한다. 그러나 일부 안전 관련 정보는 악의적 행위자에게 유용할 수 있고, 연산 자원이나 학습 정보처럼 영업상 민감할 수도 있어 모두 공개할 수는 없다고 본다. 이에 외부 평가기관에 깊이 있는 정보 접근을 제공하고, 이들이 모델 개발 위험에 관한 근거와 논리적인 결론을 공개하게 해 회사와 평가기관 사이의 이해 격차를 줄이려 한다. 필요한 조건으로는 정렬 위장처럼 평가가 실패하는 방식까지 이해하는 전문성, 평가 대상 회사의 지분을 보유하거나 재정적·운영상으로 의존하지 않는 독립성, 학습 과정과 안전장치까지 살필 수 있는 충분한 접근 권한, 관찰과 평가를 공개할 자유를 제시했다. 회사는 완전히 일치하는 비유는 아니라는 전제 아래 대형 은행 내부에서 위험을 살피는 상주 검사관의 역할을 언급하며, 이러한 협력이 견고한 AI 안전 감독을 향한 한 단계라고 주장한다.

3. 직원에 준하는 접근 권한의 실제 범위

Anthropic은 METR 직원 6명에게 회사 하드웨어와 사무공간을 제공하고, 자사 위험평가팀이 사용하는 것과 대체로 동등한 내부 도구 및 시스템 접근 권한을 부여했다. 명확히 정한 소수의 예외 범주를 제외하면, Anthropic 직원들은 정렬 위험을 다루는 동료 직원에게 하듯 이들과 정보를 공유하도록 권장받는다. 예외에는 고객 데이터, 변호사·의뢰인 간 비밀유지 특권이 적용되는 정보, 모델 아키텍처 관련 정보 등이 포함된다. 각주에서는 평가기관이 다른 회사와도 일할 수 있어 의도치 않은 유출에 주의하며, 아키텍처 정보는 그런 유출 위험이 높고 위험평가와의 관련성은 대체로 낮다고 설명한다. 다만 아키텍처 정보가 위험평가와 매우 밀접하게 관련되는 경우에는 명시적인 내부 승인을 거쳐 대체로 공유를 추진하겠다고 밝혀, 이 예외가 모든 경우에 절대적인 차단을 뜻하지는 않음을 분명히 했다.

4. 공개 권한과 기밀 보호의 경계

METR은 Anthropic의 위험 수준, 사건 또는 관행에 대한 분석을 공개하며, Anthropic은 그 공개 자체를 거부할 수 없다. 다만 앞서 제시한 예외와 같이 사전에 좁게 정의된 범주에 속하는 정보에 대해서는 삭제를 요구할 수 있다. METR은 삭제된 정보를 드러내지 않는 한, 어떤 성격의 삭제가 있었는지와 그 삭제가 정당했다고 보는지를 공개적으로 설명할 수 있다. 이 협력은 집행 가능한 계약 아래 활동하는 소규모 팀으로 한정되며, Anthropic과 다른 프로젝트를 수행하는 연구자를 포함해 나머지 METR 직원들은 해당 팀의 업무 정보와 분리된다. Anthropic은 이 방식이 자사 보안 기준을 따르는 소수의 적격 평가자에게 내부 운영을 가까이서 살필 기회를 주는 것이며, 다른 조직이 회사나 고객·파트너의 정보를 얻는 통로는 아니라고 설명한다.

5. 접근과 공개 권한을 나누는 3단계 체계

Anthropic은 다른 평가 협력들이 아직 초기 단계이므로 제공 정보와 공개 권한을 더 제한하고 있으며, 먼저 상대 기관의 기밀 보호 능력과 평가에 필요한 자원·전문성을 확인하려 한다고 밝혔다. 이를 위해 평가기관의 접근 권한을 3단계로 구분하는 체계를 개발 중이며, 시간이 지나면서 여러 기관이 3단계에 올라 각자 위험 상태와 주요 결정에 관한 분석을 공개하기를 희망한다. 1단계에서는 평가기관이 범위가 좁은 위험 조사를 수행하고, Anthropic이 제공할 접근 범위를 정하며, 결과 공개에도 회사의 승인이 필요하다. 2단계에서는 더 많은 정보에 접근하고 승인 없이 결과를 공개할 수 있지만, 특정 정보 범주의 삭제 요구는 가능하며 평가기관은 삭제의 정당성에 대한 의견을 공개할 수 있다. 3단계는 METR에 적용한 방식으로, 직원에 준하는 접근 권한과 2단계에 유사한 공개 권한을 결합하며, 다른 기관의 확대 참여는 협력의 진전과 신뢰 형성을 전제로 한 목표로 제시된다.

6. 다른 평가기관과의 협력 및 확대 방향

SecureBio는 현재 1단계 평가기관으로, 이전 위험 보고서에 대한 시범 검토를 완료하고 공개한 뒤 8월 위험 보고서의 화학·생물무기 장을 검토하고 있다. Anthropic은 이번 검토가 끝나면 접근 권한과 공개 권한을 더 확대한 프로젝트로 나아갈지를 검토할 예정이며, 권한 확대가 이미 결정됐다고 밝히지는 않았다. Accenture 및 Faculty와는 모델 평가와 레드팀 활동, 정렬 평가, 모델 안전장치 시험, 각 조직의 역량 구축을 포함하는 포괄적인 협력을 추진하고 있다. Hugging Face를 비롯한 다른 조직들과의 논의는 초기 단계로 소개되며, 구체적인 참여 방식이나 권한 수준은 제시되지 않았다. Anthropic은 평가기관의 내부 참여를 자발적으로 추진하고 있다고 강조하면서, 모든 프런티어 AI 기업이 같은 조치를 취해야 한다는 견해를 밝혔다.

🧾 핵심 주장 / 시사점

• 이 접근의 핵심은 내부 정보에 대한 깊은 접근과 외부의 독립적인 공개 판단을 연결하는 데 있다. Anthropic은 이를 통해 전면적인 정보 공개가 어려운 상황에서도 안전 관련 의사결정의 책임성을 높이려 한다.
• METR이 정보 삭제의 정당성에 대한 의견까지 공개할 수 있다는 점은 기밀 보호 조치 자체도 외부 평가의 대상이 될 수 있음을 보여준다. 다만 삭제된 정보는 공개할 수 없으므로 공개 범위에는 경계가 남는다.
• 3단계 체계는 기관별 협력 수준을 점진적으로 확대하려는 구상이다. SecureBio의 권한 확대와 여러 평가기관의 3단계 참여는 현재 달성된 상태가 아니라 향후 검토 또는 희망 사항으로 구분해야 한다.

✅ 액션 아이템

• METR이 공개하는 위험 수준·사건·관행 분석과 정보 삭제의 정당성에 대한 의견을 확인할 필요가 있다.
• 평가기관별 평가 결과를 해석할 때 3단계 체계의 접근 범위와 공개 승인 조건을 함께 고려할 필요가 있다.
• SecureBio의 8월 위험 보고서 검토 이후 접근·공개 권한 확대 여부와 Accenture·Faculty 협력의 진행 상황을 확인할 필요가 있다.

❓ 열린 질문

• METR은 직원에 준하는 접근 권한을 바탕으로 Anthropic의 위험 수준·사건·관행에 대해 어떤 평가를 공개할 것인가?
• 고객 데이터와 모델 아키텍처 정보 등의 접근 예외 및 제한적 정보 삭제는 외부 평가기관과 회사 사이의 정보 격차를 줄이는 데 어떤 제약을 줄 것인가?
• SecureBio의 8월 위험 보고서 검토 이후 접근·공개 권한은 확대되며, 다른 평가기관의 3단계 참여는 어떻게 진행될 것인가?