Priorities and principles for effective third party assessments

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 안전성 논증, 핵심 보호장치, 역량·정렬 평가, 중대한 비정렬 사고 조사를 제3자 평가의 네 가지 우선순위로 제안하고, 독립성·과학적 엄밀성·보안·적절한 접근 권한을 핵심 원칙으로 제시한다.

📌 핵심 요약

• OpenAI는 학습·평가·배포 전반에 대한 깊이 있는 접근을 지원해 외부 평가자가 회사의 가정을 검증하고 누락된 위험을 찾아 보호장치의 효과를 독립적으로 판단하도록 하겠다고 밝힌다.
• 제안의 대상은 민간·비영리 독립 평가기관의 기술 안전성 평가이며, 주로 출시 일정과 무관하게 수주에서 수개월 동안 특정 안전성 주장을 심층 검토하는 작업이다.
• 네 가지 우선순위는 안전성 논증의 독립 평가, 내부·외부 배포의 핵심 보호장치 평가, Preparedness 위험 범주의 역량 평가와 비정렬 위험의 정렬 평가 검토, 중대한 비정렬 사고의 독립 조사다.
• 주요 검증 대상에는 현실적 조건에서의 보호장치 효과, 사고 과정 모니터링의 신뢰성, 화학·생물학 위험·사이버보안·AI 자기개선 평가의 범위와 임계값, 평가 포화에 따른 갱신, 사고 이후 시정 조치의 효과가 포함된다.
• 평가는 합의된 범위와 사전 등록된 안전성 주장, 법률·보안·지식재산 제약 안에서의 적절한 접근, 투명한 방법론, 전문성 및 이해충돌 관리, 정보보안과 집행 가능한 기밀 보호를 갖춰야 한다고 제안한다.

🧩 주요 포인트

1. 안전성 논증을 구성하는 주장과 근거를 전문 분야별로 검토 → 개별 평가 결과가 전체 안전성 논증을 뒷받침하는지와 남은 공백을 판단.
2. 모델 역량 변화와 평가 포화에 맞춰 보호장치·평가를 검증 → 기존 시험의 높은 점수만으로 더 발전한 역량과 비정렬 위험을 충분히 측정했다고 보기 어려움.
3. 깊이 있는 접근과 독립성을 보장하면서 법률·보안·지식재산 제약을 명시 → 평가의 실효성을 높이고 결론이 적용되는 범위와 불확실성을 분명히 할 필요.

🧠 상세 정리

1. 제3자 평가의 역할과 제안의 적용 범위

OpenAI는 최첨단 AI 연구소가 모델을 안전하게 학습·평가·배포할 막대한 책임을 지며, 제3자 평가가 안전성에 관한 외부 의견을 확대하고 사회에 정보를 제공하며 연구소의 책임성을 확보하는 핵심 수단이라고 설명한다. 이를 위해 외부 평가자가 회사의 가정에 이의를 제기하고 놓친 위험을 발견하며 보호장치의 효과에 관해 자체 결론을 내릴 수 있도록 깊이 있는 접근을 지원하겠다고 밝힌다. 기존 협력에서는 기술적 보호장치 정보, 가시적인 사고 과정, 사고 대응과 모니터 레드팀 활동을 위한 기밀 데이터 및 내부 배포 접근을 제공했다고 서술한다. 제3자 평가를 Preparedness Framework의 실행 관행에도 반영했으며, 더욱 엄격하고 책임 있는 절차를 지지하는 조직과 입법을 지원했다고 덧붙인다. 이번 제안은 민간·비영리 독립 평가기관의 기술 안전성 평가에 초점을 맞추며, 역할과 책임의 차이로 별도 접근이 필요할 수 있는 정부와의 시험·평가 활동을 보완한다.

2. 구체적인 안전성 질문을 장기간 검증하는 평가

문서는 제3자 평가가 구체적이고 중요한 질문을 다룰 때 가장 유용하다고 본다. 핵심 질문은 근거가 연구소의 안전성 논증과 주장을 지지하는지, 평가가 의도한 위험을 충분히 시험하는지, 보호장치가 현실적인 조건에서 작동하는지다. OpenAI는 안전성 질문에 따라 평가 형식이 달라질 수 있으며, 수주 동안 진행되는 평가와 수개월에 걸친 평가 등 여러 작업을 병행할 것으로 예상한다. 제3자 평가는 배포 전 작업에 포함되어 배포 결정에 영향을 줄 수도 있지만, 여기서 설명하는 작업은 대체로 출시 일정과 무관하게 특정 주장을 장기간 심층 검토하는 성격이다. 이러한 평가가 효과를 내려면 강한 독립성 보장 장치, 과학적 엄밀성, 견고한 보안 관행, 명확한 책임이 필요하며, 연구소와 평가기관은 안전·보안에 관한 공통의 국제 표준에 따라 협력해야 한다고 제안한다.

3. 우선순위 1: 안전성 논증과 이를 뒷받침하는 근거

첫 번째 우선순위는 학습, 평가, 내부 배포, 외부 배포를 아우르는 안전성 논증을 독립적으로 검토하는 것이다. 안전성 논증에는 학습, 역량 평가, 보호장치에 관한 주장이 포함되며, 전체를 평가하거나 구성 요소별로 나누어 평가할 수 있다. 정렬, 모니터링 같은 통제 방법, 사이버보안, 생물학·화학적 오용, 레드팀 등 다양한 전문성이 필요하므로 여러 평가자가 각자의 전문 분야를 맡아 검토할 가능성이 크다. 평가자는 안전성 논증의 근거가 충분히 입증되는지뿐 아니라 학습·평가·배포 과정에서 해당 논증이 전제하는 조건이 실제로 지켜졌는지도 확인해야 한다. 또한 평가 중 발견된 가장 시급한 위험을 논증이 포괄하는지, 개별 주장이 전체 논증을 뒷받침하는지, 기만·보상 해킹·파괴적 행동·제한 우회를 보상할 수 있는 학습 유인을 효과적으로 식별하고 줄이는지도 검토 대상으로 제시한다.

4. 우선순위 2: 현실적 조건에서의 핵심 보호장치

두 번째 우선순위는 내부·외부 배포에 적용되는 핵심 보호장치의 효과와 한계를 평가하는 것이다. OpenAI는 모델 수준의 보호장치, 집행 보호장치, 보안 보호장치, 비정렬 모니터를 운용하며, 이 체계가 통제 상실과 사이버·생물학·화학 분야의 오용 등 다양한 위험에 대응하도록 계속 변화한다고 설명한다. 평가 질문에는 그레이박스 접근을 활용한 탈옥 시험에 대한 견고성과 고위험 분야의 역량 증강을 충분히 막는지 여부가 포함된다. 승인된 현실적 시험 환경에서는 에이전트가 접근 통제, 샌드박싱, 탐지·대응 체계와 어떻게 상호작용하며 어떤 방어가 유해 행동을 예방·탐지·억제하고 어디서 실패하는지 살펴야 한다. 비정렬 모니터의 중대한 공백, 모델 역량 향상에 따른 사고 과정 모니터링의 증거 신뢰성, 쉽게 비활성화할 수 없는 모니터링의 적용 여부, 역량에 상응하는 보호장치의 구현 여부도 주요 쟁점이다. 기술 협력은 현재의 약점을 발견하는 동시에 평가 방법과 표준 개발을 개선할 수 있으며, 특히 안전·보안 표준이 아직 초기 단계인 내부 배포에서 향후 공공정책의 기술적 근거를 강화할 수 있다고 본다.

5. 우선순위 3: 역량·정렬 평가의 범위와 갱신

세 번째 우선순위는 Preparedness 위험 범주를 다루는 역량 평가와 심각한 비정렬 위험을 다루는 정렬 평가 자체를 검토하는 것이다. Preparedness Framework는 화학·생물학 위험, 사이버보안, AI 자기개선 등 핵심 최첨단 위험 분야에 대한 평가를 요구한다. 문서는 모델이 임계값을 넘거나 기존 평가가 포화될수록 평가를 지속적으로 갱신하고, 위험을 다루는 범위와 측정 품질을 확보하는 일이 중요하다고 강조한다. 구체적으로 평가가 Preparedness 위험 임계값의 정의를 충분히 포괄하는지, 해당 평가의 임계값이 적절하게 설정되었는지를 묻는다. 모델이 계속 최고점을 기록할 때 평가가 갱신되는지와 새 시험이 더 발전한 역량을 의미 있게 측정하는지도 검토해야 하며, 정렬 평가가 심각한 비정렬 위험을 충분히 포괄하는지와 놓칠 수 있는 중요한 행동·조건도 확인 대상으로 제시한다.

6. 우선순위 4: 중대한 비정렬 사고의 독립 조사

네 번째 우선순위는 모델이 허가 없이 행동하거나 감독을 회피하는 등 중대한 비정렬 사고를 독립적으로 조사하는 것이다. 이러한 사고는 의도적인 오용이 없어도 정렬 방법과 보호장치의 약점을 드러낼 수 있으며, 문서는 OpenAI Hugging Face 사고처럼 일부 상황에서 외부 독립 조사가 유익할 수 있다고 설명한다. 조사기관에는 사안에 따라 사이버 포렌식, 정렬, 대규모 사고 과정 분석 등의 전문성과 적시에 조사를 수행할 인력·자원이 필요하다. 사고 대응에는 민감한 내부 데이터와 제3자 데이터에 대한 접근이 수반될 수 있으므로 일부 세부사항의 접근이나 공개에는 민감성이 따른다. 조사에서는 실제로 발생한 모델 행동과 비정렬 문제 및 주요 기여 요인을 규명하고, 보호장치와 시정 조치가 향후 유사 사고를 효과적으로 완화할 수 있는지 검토해야 한다. 조사 결과는 모델의 정렬 상태와 기존 비정렬에 대한 시정 조치의 효과를 판단하는 근거가 되어 해당 모델의 안전성 논증에도 반영될 수 있다.

7. 평가 원칙: 합의된 범위와 적절한 접근

평가는 당사자가 합의한 범위에서 시작하고, 활동 개시 전에 명확한 안전성 주장을 사전 등록해야 한다고 제안한다. 평가할 주장이 회사가 검증받고자 제시한 것인지, 외부 평가자가 독립적으로 검토하려 하고 회사가 평가에 동의한 것인지도 구분해야 한다. 제3자의 데이터 접근 불가능, 평가자의 전문성 부족, 긴급한 평가에 따른 합리적인 시간 제약 등으로 일부 주장은 범위에서 제외될 수 있다. 다만 원래 범위 밖에서 중대한 위험이 발견될 경우 추가 조사가 필요한지 검토하는 절차를 마련하고, 결론에는 무엇을 평가했고 무엇을 평가하지 않았는지 분명히 밝혀야 한다. 평가자에게는 법률·보안·지식재산 제약 안에서 합의된 주장을 평가하는 데 상응하는 접근을 제공해야 하며, 직접 접근이 어렵거나 불가능하면 회사의 지정 담당자와 협력하거나 간접 접근 및 개인정보 보호형 접근 방식을 검토할 수 있다.

8. 평가 원칙: 투명성·독립성·보안

평가자는 방법론, 판단 기준, 불확실성을 설명하고 가능한 경우 확립된 표준을 활용하며, 표준이 없는 경우에는 선택한 기준을 명확히 정당화해야 한다. 보고서는 직접 확인한 결과와 해석을 구분하고, 어떤 결론이 증거로 뒷받침되는지 밝혀야 한다. 평가자는 관련 기술 전문성을 입증하는 한편 금전적 유인, 개발자와의 관계, 평가 대상 작업에 대한 과거 참여 등 조직과 개인의 이해충돌을 식별·공개하고 해결해야 한다. 상업적 압력과 보상 구조가 결과에 영향을 주지 않도록 보호장치를 설계해야 하며, 여기에는 평가 회피나 적절한 참여 배제 기간이 포함될 수 있다. 또한 접근하는 시스템과 정보의 민감성에 비례하는 정보보안 관행 및 인력 전반에 적용되는 집행 가능한 기밀 보호가 필요하며, 보호 대상에는 지식재산, 민감한 정보, 평가 기록이 포함된다. 제공된 원문은 평가기관이 보안 요건을 충족하지 못하는 경우를 설명하려는 문장 중간에서 끝나므로, 그 이후의 조건이나 대안은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 제3자 평가의 가치는 시험 결과를 추가하는 데만 있지 않으며, 개별 안전성 주장과 전체 안전성 논증 사이의 근거 연결 및 공백을 독립적으로 확인하는 데 있다.
• 보호장치, 역량 평가, 사고 조사는 서로 연결된다. 평가 포화와 사고에서 발견된 약점은 기존 안전성 주장을 다시 검토하고 평가 방법을 갱신할 근거가 될 수 있다.
• 접근의 깊이만으로 평가의 신뢰성이 확보되지는 않는다. 범위와 접근 제약의 공개, 불확실성 설명, 이해충돌 관리가 함께 있어야 결론이 뒷받침하는 범위를 판단할 수 있다.

✅ 액션 아이템

• 안전성 논증의 개별 주장과 근거를 대조하고, 전문 분야별 검토에서 확인된 공백을 전체 논증과 연결해 검토.
• 평가 포화에 따른 갱신 필요성과 현실적 조건에서의 보호장치 효과를 검토.
• 합의된 범위와 사전 등록된 안전성 주장을 기준으로 법률·보안·지식재산 제약, 접근 수준, 이해충돌 관리의 적절성을 확인.

❓ 열린 질문

• 안전성 논증의 개별 주장을 뒷받침하는 근거는 전체 논증을 지지하기에 충분하며, 남아 있는 공백은 무엇인가?
• 평가 포화 이후 갱신된 역량 평가와 정렬 평가는 더 발전한 모델 역량과 심각한 비정렬 위험을 충분히 측정하는가?
• 법률·보안·지식재산 제약 안에서 제공되는 접근 수준으로 합의된 안전성 주장을 충분히 검증할 수 있는가?