ArticleOpenAI·2026년 11월 16일·0

Our first phase of embedded assessments

Quick Summary

OpenAI는 Apollo Research, METR, Transluce, Goodfire와 독립 평가 계약을 체결하고, 내부 모델과 시스템에 깊이 접근해 정렬 및 안전장치를 검증하는 임베디드 평가의 첫 단계를 추진한다.

Our first phase of embedded assessments 관련 대표 이미지

🖼️ 인포그래픽

Our first phase of embedded assessments 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Our first phase of embedded assessments의 핵심 내용을 4단계로 요약한 인포그래픽
Our first phase of embedded assessments 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 Apollo Research, METR, Transluce, Goodfire와 독립 평가 계약을 체결하고, 내부 모델과 시스템에 깊이 접근해 정렬 및 안전장치를 검증하는 임베디드 평가의 첫 단계를 추진한다.

📌 핵심 요약

  • 첫 단계는 학습과 내부 사용 중인 모델의 정렬 및 안전장치를 평가해 OpenAI의 안전성 입증 자료인 안전성 사례를 보완한다. 평가자는 필요에 따라 모델 체크포인트, 소스 코드, 학습·평가 데이터, 모니터링 시스템, 기술 문서와 담당 연구진에 접근한다.
  • Apollo Research는 모델이 개발자의 의도에 은밀하게 반하는 행동을 할 가능성과 그 탐지 여부에 관한 네 가지 주장을 두 단계로 평가한다. Goodfire는 해석가능성 연구자와 Goodfire 플랫폼을 활용해 학습 실행의 모니터링·디버깅·정렬을 분석하며, 내부 연구진의 안전 개선을 지원하고 협업 중 배운 점과 발견 사항도 공개할 예정이다.
  • METR와는 정렬 평가와 모니터 평가라는 두 가지 평가를 추진할 계획이다. 첫 정렬 평가는 OpenAI의 현재까지 최대 규모 프런티어 강화학습 실행을 대상으로 기존 시험과 모니터가 놓쳤을 수 있는 비정렬 행동을 조사하며, 더 넓은 범위의 추가 모니터 평가는 평가 범위에 대한 상호 합의가 남아 있다.
  • Transluce는 후학습 정렬 평가의 품질과 포괄성을 우선 검토한다. OpenAI와 Transluce는 2027년 초 약 8주 동안 추가 모델과 정렬 평가에 더 폭넓게 접근하고 평가 결과가 모델 출시 결정에 반영되는 방식도 살피는 후속 평가를 진행할 의향을 공유한다.
  • 평가 운영은 합의된 범위와 접근 조건, 민감 정보 취급 시 현장 근무와 OpenAI 기기 사용, Safety and Security Committee(SSC)의 감독을 포함한다. 평가자는 독립적으로 결과를 발표하지만 OpenAI는 기밀 정보 삭제 권한을 유지하며 안전·보안 문제의 시정을 위한 공개 유예를 요청할 수 있다.

🧩 주요 포인트

  1. 내부 증거 접근과 평가별 전문성의 결합 → 모델 행동, 학습 과정, 평가 품질, 모니터링을 서로 다른 관점에서 검증하고 기존 안전성 사례가 놓친 실패를 찾는 구조다.
  2. 첫 평가와 후속 계획의 확정 수준 차이 → METR의 추가 모니터 평가는 범위 합의가 필요하고 Transluce의 2027년 초 약 8주 후속 평가는 공동 의향이므로, 예정된 접근 확대를 완료된 평가로 해석할 수 없다.
  3. 독립적 발표와 기밀 보호·SSC 감독의 병행 → 공개 보고는 발견 사항과 한계를 전달하고, 삭제되지 않은 비공개 보고는 감독에 필요한 근거를 제공하는 역할을 맡는다.

🧠 상세 정리

1. 첫 임베디드 평가의 목적과 배경

OpenAI는 Apollo Research, METR, Transluce, Goodfire라는 네 독립 평가기관과 첫 임베디드 평가를 위한 계약을 체결했다고 밝혔다. 임베디드 평가는 외부 전문가가 연구소 내부 모델과 시스템에 장기간 깊이 접근해 모델 정렬과 안전장치의 효과를 살피는 방식이며, 첫 단계는 학습과 내부 사용에 초점을 맞춰 안전성 사례를 보완한다. 평가에 필요한 범위에서 내부 연구진이 사용하는 모델 체크포인트, 소스 코드, 학습·평가 데이터, 모니터링 시스템, 기술 문서와 담당 연구진의 설명을 제공해 예상하지 못한 실패를 발견할 근거와 맥락을 확보하도록 한다. 이 작업은 기존 제3자 평가 원칙과 협업 경험, 내부 모니터링 시스템 시범 평가 및 Hugging Face 사건 조사에 이어지는 시도다. OpenAI는 이를 White House Accord on Super Intelligence에서 약속한 안전 통제의 독립 평가와 연결하고, 향후 협업 확대 및 업계의 평가 기준과 공개 투명성 강화에 기여할 수 있다고 설명한다.

2. Apollo Research의 은밀한 의도 위반 행동 평가

Apollo Research는 모델이 개발자의 의도에 은밀하게 반하는 행동을 할 수 있는지, 그리고 OpenAI의 안전장치가 이를 탐지할 수 있는지를 평가한다. 학습, 안전성 시험, 내부 사용에서 나온 증거를 바탕으로 네 가지 주장을 두 단계에 걸쳐 검토할 계획이다. 네 주장은 학습이 그러한 행동을 유인하지 않았다는 것, 강도 높은 평가와 레드팀 활동에서도 그러한 행동이 유발되지 않는다는 것, 내부 사용 중 그러한 행동을 시도하지 않았다는 것, 그리고 그 행동의 배후 추론을 탐지할 수 있다는 것이다. 첫 단계에서는 선정된 공개·미공개 모델과 학습 체크포인트, 관련 학습 데이터와 평가 결과, 학습 개입 기록, 모니터링 시스템과 표시된 행동에 대한 접근을 제공한다. 맥락을 설명할 연구진뿐 아니라 독립 시험에 필요한 도구와 연산 자원도 지원하며, 네 주장은 이미 입증된 결론이 아니라 평가 대상이다.

3. Goodfire의 모델 내부 분석과 연구진 지원

Goodfire는 해석가능성 연구자를 투입하고 Goodfire 플랫폼을 사용해 모델 내부를 분석할 예정이다. 이 평가의 주된 목표는 학습 실행의 모니터링, 디버깅, 정렬이며, 협업은 이러한 내부 분석을 중심으로 설계된다. 평가 결과의 주요 이용자는 OpenAI 내부 연구진으로, 이들은 발견 사항을 활용해 안전성을 개선할 계획이다. 따라서 Goodfire의 역할은 학습 과정에서 발생하는 문제를 이해하고 개선하는 작업과 직접 연결되며, 원문은 특정 안전성 주장의 통과 여부나 평가 완료 결과를 제시하지 않는다. 내부 연구진을 주요 대상으로 삼으면서도 Goodfire는 협업이 진행되는 동안 배운 점과 발견 사항을 공개할 예정이라고 밝혀, 내부 개선과 외부 공유라는 두 용도를 함께 제시한다.

4. METR의 정렬 평가와 추가 모니터 평가

OpenAI는 METR와 모델 정렬 및 모니터링에 관한 두 가지 평가를 진행할 계획이라고 설명한다. 첫 정렬 평가는 현재까지 최대 규모의 프런티어 강화학습 실행을 대상으로 하며, 기존 시험과 모니터가 놓쳤을 수 있는 비정렬 행동도 조사한다. 선정된 실행과 합의된 접근·자원·안전 조건 안에서 METR는 평가 우선순위를 독립적으로 정하고 탐색, 분석, 행동 유도 실험을 반복하며, 관련 체크포인트의 샘플링, 학습·평가 실행 기록, 비정렬 모니터링 기록에 접근하게 된다. 모니터 평가와 관련해서는 최근 METR와 함께 스트레스 시험을 수행했으며, 이보다 더 넓은 범위의 추가 평가를 진행하기로 잠정 합의했다고 밝혔다. 다만 추가 모니터 평가는 평가 범위에 관한 상호 합의가 남아 있으므로, 그 범위가 확정됐거나 평가가 완료됐다고 볼 수는 없다.

5. Transluce의 후학습 평가 검토와 후속 의향

Transluce의 초기 평가는 OpenAI의 후학습 정렬 평가가 얼마나 양질이며 필요한 영역을 포괄하는지 살피는 데 초점을 맞춘다. OpenAI는 선정된 공개·미공개 모델, 후학습 정렬 평가와 관련 결과, 이를 뒷받침하는 모델 행동 데이터 및 안전성 사례 문서를 제공할 예정이다. 독립 시험에 필요한 도구와 연산 자원, 평가의 맥락을 설명할 연구진에 대한 접근도 포함된다. 양측은 2027년 초 약 8주 동안 후속 평가를 진행할 의향도 공유하며, 이 단계에서는 추가 모델과 정렬 평가에 대한 접근을 확대하고 평가 결과가 모델 출시 결정에 어떻게 반영되는지에 관한 정보도 제공하려 한다. 초기 평가의 대상과 후속 접근 확대 의향은 구분되어 있으며, 원문은 후속 평가가 이미 실행됐거나 그 결과가 나왔다고 주장하지 않는다.

6. 평가 범위의 조정과 안전한 현장 접근

각 평가는 엄밀한 검토에 필요한 범위와 접근 권한, 자원, 안전 조건에 대한 합의에서 시작하며, 특정 안전성 주장을 시험하거나 정해진 시스템·학습 실행 안에서 예상하지 못한 실패를 찾을 수 있다. 어느 경우든 평가자가 증거를 따라 방법을 다듬고 발견 사항에 따라 추가 평가를 제안할 자유가 필요하며, 진행 중 추가 접근 요구를 다루는 절차도 마련한다. 모델 가중치나 아키텍처처럼 특히 민감한 지식재산에 직접 접근하기 어려우면 OpenAI 연구진과 함께 분석하는 대안을 고려한다. 민감한 기밀 정보에 접근하는 평가자는 OpenAI 사무실에서 제공된 기기로 일하고, 실험과 평가에서는 최소한 직원과 같은 보안 기준을 따라야 한다. OpenAI는 현장 근무가 정보 보호와 담당 직원의 맥락 제공에 도움이 된다고 설명하면서도, 초기에는 기술적 접근 문제, 공간 제약, 변화하는 보안 절차와 예상 밖 문제가 발생할 수 있어 운영 규범을 계속 발전시켜야 한다고 인정한다.

7. SSC 감독과 이견 해결 절차

OpenAI Foundation 이사회의 독립 감독위원회인 Safety and Security Committee(SSC)는 임베디드 평가의 시작 전부터 진행 중, 종료 시점까지 내용을 파악하고 감독 권한을 행사할 수 있다. SSC는 내용이 삭제되지 않은 보고서를 받으며, 평가자와 SSC는 평가 중 서로 직접 대화하고 비공개로도 소통할 수 있다. OpenAI와 평가자 사이에 이견이 생기면 Safety Advisory Group과 OpenAI 경영진에 상정하고, 이들은 정해진 기간 안에 해결해야 한다. 이견이 상정되는 시점에 SSC에도 신속히 통지하며, 해결되지 않은 사안은 최종적으로 SSC에 회부한다. 이러한 절차는 공개 보고와 별개로 감독기구가 상세한 근거를 접하고 이견을 다룰 통로를 제공하지만, 원문에는 해결에 부여되는 구체적인 기간이나 실제 분쟁 처리 사례가 제시되지 않는다.

8. 직원 대화의 비공개 원칙과 공식 확인

직원과의 대화는 평가자가 내부 정보와 연구의 맥락을 이해하는 수단이며, OpenAI는 대화할 수 있는 직원에게 권한과 지침을 제공하고 평가자는 필요에 따라 추가 직원을 요청할 수 있다. 솔직한 대화를 장려하고 직원의 사생활을 보호하기 위해 이 대화는 비공개 기록 원칙을 적용받아 평가에 참고할 수는 있지만 내용을 공개하거나 특정 직원에게 귀속할 수는 없다. 별도의 공식 확인 경로를 통해 평가자는 대화에서 알게 된 내용을 검증·수정·명확화하는 OpenAI 명의의 진술을 요청할 수 있다. 이 진술은 개인에게 귀속되지 않으며 개인의 견해를 표현하는 용도로도 의도되지 않는다. 평가자는 OpenAI가 확인한 진술을 공개할 수 있고, OpenAI가 어떤 진술의 확인을 거절했다는 사실도 공개할 수 있어 비공개 대화에서 얻은 정보와 공개 가능한 공식 확인을 구분한다.

9. 이해충돌 관리와 결과 공개의 조건

OpenAI는 개인적 관계, 재정적 이해관계와 기타 문제를 포함한 이해충돌을 명확하고 투명하게 관리하는 것이 평가의 무결성과 독립성에 중요하다고 설명한다. 평가자가 여러 연구소에서 책임 있게 일하면서 경쟁상 민감한 정보를 다루도록 활동 간 유예 기간도 신중히 설계해야 하며, 이해충돌과 유예 기간에 관한 명확한 절차를 평가기관들과 개발하고 있다. 여기에는 완화 조치의 유연성과 평가 참여 회피를 요청하는 결정의 투명성이 포함되지만, 원문은 구체적인 기간을 제시하지 않는다. 평가자는 결과 발표의 독립성을 유지하되 OpenAI는 기밀 정보를 삭제할 권한을 보유하고, 안전·보안 위험을 낳을 수 있는 발견 사항에 대응하고 남은 문제를 시정하기 위해 책임 있는 공개 유예를 요청할 수 있다. 공개 보고는 발견 사항과 한계를 설명하고 더 상세한 비공개 보고는 감독기구가 조치할 근거를 제공한다는 역할 구분이 제시된다.

10. 장기 협업으로의 발전과 남아 있는 과제

OpenAI는 이번 평가가 지속적인 정렬 및 안전 작업에 독립적인 관점을 더하고, 공개 보고를 통해 위험을 어떻게 식별하고 다루는지 더 투명하게 보여줄 것으로 기대한다. 첫 단계를 장기적이고 일관된 임베디드 협업으로 발전시켜 핵심 안전성 주장과 안전성 사례에 대한 제3자의 안전 신호 및 개선 권고를 지속적으로 얻겠다는 구상이다. 이를 위해 다양한 전문성과 접근법을 가진 복수의 독립 기관과 협력하면서 평가 생태계를 조성하려 한다. 원문은 민감한 시스템을 대상으로 지속적인 현장 작업이 필요한 조사와 배포됐거나 곧 배포될 모델을 주로 평가하는 작업을 언급하지만, 제공된 마지막 문장은 완결되지 않아 그 뒤의 설명은 확인할 수 없다. 이러한 장기 협업과 신뢰 제고는 아직 첫 단계에서 제시된 기대이며, 실제 평가 결과나 안전장치의 효과가 이번 글에서 입증된 것은 아니다.

🧾 핵심 주장 / 시사점

  • 네 기관은 서로 다른 평가 대상을 맡는다. 모델의 은밀한 의도 위반 행동, 모델 내부와 학습 과정, 비정렬 및 모니터링, 후학습 평가의 품질을 함께 살피는 구성은 단일 평가 방식이 놓칠 수 있는 문제를 보완하려는 설계다.
  • 평가의 독립성은 내부 접근의 깊이뿐 아니라 증거에 따라 방법을 조정할 자유, SSC와의 비공개 소통, 결과 발표 권한에도 걸쳐 있다. 동시에 합의된 범위와 보안 조건, 기밀 정보 삭제 권한이 그 운영 조건을 이룬다.
  • 이 글은 안전성 검증의 결과 발표보다 평가 체계와 협업 계획의 공개에 가깝다. 향후 판단에는 실제 발견 사항과 한계, 추가 접근의 실현 여부, 평가를 통한 개선 내용이 중요해진다.

✅ 액션 아이템

  • Apollo Research의 네 가지 주장에 대한 평가 결과에서 은밀한 의도 위반 행동의 가능성과 탐지 여부 확인.
  • METR의 추가 모니터 평가에 대한 범위 합의 여부와 Transluce의 2027년 초 약 8주 후속 평가 진행 여부 확인.
  • 공개 보고의 발견 사항과 한계를 검토하고, 기밀 정보 삭제·공개 유예 조건 및 SSC 감독과 함께 해석.

❓ 열린 질문

  • Apollo Research의 네 가지 주장에 대한 평가에서는 모델의 은밀한 의도 위반 행동과 탐지 가능성에 관해 어떤 결과가 나올까?
  • METR의 추가 모니터 평가 범위는 어떻게 합의되며, Transluce의 2027년 초 약 8주 후속 평가는 계획한 접근 확대를 포함해 진행될까?
  • 독립적 발표와 기밀 정보 삭제·공개 유예가 병행될 때 공개 보고는 평가의 발견 사항과 한계를 어느 정도까지 전달할 수 있을까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.