Our updated Preparedness Framework

🖼️ 인포그래픽

Our updated Preparedness Framework 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈AI는 첨단 인공지능의 심각한 위해 가능성을 더 명확하게 분류하고, 능력 수준별 보호조치와 평가·검토·공개 절차를 강화한 대비 프레임워크를 발표했다.

📌 핵심 요약

대비 프레임워크는 개연성, 측정 가능성, 심각성, 순신규성, 즉시성 또는 회복 불가능성이라는 기준으로 우선 대비할 고위험 능력을 선별한다.
추적 범주는 생물·화학, 사이버보안, 인공지능 자기개선이며, 장기 자율성·의도적 성능 은폐·자율 복제와 적응 등은 연구 범주로 관리한다.
능력 수준은 기존의 심각한 위해 경로를 증폭할 수 있는 ‘높음’과 전례 없는 새로운 위해 경로를 만들 수 있는 ‘치명적’으로 단순화했다.
높은 능력에는 배포 전 위험 최소화가, 치명적 능력에는 개발 중에도 위험 최소화가 요구되며, 안전자문그룹의 검토를 거쳐 리더십이 최종 결정한다.
자동화 평가와 전문가 심층 평가를 병행하고, 능력 보고서와 보호조치 보고서를 통해 판단 근거와 잔여 위험을 지속적으로 공개한다.

🧩 주요 포인트

대비 프레임워크는 개연성, 측정 가능성, 심각성, 순신규성, 즉시성 또는 회복 불가능성이라는 기준으로 우선 대비할 고위험 능력을 선별한다.
추적 범주는 생물·화학, 사이버보안, 인공지능 자기개선이며, 장기 자율성·의도적 성능 은폐·자율 복제와 적응 등은 연구 범주로 관리한다.
능력 수준은 기존의 심각한 위해 경로를 증폭할 수 있는 ‘높음’과 전례 없는 새로운 위해 경로를 만들 수 있는 ‘치명적’으로 단순화했다.
높은 능력에는 배포 전 위험 최소화가, 치명적 능력에는 개발 중에도 위험 최소화가 요구되며, 안전자문그룹의 검토를 거쳐 리더십이 최종 결정한다.
자동화 평가와 전문가 심층 평가를 병행하고, 능력 보고서와 보호조치 보고서를 통해 판단 근거와 잔여 위험을 지속적으로 공개한다.

🧠 상세 정리

1. 프레임워크 개정의 배경과 목표

오픈AI는 2025년 4월 15일, 첨단 인공지능 능력이 초래할 수 있는 새로운 심각한 위해를 추적하고 사전에 대비하기 위한 프레임워크의 개정판을 공개했다. 모델의 능력이 계속 향상될수록 안전은 평가 자체뿐 아니라 실제 환경에서 작동하는 적절한 보호조치에 더 크게 의존한다는 문제의식이 출발점이다. 이번 개정은 가장 중요한 위험에 초점을 좁히고, 위험을 ‘충분히 최소화했다’고 판단하기 위한 실질적 요건과 평가·거버넌스·공개 절차를 더 명확하게 만드는 데 목적이 있다. 내부 시험, 외부 전문가의 통찰, 현장에서 얻은 교훈을 반영했으며, 기술 발전에 맞춰 대비 작업의 실행 가능성·엄격성·투명성을 계속 높이겠다는 입장을 제시한다.

2. 우선 대비할 고위험 능력의 선정 기준

오픈AI는 모든 첨단 능력을 같은 수준으로 다루는 대신, 구조화된 위험 평가를 통해 심각한 위해를 일으킬 가능성이 있는 능력을 선별하고 정의된 기준에 따라 범주를 부여한다. 우선 대비 대상이 되려면 위험이 개연성 있고 측정 가능하며 심각해야 하고, 기존 위험과 구별되는 순신규성을 지녀야 하며, 피해가 즉각 발생하거나 사후 회복이 어려워야 한다. 이 다섯 기준은 단순히 이론적으로 우려되는 능력과 실제 사전 대비가 필요한 능력을 구분하는 역할을 한다. 기준을 충족한 능력에 대해서는 발전 정도를 지속적으로 측정하고, 그 능력이 만들어 내는 구체적인 위험을 줄이기 위한 보호조치를 함께 구축한다.

3. 추적 범주와 미래 지향적 연구 범주

성숙한 평가 방법과 지속적인 보호조치가 이미 마련된 추적 범주는 생물·화학 능력, 사이버보안 능력, 인공지능 자기개선 능력으로 구성된다. 이 범주들은 심각한 위해 위험과 동시에 과학·공학·연구 분야에서 큰 편익을 제공할 수 있는 이중용도 성격을 지니므로, 측정과 보호조치에 조기에 투자해 편익을 안전하게 활용한다는 방침이다. 아직 추적 범주의 기준에는 미치지 않지만 미래에 심각한 위해를 일으킬 수 있는 장기 자율성, 의도적 성능 은폐, 자율 복제와 적응, 보호조치 무력화, 핵·방사선 능력은 연구 범주로 지정했다. 설득 위험은 이 프레임워크 밖에서 모델 행동 규범, 정치 캠페인·로비 목적의 도구 사용 제한, 영향력 공작을 포함한 제품 오용 조사와 차단 활동을 통해 별도로 다룬다.

4. 능력 수준별 의무와 의사결정 구조

능력 수준은 구체적인 운영 의무와 연결되는 ‘높은 능력’과 ‘치명적 능력’이라는 두 임계점으로 단순화됐다. 높은 능력은 이미 존재하는 심각한 위해 경로를 증폭할 수 있는 수준이며, 해당 시스템은 관련 위험을 충분히 최소화하는 보호조치를 갖추기 전에는 배포할 수 없다. 치명적 능력은 전례 없는 새로운 심각한 위해 경로를 만들 수 있는 수준이므로, 배포 시점뿐 아니라 개발 과정에서도 관련 위험을 충분히 낮추는 보호조치가 요구된다. 내부 안전 책임자들로 구성된 범기능 안전자문그룹은 보호조치의 충분성을 검토해 배포 승인, 추가 평가, 보호 강화 등의 권고를 내리고, 최종 결정은 오픈AI 리더십이 담당하며 새로운 증거가 나오면 보호조치를 다시 평가한다.

5. 빈번한 모델 개선에 대응하는 평가 체계

추론 기술의 발전으로 대규모 신규 훈련 없이도 모델을 더 자주 개선할 수 있게 되면서, 안전 평가 역시 빨라진 개발 주기에 맞춰 확장될 필요가 생겼다. 오픈AI는 높은 빈도의 변화에 대응할 수 있도록 자동화 평가 도구 모음을 확대하고 있으며, 이 평가가 실제로 적절한 항목을 측정하는지 확인하기 위해 전문가 주도의 심층 평가도 계속 병행한다. 다른 첨단 인공지능 개발사가 상응하는 보호조치 없이 고위험 시스템을 공개하면 요구사항을 조정할 가능성도 열어 두었다. 다만 조정 전에는 위험 환경이 실제로 변했는지 엄격히 확인하고, 조정 사실을 공개하며, 전체적인 심각한 위해 위험을 의미 있게 높이지 않는다고 평가하고, 비교 대상보다 더 보호적인 수준의 안전장치를 유지해야 한다.

6. 보고서·공개 절차와 지속적 개정

오픈AI는 모델이 위험 임계점을 넘었는지 평가하는 기존의 대비 점검표를 ‘능력 보고서’로 정리하고, 강한 보호조치를 어떻게 설계하며 그 효과를 어떻게 검증할지 설명하는 별도의 ‘보호조치 보고서’를 도입한다. 보호조치 보고서는 다층 방어 원칙에 따라 배포 판단을 지원하며, 안전자문그룹은 두 보고서를 모두 검토해 보호조치 적용 후에도 남는 잔여 위험을 평가한다. 그 결과를 바탕으로 안전자문그룹이 배포 가능 여부를 리더십에 권고하고, 오픈AI는 향후에도 첨단 모델을 공개할 때마다 대비 평가 결과를 발표하며 업계 전반의 안전 활동을 지원할 새로운 벤치마크를 공유할 계획이다. 이 프레임워크는 완결된 고정 규정이 아니라 내부 조직, 외부 연구자, 업계 관계자의 경험과 새로운 증거를 반영해 계속 수정되는 문서로 운영된다.

🧾 핵심 주장 / 시사점

개정 프레임워크의 의사결정 흐름은 고위험 능력 선별, 능력 수준 판정, 보호조치 설계와 검증, 안전자문그룹의 잔여 위험 검토, 리더십의 최종 결정으로 연결된다.
치명적 능력에는 배포 전 보호조치만으로 충분하지 않으며 개발 과정에도 위험 최소화 의무가 적용된다는 점에서, 능력 수준에 따라 개입 시점이 달라진다.
자동화된 반복 평가와 전문가 심층 평가를 함께 사용함으로써 빠른 모델 개선 주기에 대응하면서도 평가 항목의 타당성을 별도로 점검하도록 설계했다.