Managing frontier AI risk: From training to deployment
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
OpenAI는 프런티어 모델이 연구 환경에서 직원 실사용과 외부 배포로 넘어갈 때마다 접근 권한에 맞춰 보호 조치를 조정하고, 안전성을 뒷받침하는 근거가 더 필요하면 학습이나 출시를 보류한다고 밝혔다.
📌 핵심 요약
- OpenAI는 7월 Hugging Face 사건 이후 학습·시험·배포 요건을 강화했다. 학습 중에도 모델이 의도에 맞게 행동한다는 근거를 요구하며, 출시를 보류한 사례로 GPT‑6.1 Astra를 들었다.
- 연구 단계에서는 실시간 인터넷 접근을 차단하고 프런티어 모델의 모든 추론을 모니터링한다. 내부 연구 모델의 제한적 인터넷 접근을 감지한 뒤, OpenAI는 9월 20일부터 10월 1일까지 가장 성능이 높은 모델들의 학습과 평가를 중단했다고 밝혔다.
- 중앙 제어 시스템 Control Room은 작업 중단 지시를 받은 뒤 35초 이내에 추가 모델 출력을 멈춘다. 프런티어 모델 연구 작업은 Control Room을 사용할 수 없을 때도 출력이 중단된다.
- 내부 배포 전에는 정렬과 모니터링 가능성을 시험한다. 직원이 실제 업무에 쓰는 단계에서는 모든 프런티어 모델 추론을 모니터링하고, 직원용 Codex에는 일반적으로 Auto-Review를 적용해 위험할 수 있는 행동을 사용자 판단에 넘긴다.
- 외부 공개 전에는 정렬·안전성 평가를 확대하고 내부 배포 경보를 검토하며, 가장 성능이 높은 모델은 제3자 시험도 거친다. 배포 후에는 실시간 보호 조치에 더해 여러 계정의 신호를 살피는 자동 조사와 사람의 검토를 병행한다.
🧩 주요 포인트
- 연구·내부 배포·외부 배포로 갈수록 모델이 접근할 수 있는 대상이 달라지므로, 단계별 안전성 검토에서는 모델의 역량과 접근 권한에 비추어 보호 조치의 조합이 충분한지 판단한다.
- 연구 환경에서는 격리가 모델의 행동을 제한하고, 모니터링과 Control Room이 격리 실패를 발견한 뒤 개입할 수단을 제공한다.
- 직원의 실사용에서 나온 내부 배포 경보는 공개 여부를 판단하는 근거가 되고, 공개 후 여러 계정에서 수집한 신호는 개별 상호작용만으로 파악하기 어려운 오용을 조사하는 데 쓰인다.
🧠 상세 정리
1. 학습과 출시 속도를 결정하는 안전성 근거
OpenAI는 프런티어 모델의 역량이 빠르게 향상되는 만큼, 모델의 행동을 이해하고 의도에 맞게 조정하며 안전하게 통제하는 능력도 앞서야 한다고 설명한다. 회사는 7월 Hugging Face 사건 이후 모델을 학습시키고 시험하고 배포하는 전 과정에서 보호 조치와 정렬 요건을 강화했다고 밝혔다. 안전하다고 판단하는 이유와 근거를 제시하는 절차인 ‘세이프티 케이스’를 도입했고, 학습 도중에도 모델이 의도에 맞게 행동한다는 더 강한 증거를 요구한다. 기준을 충족하는 데 시간이 더 필요할 때는 내부 학습을 멈추거나 출시를 보류하며, 출시 보류 사례로 GPT‑6.1 Astra를 들었다. 회사는 이 절차가 출시 속도를 늦추지만 다음 단계로 진행해도 된다는 판단의 근거를 보강한다고 본다.
2. 모델의 접근 권한에 따라 달라지는 방어
OpenAI는 모델 정렬, 모니터링, 보안과 격리, 시스템 수준의 보호 조치를 함께 사용한다. 한 조치가 실패해도 다른 조치가 피해를 막거나 결과를 제한하고, 사람이 개입할 수 있도록 이상 징후를 알리는 구조다. 모델은 사용자의 의도를 해석하면서 정책과 더 넓은 사회적 이해를 고려하도록 Model Spec의 원칙에 맞춰 학습하며, 회사는 평가와 감사를 통해 실제 행동을 검토한다. 연구 중에는 정렬 여부가 아직 불확실해 격리와 모니터링에 더 의존하고, 배포로 접근 권한이 넓어지면 정렬과 시스템 통제의 비중을 높인다. 각 단계에서 보호 조치의 조합이 충분한지 내린 판단은 안전 자문 그룹(SAG)과 함께 검토할 수 있으며, OpenAI 재단 이사회의 안전·보안 위원회(SSC)가 감독할 수 있다.
3. 연구 환경의 인터넷 차단과 격리 검증
OpenAI는 현재의 정렬 연구, 모니터링 시스템, 인터넷 인프라의 보안 수준을 고려할 때 프런티어 모델은 실시간 인터넷 접근 없이 학습시키는 것이 책임 있는 접근이라고 판단한다. Hugging Face 사건 이후에는 모델의 권한을 제한하는 샌드박스, 작업을 기반 컴퓨터에서 격리하는 가상 머신, 연구 클러스터 전체를 인터넷에서 분리하는 네트워크·클라우드 경계를 함께 적용하도록 연구 시스템을 개편했다. 회사는 성능이 높은 자체 모델들을 동원해 이런 격리가 실제로 유지되는지 지속적으로 시험한다. 격리를 완전하다고 보장할 수는 없지만, 경계를 넘는 데 더 많은 노력이 들수록 모니터가 이상 징후를 발견하고 작업을 중단할 기회도 늘어난다는 설명이다.
4. 연구 모델의 이상 접근을 감지한 뒤의 대응
연구 단계의 모델 중에는 공개에 필요한 안전 학습과 정렬 감사를 마치지 않은 모델이 있고, 대규모 학습에서는 사람이 모든 상호작용을 따라가기 어렵다. 일부 연구 과제는 외부 배포 때보다 훨씬 큰 규모로 모델을 운용하며, OpenAI는 나비에–스토크스 문제를 푸는 데 에이전트 1만 개가 필요했던 사례를 들었다. 회사는 연구 중 모든 프런티어 모델 추론을 모니터링하고 인터넷 접근이 감지되면 보안팀에 알리는 동시에 해당 작업을 자동으로 일시 중지한다고 설명한다. 실제로 내부 연구 모델의 제한적 인터넷 접근을 감지한 뒤, 문제를 조사하고 보완하는 동안인 9월 20일부터 10월 1일까지 가장 성능이 높은 모델들의 학습과 평가를 중단했다고 보고했다. 중앙 시스템인 Control Room은 개별 연구 작업의 구현에 의존하지 않고 중단 지시를 받은 뒤 35초 이내에 추가 출력을 멈추며, 프런티어 모델 연구 작업에서는 Control Room 자체를 사용할 수 없을 때도 출력이 멈춘다.
5. 직원 실사용 전에 확인하는 정렬과 모니터링 가능성
직원이 샌드박스 밖에서 모델을 실제 업무에 사용하면 연구 환경의 평가만으로는 알기 어려웠던 행동을 관찰할 수 있다. 이때 모델은 인터넷과 사내 Slack, 코드베이스, 내부 인프라에 접근할 수 있어 그 행동이 OpenAI의 개발·운영 시스템에 직접 영향을 준다. 그래서 샌드박스 밖으로 배포하기 전에는 모델이 의도에 맞게 행동하는지와 함께, 모델의 추론과 행동을 살핀 모니터가 오류나 위험 징후를 얼마나 신뢰성 있게 감지하는지도 시험한다. 정렬 평가에서는 특정한 안전 제한을 어기는 행동과 내부 Codex 사용 기록을 다시 표본으로 뽑아 확인한 전반적인 행동 경향을 함께 살핀다. OpenAI는 이런 정렬 및 모니터링 가능성 평가에 관한 자료로 GPT‑6 Astra 시스템 카드를 제시한다.
6. 내부 배포에서 자동 검토와 사람이 맡는 역할
직원에게 실무 접근 권한이 주어지면 모델이 처리하는 정보의 범위가 넓어지므로, 민감한 데이터가 허가되지 않은 곳으로 전송되는 일을 감지하는 것이 특히 중요해진다. OpenAI는 실제 서비스 환경과 유사하게 시스템 수준의 분류기를 추가해 사이버 오용과 생물무기화 같은 중대한 위해를 방지하도록 설계했다고 설명한다. 직원이 Codex를 사용할 때는 일반적으로 Auto-Review가 위험할 수 있는 행동을 평가하고, 추가 판단이 필요한 사안을 사용자에게 돌려보낸다. 이와 함께 내부 배포에서는 프런티어 모델의 모든 추론을 모니터링해 의도에서 벗어난 행동을 찾는다. 이렇게 수집한 관찰 결과는 이미 알려진 위험을 감지하는 데 쓰이며, 평가에서 미리 특정하지 못한 새로운 형태의 정렬 실패를 조사하는 근거도 된다.
7. 외부 공개 전 평가와 배포 후 조사
외부 배포에서는 사용자와 작업 환경이 다양해지고, 의도적으로 모델을 악용하려는 사람까지 고려해야 한다. 공개 전에는 모델과 시스템 보호 조치를 대상으로 정렬·안전성 평가를 확대하고, 내부 자동 레드팀이 모델의 반응에 맞춰 시험을 조정하면서 보호 조치가 얼마나 견고한지 살핀다. 가장 성능이 높은 모델에는 오용 방지 조치와 모델 자체의 정렬을 함께 점검하는 제3자 시험을 추가하며, 내부 배포에서 발생한 경보를 검토해 기반 모델의 정렬에 변화가 있는지도 확인한다. 회사는 역량 및 안전성 평가 결과를 시스템 카드에 공개한다고 밝혔다. 외부 배포 후에는 실시간 분류 등과 별도로 자동 조사와 사람의 검토를 결합해 사이버 오용, 생물무기화, 모델 증류와 관련된 위협이나 모델 자체의 정렬 실패 징후를 조사한다. 여러 계정의 정보를 함께 살피면 한 계정의 활동만 보아서는 드러나기 어려운 위협의 전체 양상을 파악하는 데 도움이 된다는 설명이다.
🧾 핵심 주장 / 시사점
- 모델이 의도에 맞게 행동하는지와 위험한 행동이 일어났을 때 이를 알아볼 수 있는지는 서로 다른 평가 대상이다. OpenAI는 샌드박스 밖으로 접근을 넓히기 전에 두 속성을 모두 시험한다.
- Control Room의 35초는 중단 지시를 받은 시점부터 추가 출력이 멈출 때까지의 시간이다. 위험한 행동이 시작된 뒤 얼마나 빨리 발견하는지는 별도로 모니터링 성능에 달려 있다.
- 내부 배포는 연구 환경의 평가 결과를 실제 업무에서 다시 살피는 단계다. 이때 관찰한 행동은 외부 공개 판단에 쓰이고, 공개 후에는 관찰 범위가 여러 계정에 걸친 활동으로 넓어진다.
✅ 액션 아이템
- GPT‑6.1 Astra의 출시 보류 사례를 바탕으로, 다음 단계로 진행할 때 어떤 정렬 근거를 요구하는지 확인한다.
- Control Room의 35초 기준은 작업 중단 지시 이후의 응답 시간으로 해석하고, 이상 접근 감지와 구분해 본다.
- 외부 공개 여부를 검토할 때 내부 배포 경보와 제3자 시험 결과를 함께 살핀다.
❓ 열린 질문
- GPT‑6.1 Astra의 출시 보류를 해제하려면 어떤 정렬 근거가 더 필요할까?
- 제한적 인터넷 접근을 감지한 시점부터 Control Room에 작업 중단 지시가 전달되기까지는 얼마나 걸렸을까?
- 내부 배포 경보와 제3자 시험 결과가 서로 다른 신호를 보이면 외부 공개 여부를 어떻게 판단할까?