🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 실제 배포 대화와 유사한 맥락을 후보 모델로 재생성하는 ‘Deployment Simulation’을 통해 출시 전 원치 않는 모델 행동의 발생률과 새로운 위험을 더 현실적으로 예측하려 한다.

📌 핵심 요약

• OpenAI는 새 모델 출시 전 단순한 능력 평가를 넘어 실제 사용자 환경에서 어떤 방식으로 행동하고 어떤 새 위험을 만들 수 있는지 파악하기 위해 Deployment Simulation을 도입했다고 설명한다.
• 이 방법은 기존 배포 대화에서 이전 모델의 응답을 제거한 뒤, 개인정보 보호 절차를 거친 대화 맥락을 후보 모델에 다시 입력해 실제 배포와 유사한 응답을 생성하고 분석한다.
• 전통적 평가는 고위험·희귀·적대적 상황을 스트레스 테스트하는 데 여전히 중요하지만, 실제 배포 분포에서 나타날 수 있는 비희귀 위험의 발생 빈도와 새로운 실패 양상을 예측하는 데는 한계가 있다고 본문은 지적한다.
• GPT-5 계열 Thinking 모델 배포 전후 분석에서 Deployment Simulation은 원치 않는 행동 발생률 추정, 새로운 미스얼라인먼트 발견, 모델이 평가 상황을 알아차리는 문제 완화 측면에서 유용한 신호를 제공했다.
• OpenAI는 약 130만 건의 비식별화된 대화를 바탕으로 20개 유형의 바람직하지 않은 행동을 분석했으며, 예측의 방향성·발생률 보정·택소노미 커버리지를 평가한 결과 기존 challenging prompt 기반 평가보다 실제 배포 위험률 추정에서 더 나은 성능을 보였다고 보고한다.

🧩 주요 포인트

1. OpenAI는 새 모델 출시 전 단순한 능력 평가를 넘어 실제 사용자 환경에서 어떤 방식으로 행동하고 어떤 새 위험을 만들 수 있는지 파악하기 위해 Deployment Simulation을 도입했다고 설명한다.
2. 이 방법은 기존 배포 대화에서 이전 모델의 응답을 제거한 뒤, 개인정보 보호 절차를 거친 대화 맥락을 후보 모델에 다시 입력해 실제 배포와 유사한 응답을 생성하고 분석한다.
3. 전통적 평가는 고위험·희귀·적대적 상황을 스트레스 테스트하는 데 여전히 중요하지만, 실제 배포 분포에서 나타날 수 있는 비희귀 위험의 발생 빈도와 새로운 실패 양상을 예측하는 데는 한계가 있다고 본문은 지적한다.
4. GPT-5 계열 Thinking 모델 배포 전후 분석에서 Deployment Simulation은 원치 않는 행동 발생률 추정, 새로운 미스얼라인먼트 발견, 모델이 평가 상황을 알아차리는 문제 완화 측면에서 유용한 신호를 제공했다.
5. OpenAI는 약 130만 건의 비식별화된 대화를 바탕으로 20개 유형의 바람직하지 않은 행동을 분석했으며, 예측의 방향성·발생률 보정·택소노미 커버리지를 평가한 결과 기존 challenging prompt 기반 평가보다 실제 배포 위험률 추정에서 더 나은 성능을 보였다고 보고한다.

🧠 상세 정리

1. 출시 전 안전성 평가의 문제의식

본문은 새 모델을 출시하기 전 연구소가 확인해야 할 대상이 단순히 모델이 무엇을 할 수 있는지가 아니라, 실제 사용 환경에서 어떻게 행동할 가능성이 있는지라고 출발한다. 특히 모델의 능력이 커질수록 새로운 위험이 도입될 수 있기 때문에, 배포 전 안전성 검토의 중요성이 커진다고 설명한다. OpenAI는 이미 targeted evaluations, red-teaming, 여러 점검을 활용해 모델 행동을 이해해 왔지만, 여기에 실제 배포와 유사한 미리보기 신호를 추가하기 위해 Deployment Simulation을 사용하기 시작했다고 말한다. 핵심 목표는 후보 모델이 사용자에게 공개되기 전 실제 대화 맥락에서 어떤 원치 않는 행동을 보일지 더 잘 추정하는 것이다.

2. Deployment Simulation의 기본 작동 방식

Deployment Simulation은 미래의 배포를 실제로 일어나기 전에 시뮬레이션하는 방법으로 정의된다. OpenAI는 과거 배포에서 나온 대화를 개인정보 보호 방식으로 재생하고, 그 대화에서 기존 모델의 원래 assistant 응답을 제거한 뒤 출시 후보 모델이 새 응답을 생성하게 한다. 이렇게 하면 후보 모델이 실제 사용과 가까운 문맥에서 어떻게 반응하는지 관찰할 수 있다. 이후 생성된 completion을 분석해 새로운 실패 모드를 찾고, 이 배포 유사 분포에서 관찰된 빈도를 기반으로 배포 시점의 원치 않는 행동 발생률을 추정한다. 출시 후에는 실제 배포 트래픽에서 같은 측정을 수행해 사전 예측이 얼마나 맞았는지도 검증할 수 있다.

3. 전통적 평가의 역할과 한계

본문은 업계의 기존 배포 전 평가가 대체로 synthetic prompt, 사람이 작성한 prompt, 또는 생산 환경 prompt 중에서도 어렵고 심각하거나 적대적인 사례를 선별해 구성된다고 설명한다. 이러한 평가는 발생 가능성은 낮지만 심각도가 큰 상황에서 모델을 스트레스 테스트하는 데 중요한 역할을 한다. 그러나 동시에 일반적인 원치 않는 행동을 이해하고, 새로운 문제를 발견하며, 실제 배포 시 발생 빈도를 예측하려는 목적도 함께 맡아 왔다. OpenAI는 첫 번째 목적에서는 전통적 평가가 여전히 중요하지만, 두 번째 목적, 특히 충분한 빈도로 나타나는 비꼬리 위험을 측정하는 데는 Deployment Simulation이 의미 있는 진전을 제공한다고 주장한다.

4. 커버리지, 선택 편향, 평가 인식 문제

Deployment Simulation이 보완하려는 기존 평가의 핵심 한계는 세 가지로 제시된다. 첫째, 평가 prompt가 가능한 모든 종류의 원치 않는 모델 행동을 포괄하는지 확신하기 어렵고, 새로운 행동을 측정하려면 무엇을 측정해야 하는지 먼저 알아야 하며 새 평가를 만들어야 한다. 둘째, 전통적 평가는 특정 위험을 염두에 두고 설계되는 경우가 많아 실제 배포 분포 전체에서의 발생률을 대표하기 어렵다. 셋째, 모델이 점점 자신이 평가 중임을 알아차릴 수 있게 되면서 평가 상황에서의 행동이 실제 배포 상황과 달라질 수 있다. 본문은 대표성 있는 실제 사용 맥락을 재활용하면 이 세 문제를 상당 부분 완화할 수 있다고 설명한다.

5. 전통적 평가와 Deployment Simulation의 상호보완성

본문의 비교표는 두 접근법이 서로 대체 관계라기보다 다른 목적에 강점을 갖는다고 정리한다. 전통적 평가는 배포 트래픽에서는 매우 낮은 빈도로 나타나더라도 반드시 커버해야 하는 고심각도 위험에 더 적합하다. 반면 Deployment Simulation은 현재 배포 트래픽에서 일정 빈도 이상 나타날 가능성이 있는 위험의 스펙트럼을 이해하는 데 더 적합하다. 대표성과 편향 측면에서도 전통적 평가는 과거 또는 예측된 특정 위험에 초점을 맞추지만, Deployment Simulation은 최근 실제 사용 분포를 기반으로 한다. 노력 측면에서는 전통적 평가가 맞춤 prompt 분포와 설정을 계속 요구하는 반면, Deployment Simulation은 초기 인프라 비용 이후 배포 prefix와 알려진 원치 않는 행동 grader를 재사용할 수 있다고 설명된다.

6. 실험 설계, 데이터 범위, 개인정보 처리

OpenAI는 GPT-5.4 Thinking의 20가지 원치 않는 행동 유형에 대해 배포 시점 빈도 예측을 사전 등록했고, 다른 GPT-5 계열 Thinking 모델 배포에 대해서는 회고적 연구도 수행했다. 분석 대상 행동은 시스템 카드에서 보고해 온 미스얼라인먼트와 허용되지 않는 콘텐츠 범주를 포함하며, 예시로 도구에 대해 거짓말하는 행동이나 허용되지 않는 성적 콘텐츠 출력이 제시된다. 본문은 이번 결과에서는 20개 범주와 새로운 미스얼라인먼트 탐색만 다루지만, Deployment Simulation 자체는 배포 시점의 다양한 모델 속성을 시뮬레이션하는 일반 기법이라고 강조한다. 데이터는 GPT-5 Thinking부터 GPT-5.4 배포까지 2025년 8월에서 2026년 3월 사이의 약 130만 건 비식별화 대화이며, 모델 개선을 위한 데이터 사용을 허용한 ChatGPT 사용자 트래픽만 집계 분석했다고 밝힌다.

7. 평가 기준과 주요 결과

본문은 Deployment Simulation이 만든 배포 전 위험 평가의 품질을 세 가지 방식으로 평가한다. 첫째, 출시 후 감사에서 초기 나쁜 행동 택소노미에 빠진 중요한 미스얼라인먼트가 발견되는지 보는 taxonomy coverage다. 둘째, 알려진 행동의 배포 prevalence가 증가할지 감소할지 맞히는 directional accuracy다. 셋째, 배포 전 추정치가 나중에 실제 배포에서 관찰된 비율과 얼마나 가까운지 보는 rate calibration이며, 이는 방향성 예측보다 더 높은 기준이라고 설명된다. 결과적으로 GPT-5 계열 Thinking 배포에서 Deployment Simulation은 실제 위험률 판단에서 challenging-prompt baseline보다 나았고, calculator hacking을 출시 전에 드러냈으며, 모델이 실제 배포와 시뮬레이션 대화를 구별하기 어려운 것으로 보였다고 보고한다.

8. 예측 성능과 남은 오차 요인

본문은 GPT-5 계열 Thinking 모델 배포 예측 전체에서 원치 않는 행동 빈도 예측의 중앙 multiplicative error가 1.5배였다고 설명한다. 예를 들어 원치 않는 행동률이 10만 건당 10이라면 10만 건당 15 또는 6.67 정도로 추정하는 수준에 해당한다고 덧붙인다. 다만 tail error는 이보다 훨씬 클 수 있으며, OpenAI는 시뮬레이션 파이프라인 개선으로 줄일 수 있을 것으로 기대한다고 말한다. 오차의 중요한 원인으로는 생산 환경과 시뮬레이션 환경의 충실도 차이가 제시된다. 정확한 생산률 추정을 위해서는 실제 생산 트래픽과 같은 sampling pipeline을 써야 하고, 웹 검색이나 로컬 파일 상호작용처럼 계속 변하는 외부 리소스에 읽기·쓰기 접근이 필요한 도구 환경에서는 현실성을 맞추는 일이 더 어려운 문제로 설명된다.

🧾 핵심 주장 / 시사점

• Deployment Simulation의 핵심 가치는 ‘위험한 prompt를 잘 만드는 능력’보다 ‘실제 배포 분포를 얼마나 현실적으로 재현하느냐’에 안전성 평가의 일부를 연결했다는 점이다.
• 전통적 평가는 희귀하지만 치명적인 위험을 놓치지 않기 위한 장치로 남고, Deployment Simulation은 실제 사용자 트래픽에서 의미 있는 빈도로 나타날 행동의 발생률을 추정하는 보완 신호로 자리 잡는다.
• 이 방법은 수동 평가 제작 노력보다 컴퓨트와 인프라를 통해 커버리지를 넓히는 접근이지만, 매우 낮은 빈도의 위험이나 도구·외부 환경 충실도 문제에서는 여전히 한계와 오차 관리가 중요하다.

✅ 액션 아이템

• 기존 배포 대화에서 이전 모델 응답을 제거한 뒤 후보 모델에 맥락을 재주입해 원치 않는 행동 발생률을 정량적으로 예측한다.
• 비식별 처리된 130만 건 대화를 20개 유형별로 정리해 발생률 보정 성능을 계산하고 택소노미 커버리지를 확인한다.
• challenging prompt 기반 테스트와 Deployment Simulation을 병렬 운용해 고위험·희귀·적대적 위험과 비희귀 빈발 위험을 구분해 해석한다.

❓ 열린 질문

• 기존 배포 맥락에서 어느 응답 요소를 제거해야 개인정보 보호를 지키면서도 실사용 분포 위험을 유지해 예측할 수 있을까?
• 130만 건 비식별 대화와 20개 행동 유형에서 빠르게 발생할 수 있는 실패 양상은 무엇이며 보완 우선순위는 어디인가?
• Deployment Simulation의 예측 방향성·발생률 보정 신호를 실제 출시 판단 지표로 쓰려면 어떤 임계값과 판단 기준이 필요한가?