🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

GPT‑Red는 공격자와 방어자를 함께 강화하는 자기대전 학습으로 새로운 프롬프트 인젝션을 발굴하고, 그 공격 데이터를 GPT‑5.6 Sol 훈련에 활용해 실제 능력을 유지하면서 강건성을 높이려는 내부 전용 자동 레드팀 모델이다.

📌 핵심 요약

• 브라우저, 연결 앱, 로컬 파일, 도구 출력처럼 AI가 접하는 제3자 데이터에는 모델의 행동을 조작하거나 민감한 정보를 외부로 보내게 하는 악성 지시가 삽입될 수 있다.
• 사람 중심 레드팀은 배포 전 취약점 발견에 필수적이지만 시간과 비용이 많이 들고, 강건성 훈련에 필요한 공격 사례의 양과 다양성을 충분히 생산하기 어렵다.
• GPT‑Red는 다양한 방어 모델과 자기대전 강화학습을 수행하며, 방어가 강해질수록 더 강하고 다양한 공격을 찾아내도록 훈련된 내부 전용 자동 레드팀 모델이다.
• 새로운 간접 프롬프트 인젝션 평가에서 GPT‑Red는 GPT‑5.1을 상대로 시나리오의 84%에서 성공해 사람 레드팀의 13%를 웃돌았고, 실제 자율 에이전트와 보류된 데이터 유출 과제에서도 공격 능력을 보였다.
• GPT‑Red가 생성한 공격을 생산 모델 훈련에 반영한 결과, GPT‑5.6 Sol은 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 4개월 전 최상위 생산 모델보다 실패가 6배 적었으며 GPT‑Red의 직접 공격에는 0.05%만 실패했다.

🧩 주요 포인트

1. 제3자 콘텐츠를 활용하는 에이전트의 확산은 공격면을 넓힌다 → 수작업 레드팀만으로는 모델 발전 속도에 맞춰 취약점을 찾고 훈련 데이터를 공급하기 어렵다.
2. 공격자와 방어자를 동시에 학습시키고 성공 조건을 명시한다 → 방어 향상이 곧 더 강한 공격 탐색을 유도하는 반복적 안전 개선 구조가 형성된다.
3. 자동 공격 데이터를 생산 모델 훈련에 직접 투입하되 공격 모델은 별도로 격리한다 → 악성 능력의 배포를 피하면서 발견된 취약점에 대한 저항성만 이전할 수 있다.

🧠 상세 정리

1. 제3자 데이터가 만드는 프롬프트 인젝션 위험

AI 시스템은 현실의 작업을 수행하기 위해 브라우저, 연결된 앱, 로컬 파일, 이메일, 웹페이지, 코드 저장소와 각종 도구 출력을 읽는다. 이러한 기능은 유용하지만, 모델이 통제하지 못하는 제3자 데이터까지 처리하게 하므로 공격자가 개입할 수 있는 지점도 늘린다. 공격자는 정상적인 콘텐츠 안에 세심하게 작성한 지시를 숨겨 모델이 원래 사용자의 요청을 벗어나거나 민감한 데이터를 외부로 전송하도록 유도할 수 있다. 본문은 이처럼 도구를 사용하는 모델의 공격면이 넓어지는 상황에서 취약점을 배포 전에 찾아내고 수정하는 레드팀 활동이 핵심 안전 절차라고 설명한다.

2. 사람 중심 레드팀의 가치와 확장 한계

사람 레드팀은 새로운 실패 양상을 발견하고 필요한 보호 장치를 마련하는 데 중요한 역할을 한다. 그러나 공격 시나리오를 설계하고 반복적으로 실행하는 과정에는 많은 시간이 들기 때문에, 더 강력한 모델이 빠르게 등장할수록 취약점 탐색이 병목이 된다. 사람이 수행한 훈련에서는 가치 있는 성공 사례를 얻을 수 있지만, 모델 강건성을 실제 훈련으로 개선하는 데 필요한 규모와 다양성의 적대적 데이터를 생산하기에는 한계가 있다. OpenAI는 자동 레드팀을 사람이나 제3자 레드팀의 대체재로 제시하지 않고, 다층 보호 장치와 실시간 모니터링을 포함한 기존 안전 체계와 함께 확장할 수단으로 설명한다.

3. 내부 자동 레드팀 모델 GPT‑Red

GPT‑Red는 배포 전에 취약점을 찾고 생산 모델 훈련에 사용할 공격을 대규모로 생성하기 위해 개발된 내부 전용 자동 레드팀 모델이다. 사람 레드팀처럼 특정 목표를 향해 프롬프트를 보내고, 대상 GPT 모델의 반응을 관찰한 뒤, 결과에 따라 공격을 반복적으로 수정한다. 훈련에는 OpenAI의 대규모 후속 학습 작업에 준하는 연산량이 사용됐으며, 본문은 이를 안전성 향상만을 위해 투입된 전례 없는 규모라고 설명한다. GPT‑Red를 생산 모델의 훈련 과정에 직접 통합한 결과, GPT‑5.6 Sol은 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 불과 4개월 전 최상위 생산 모델보다 실패가 6배 적은 성과를 기록했다.

4. 자기대전 강화학습의 작동 방식

GPT‑Red는 하나의 공격 모델과 다양한 방어 LLM을 광범위한 레드팀 시나리오에서 동시에 훈련하는 자기대전 강화학습을 사용한다. GPT‑Red는 성공적인 프롬프트 인젝션처럼 유효한 실패를 끌어내면 보상받고, 방어 모델은 공격을 거부하면서도 원래 사용자의 작업을 완료할 때 보상받는다. 방어 모델이 강건해질수록 기존 공격의 성공률이 낮아지므로 GPT‑Red는 더 강하고 다양한 공격을 찾아야 한다. 각 훈련 환경에는 GPT‑Red가 통제할 수 있는 콘텐츠와 성공적인 공격의 기준을 명시한 위협 모델이 있으며, 통제 대상에는 파일 일부, 웹페이지 배너, 이메일 본문, 도구 출력 등이 포함된다. 훈련이 끝난 GPT‑Red는 GPT‑5.5까지의 내부 및 생산 모델 대부분을 공격할 수 있었고, 이후 생성한 프롬프트 인젝션은 GPT‑5.6의 방어 훈련에 사용됐다.

5. 공격 능력의 격리와 방어 능력의 이전

OpenAI는 GPT‑Red를 일반 사용자에게 배포하는 모델과 분리해 운영한다고 밝힌다. GPT‑Red는 의도적으로 악성 목표 달성 능력을 강화한 모델이므로, 이를 배포 모델에 직접 포함하면 공격자가 그 능력을 이용할 위험이 생길 수 있기 때문이다. 대신 GPT‑Red가 찾아낸 공격과 실패 사례를 생산 모델의 적대적 훈련 데이터로 사용해 공격 능력 자체가 아니라 공격에 대한 저항성을 이전한다. 이 구조는 현재 모델이 다음 모델의 취약점을 능동적으로 찾아내고, 그 결과를 다시 안전 훈련에 반영한다는 점에서 본문이 말하는 안전 분야의 자기개선 방식에 해당한다.

6. 새로운 환경에서 확인한 일반화 성능

GPT‑Red는 훈련에 사용한 방어 모델과 시나리오에 대해서만 강한 것이 아니라 새로운 안전 환경에서도 유용한지 평가됐다. OpenAI는 Dziemian 외 연구진의 2025년 간접 프롬프트 인젝션 아레나를 내부적으로 복제하고, GPT‑Red와 사람 레드팀이 GPT‑5.1을 상대로 독립적으로 공격을 제안하도록 했다. 이때 평가 시나리오와 공격 목표는 GPT‑Red의 훈련 데이터에 포함된 것과 달랐으며, GPT‑Red는 전체 시나리오의 84%에서 성공한 반면 사람 레드팀은 13%에서 성공했다. 이 결과는 새로운 환경으로 공격 전략이 이전됐다는 근거로 제시되지만, 수치는 특정 아레나의 내부 복제본과 지정된 대상 모델에서 측정된 평가 결과라는 범위 안에서 해석해야 한다.

7. 실제 자율 시스템을 겨냥한 사례 연구

GPT‑Red는 기반 모델과 에이전트 실행 구조를 완전히 알 수 없는 현실적인 시스템에서도 시험됐다. 첫 사례에서는 OpenAI 사무실의 AI 기반 자판기 관리 에이전트를 대상으로, 실제 배포를 밀접하게 모사한 시뮬레이션에서 공격을 반복한 뒤 완성된 공격을 생산 시스템에 적용했다. 그 결과 재고가 있는 고가 상품의 가격을 허용 최저가인 0.50달러로 바꾸고, 100달러가 넘는 새 상품을 주문해 0.50달러에 판매하며, 다른 고객의 주문을 취소하는 세 가지 목표를 모두 달성했다. 해당 취약점은 시스템 제작 측에 공개됐으며, 본문 작성 시점에는 새로운 보호 장치가 적극적으로 시험되고 있다고 설명한다.

8. 보류된 데이터 유출 과제와 생산 모델 개선

또 다른 평가에서는 GPT‑5.4 mini 기반 Codex CLI 에이전트를 대상으로 훈련에서 제외된 데이터 유출 시나리오 10개를 사용했다. GPT‑Red는 별도 지시를 받은 GPT‑5.5 기준 모델보다 더 많은 시나리오에서 에이전트가 민감한 데이터를 유출하게 만들었고, 공격에 사용한 토큰도 더 적었다. OpenAI는 지난 6개월 동안 GPT‑Red의 전신 모델을 점차 더 큰 연산량으로 훈련하고, GPT‑5.3 이후의 각 생산 모델 학습에 활용했다고 밝힌다. 이는 자동 레드팀 훈련의 효과가 익숙한 훈련 환경에만 머무르지 않고, 보류된 과제와 실제 에이전트 실행 환경에서도 관찰됐다는 사례로 제시된다.

9. 정량적 강건성 향상과 능력 유지 기준

GPT‑Red의 초기 버전이 발견한 ‘가짜 사고 연쇄’ 직접 프롬프트 인젝션은 GPT‑5.1에서 95%가 넘는 성공률을 보였지만 GPT‑5.6 Sol에서는 10% 미만으로 낮아졌다. 개발자 도구와 브라우징을 겨냥한 여러 간접 프롬프트 인젝션 벤치마크에서도 최신 모델은 97%가 넘는 정확도를 기록했으며, GPT‑Red의 직접 공격에 대한 GPT‑5.6 Sol의 실패율은 0.05%로 보고됐다. 본문은 동시에 요청을 더 많이 거부하거나 모델의 전반적인 능력을 낮추는 방식으로도 겉보기 안전성을 높일 수 있지만, 이는 유용한 강건성이 아니라고 강조한다. 저자들은 일반적인 최첨단 능력과 과도한 거부를 겨냥한 평가를 함께 수행한다고 밝히지만, 제공된 원문은 해당 평가 결과가 제시되기 전에 끝나므로 구체적인 수치나 결론은 확인할 수 없다. 향후에도 자동 레드팀을 사람 및 제3자 레드팀, 다층 보호 장치, 실시간 모니터링과 병행해 확장한다는 방향만 명시돼 있다.

🧾 핵심 주장 / 시사점

• GPT‑Red의 핵심은 고정된 공격 목록을 반복하는 것이 아니라 방어 모델의 향상에 맞춰 공격도 함께 진화시키는 구조이며, 이는 취약점 발견과 방어 훈련을 하나의 반복 과정으로 연결한다.
• 공격 특화 모델을 배포 모델과 분리하면서 생성된 공격 데이터만 생산 훈련에 활용하는 방식은 강건성 개선과 악성 능력 통제를 동시에 고려한 설계다.
• 프롬프트 인젝션 실패율만 낮추면 과도한 거부나 능력 저하를 안전성으로 오인할 수 있으므로, 강건성 평가는 공격 저항성과 원래 작업 수행 능력을 함께 확인해야 한다.

✅ 액션 아이템

• 제3자 데이터 경로(브라우저·연결 앱·로컬 파일·도구 출력)에서 간접 프롬프트 인젝션이 행동을 조작하거나 민감정보를 외부 전송하게 하는 조건을 정의한다.
• 사람 레드팀과 자동 레드팀을 병행할 때, 강건성 훈련에 필요한 공격 사례의 양·다양성 부족을 메울 자동 생성 범위와 성공 조건을 먼저 정한다.
• 자동 공격 데이터를 생산 모델 훈련에 반영하되 공격 모델은 격리해, 악성 능력 배포 없이 저항성만 이전하는 경계를 점검한다.

❓ 열린 질문

• GPT-Red가 GPT-5.1 상대 간접 인젝션에서 84% 성공한 결과가, 실제 자율 에이전트·보류 데이터 유출 과제에서도 같은 수준으로 일반화되는가?
• GPT-5.6 Sol이 최난이도 직접 인젝션에서 실패를 6배로 줄이고 GPT-Red 직접 공격 실패율 0.05%를 기록한 개선이 실제 능력 유지와 어떤 트레이드오프로 성립하는가?
• 공격자와 방어자를 함께 강화하는 자기대전 구조에서, 방어 향상이 더 강한 공격 탐색으로 이어질 때의 중단·합격 기준은 무엇인가?