Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer

🖼️ 인포그래픽

Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 공격과 방어를 반복하는 자가 대전 방식으로 초강력 해킹 모델 GPT-Red를 훈련해 새로운 프롬프트 인젝션을 발견하고 GPT-5.6의 방어력을 높였다.

📌 핵심 요약

GPT-Red는 사람이 수행하던 레드티밍을 자동화해 다른 대규모 언어 모델의 취약점을 찾고, 발견된 공격을 방어 훈련에 활용하도록 만든 OpenAI의 공격 전용 모델이다.
OpenAI는 실제 배포 환경을 모사한 훈련장에서 GPT-Red와 방어 모델들을 자가 대전시켰으며, 공격과 방어를 여러 차례 반복하면서 양쪽 모델의 능력을 함께 향상시켰다.
GPT-Red는 다른 모델의 사고 사슬에 조작된 기록을 삽입해 거짓 정보를 이미 검증된 사실로 받아들이게 만드는 새로운 유형의 프롬프트 인젝션을 발견했다.
GPT-Red가 만든 강력한 공격은 기존 GPT-5에서는 90% 넘게 성공했지만 GPT-5.6에서는 성공률이 23% 미만으로 낮아졌다고 OpenAI는 밝혔다.
GPT-Red는 다회차 대화형 공격과 이미지를 이용한 공격에는 아직 약하며, OpenAI는 이를 인간 레드팀을 대체하는 도구가 아니라 인간이 놓친 공격과 변형을 탐색하는 보완 수단으로 사용하고 있다.

🧩 주요 포인트

에이전트가 파일·웹사이트·외부 코드와 상호작용하면서 공격 표면과 피해 범위가 커졌고, 이에 따라 사람만으로는 감당하기 어려운 보안 탐색을 GPT-Red가 자동화한다.
자가 대전과 실제 환경 모사 훈련을 통해 새로운 공격을 발견하고 상황별로 가장 효과적인 변형까지 반복 탐색함으로써, 취약점 발견의 속도와 집요함을 높였다.
GPT-5와 GPT-5.6의 공격 성공률 차이는 적대적 훈련의 방어 효과를 보여주지만, 대화형·시각 기반 공격에서는 인간 전문가의 역할이 계속 필요하다는 한계도 확인됐다.

🧠 상세 정리

1. 복잡해지는 에이전트 환경과 GPT-Red의 역할

OpenAI는 다른 모델의 사이버 공격 방어력을 높이기 위한 대련 상대이자 공격 전용 대규모 언어 모델로 GPT-Red를 구축했다. GPT-Red는 소프트웨어를 파괴하거나 탈취할 수 있는 여러 경로를 찾아내는 레드티밍을 자동화하고, 발견된 약점을 제품 출시 전에 보완할 수 있도록 한다. 특히 대규모 언어 모델이 파일, 웹사이트, 외부 코드, 다른 에이전트와 상호작용하는 에이전트 형태로 확장되면서 사람이 점검해야 할 공격 유형이 빠르게 늘어났다. OpenAI 연구진은 이를 공격 표면뿐 아니라 사고 발생 시 피해 범위까지 커지는 문제로 설명한다. 회사는 더 강력한 모델이 등장한 뒤 대응을 시작하는 대신, 아직 알려지지 않은 공격 방식을 미리 발견할 수 있는 안전성 평가 체계를 준비한다는 목적으로 GPT-Red를 개발했다.

2. 핵심 공격 대상인 프롬프트 인젝션

OpenAI가 GPT-Red 개발에서 가장 집중한 위협은 공격자가 모델에 악성 지시를 끼워 넣는 프롬프트 인젝션이다. 이런 지시는 모델이 기밀 정보를 복사하거나 기업의 코드 저장소를 훼손하고, 당혹스럽거나 유해한 결과를 생성하도록 유도할 수 있다. 공격 명령은 사용자가 직접 입력하는 대화뿐 아니라 모델이 읽는 웹페이지, 코드 또는 다른 텍스트 속에도 숨겨질 수 있다. 따라서 외부 자료를 읽고 작업을 수행하는 에이전트는 정상적인 정보와 공격자의 지시를 구별해야 하는 어려움에 직면한다. GPT-Red는 이러한 환경에서 실제로 작동하는 공격을 찾아내고, 같은 원리를 다양한 형태로 바꾸어 어떤 조건에서 가장 효과적인지도 점검하도록 설계됐다.

3. 자가 대전과 현실 모사 훈련장

연구진은 처음부터 해커로 훈련되지 않은 모델을 여러 방어 모델과 자가 대전 반복 구조에 배치해 GPT-Red를 만들었다. GPT-Red의 목표는 상대 모델을 공격하는 것이고, 다른 모델들의 목표는 그 공격을 막는 것이었다. 여러 차례 대결을 거치면서 GPT-Red는 공격 능력을 높였고, 방어 모델들도 반복적으로 노출된 공격에 대응하는 능력을 강화했다. 훈련은 웹 탐색, 이메일이나 일정 앱 읽기, 코드 편집 등 대규모 언어 모델이 현실에서 맡을 수 있는 작업을 모사한 환경에서 진행됐다. GPT-Red는 새로운 공격을 하나 찾는 데서 멈추지 않고 여러 변형을 시험해 특정 상황에서 가장 효율적인 방식을 집요하게 좁혀 갔으며, 연구진은 이러한 지속성과 최적화 능력을 인간 레드팀과 구별되는 강점으로 평가했다.

4. 가짜 사고 사슬 공격과 공격 성능 검증

OpenAI는 GPT-Red가 연구진이 이전에 보지 못했던 ‘가짜 사고 사슬’ 형태의 프롬프트 인젝션을 발견했다고 밝혔다. 사고 사슬은 모델이 문제를 해결하면서 중간 결과와 진행 상황을 기록하는 일종의 내부 작업 기록으로 설명된다. GPT-Red는 여기에 조작된 항목을 삽입해 다른 모델이 거짓 정보를 이미 확인한 사실로 받아들이고 그에 따라 행동하도록 유도했다. 연구진은 이를 잘못된 계산 결과를 이미 검증했다고 알려 주면 모델이 의심하지 않고 그대로 답하는 상황에 비유했다. 또한 2025년 인간 레드팀이 초기 GPT-5의 약점을 찾았던 실험을 같은 조건으로 다시 수행했을 때 GPT-Red가 인간보다 효과적인 공격을 더 잘 찾아냈으며, 외부 평가용 자동판매기 에이전트 Vendy의 상품 가격을 바꾸고 고객 주문을 취소시키는 데도 성공했다.

5. GPT-5.6에서 확인된 방어력 향상

OpenAI는 GPT-Red가 찾아낸 가장 강력한 공격들을 기존 모델과 최신 모델에 각각 적용해 방어 성능을 비교했다. 그 결과 2025년 8월 공개된 GPT-5에서는 해당 공격의 90% 이상이 성공했지만, GPT-5.6에서는 성공률이 23% 미만으로 내려갔다고 밝혔다. 이는 공격 전용 모델이 취약점을 반복적으로 발굴하고 방어 모델이 그 공격을 견디도록 학습하는 방식이 실제 방어 성능 차이로 이어졌다는 회사 측 근거다. OpenAI는 GPT-Red와의 적대적 훈련을 거친 GPT-5.6을 자사가 지금까지 내놓은 모델 가운데 가장 견고한 모델이라고 설명한다. 다만 기사에 제시된 수치는 GPT-Red가 생성한 강력한 공격들을 대상으로 한 비교이며, 모든 유형의 사이버 공격을 완전히 차단한다는 의미로 제시되지는 않았다.

6. 기술적 한계와 인간 레드팀의 지속적 필요

GPT-Red는 공격자와 대상이 여러 차례 말을 주고받아야 하는 대화형 공격을 찾아내는 데 능숙하지 않으며, 인간 공격자라면 비교적 쉽게 수행할 수 있는 상호작용을 아직 잘 처리하지 못한다. 텍스트를 이미지에 담아 전달하는 방식처럼 시각 정보를 이용한 프롬프트 인젝션에서도 성능이 충분하지 않다. OpenAI는 이런 한계 때문에 GPT-Red를 인간 레드팀의 대체재가 아니라 보완 도구로 사용하며, 사람이 발견한 공격을 입력해 가능한 변형을 대량으로 탐색하게 하는 방식도 활용하고 있다. 회사는 GPT-Red를 외부에 공개하지 않을 예정이며, 1년 넘는 개발 기간과 막대한 연산 자원을 근거로 유사한 공격 모델을 손쉽게 복제하기는 어렵다고 주장한다. 외부 전문가는 자가 대전 결과를 유망하게 평가하면서도 GPT-Red가 놓치는 영역을 구분해 인간의 보안 전문성을 집중할 필요가 있다고 강조했다.

🧾 핵심 주장 / 시사점

실제 에이전트 배포 환경을 모사한 반복 공격은 정해진 평가 문항만 확인하는 방식보다 새로운 취약점과 상황별 공격 변형을 찾는 데 유리하다는 점을 GPT-Red의 사례가 보여준다.
공격 성공률이 GPT-5의 90% 초과에서 GPT-5.6의 23% 미만으로 낮아진 결과는 공격 모델을 방어 훈련의 상대로 활용하는 적대적 학습이 모델 강화에 실질적으로 기여했음을 나타낸다.
자동화된 공격 탐색은 규모와 지속성에서 강점을 보이지만 다회차 대화와 이미지 기반 공격에는 공백이 남아 있어, 기계의 대량 탐색과 인간의 전문적 판단을 결합하는 운영이 필요하다.