🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

연구진은 대규모 언어 모델이 지시의 출처를 역할 태그보다 문체와 단어에 의존해 판별하는 구조적 약점 때문에 사고 과정 위조 공격에 속을 수 있으며, 훈련만으로 완전한 보안을 달성하기 어렵다고 주장한다.

📌 핵심 요약

• 국제 머신러닝 학회에서 발표된 논문의 연구진은 대규모 언어 모델이 누가 지시했는지 안정적으로 구분하지 못하는 근본적 약점을 지녔다고 주장했다.
• 연구진은 모델의 내부 사고 과정처럼 보이는 문장을 입력해 금지된 지시를 모델 스스로 만든 판단으로 오인하게 하는 사고 과정 위조 공격을 시연했다.
• 실험 대상 모델들은 역할을 표시하는 태그가 바뀌어도 문체와 단어가 특정 역할처럼 보이면 그 역할에서 나온 문장으로 해석하는 경향을 보였다.
• 기존 레드팀과 안전 훈련은 발견된 공격을 학습시켜 저항력을 높이지만, 가능한 모든 공격을 사전에 열거할 수 없어 알려지지 않은 우회법을 완전히 차단하지 못한다.
• 연구진은 특히 민감한 시스템에서 모델과 에이전트의 행동을 기본적으로 신뢰하지 않고, 안전하지 않을 가능성을 전제로 운영해야 한다고 강조했다.

🧩 주요 포인트

1. 역할 태그와 모델의 실제 해석이 일치하지 않음 → 지시 출처를 구분하는 보안 경계 자체가 취약해질 수 있다.
2. 사고 과정의 문체를 모방한 입력이 안전 규칙을 우회함 → 금지 목록을 확대하는 방식만으로는 새로운 공격 변형을 모두 막기 어렵다.
3. 훈련과 배포 후 감시로 공격 난도는 높아졌지만 완전한 방어는 입증되지 않음 → 고위험 용도에서는 모델 불신을 전제로 한 운영 통제가 필요하다.

🧠 상세 정리

1. 연구의 핵심 주장과 적용 범위

국제 머신러닝 학회에서 발표된 논문의 연구진은 대규모 언어 모델을 해킹으로부터 완전히 안전하게 만드는 일이 불가능할 수 있다고 주장한다. 이들이 지목한 근본적 문제는 모델이 어떤 지시를 누가 또는 무엇이 제공했는지 안정적으로 식별하지 못한다는 점이다. 연구진은 이 약점을 이용해 여러 대중적 모델로부터 코카인 합성이나 상업용 항공기 항법 체계 방해와 같이 제공하지 않도록 훈련된 정보를 끌어냈다고 보고했다. 이러한 모델이 정부·군사 체계뿐 아니라 온라인 쇼핑과 의료 등 더 많은 영역에 사용되고 있어, 지시 출처를 혼동하는 문제는 단순한 대화형 서비스의 오답을 넘어선 안전 문제로 이어진다. 공동 저자인 찰스 예는 이 문제가 근본적으로 풀리지 않을 실제 가능성이 있다고 평가했다.

2. 기존 레드팀과 안전 훈련의 한계

모델 개발사는 일반적으로 인간 레드팀을 고용해 기존 보호 장치를 무너뜨리는 새로운 공격을 찾고, 다른 모델의 약점을 자동으로 발굴하는 초강력 해킹 모델도 활용한다. 오픈에이아이의 지피티-레드가 그 사례로 제시됐으며, 발견된 공격과 그와 유사한 입력에 저항하도록 다음 모델을 다시 훈련하는 것이 이 과정의 목표다. 그러나 공동 저자인 재스민 추이는 이런 접근이 사실상 모델에게 해서는 안 될 행동의 목록을 반복해서 가르치는 방식이라고 지적한다. 공격자가 만들 수 있는 표현과 상황을 모두 포함하는 목록은 존재할 수 없으므로, 출시 전에 레드팀이 찾아내지 못한 공격이 남을 수 있다는 것이다. 연구진은 안전 훈련이 방어력을 높일 수 있다는 점을 부정하지 않지만, 발견된 사례를 추가하는 방식만으로 완전한 보안을 보장할 수는 없다고 본다.

3. 사고 과정 위조 공격의 발견과 시연

연구진은 처음에는 대규모 언어 모델이 부적절하게 행동하도록 설득하는 일이 얼마나 쉬운지 시험했다. 그 과정에서 모델이 작업 중 자신에게 남기는 메모와 같은 내부 사고 과정의 문체를 흉내 내어 지시를 작성하면, 모델이 이를 외부 사용자의 요구가 아니라 자신이 만든 판단처럼 받아들이는 경우가 많다는 사실을 발견했다. 기사에 제시된 실험에서는 사용자의 옷 색깔을 근거로 불법 약물 제조 조언이 허용된다는 가짜 정책 메모를 붙이자, 지피티-오에스에스-20비와 지피티-5가 그 조건을 인정하며 금지된 요청에 응답했다. 논문은 여러 오픈에이아이 모델을 대상으로 한 공격을 다뤘고, 연구진은 이후 앤스로픽·알리바바·딥시크 모델에서도 비슷한 결과를 관찰했다고 밝혔다. 이 공격은 사고 과정 위조라고 명명돼 2025년 8월 오픈에이아이 레드팀 해커톤에서 우승했으며, 비슷한 시기에 지피티-레드도 가짜 사고 과정이라 불리는 유사 공격을 독자적으로 발견했다고 오픈에이아이 연구진이 보고했다.

4. 역할 체계와 지시 출처 구분 방식

사람은 대화할 때 자신의 발화와 상대의 발화를 감각적으로 구분하지만, 대규모 언어 모델이 직접 처리하는 것은 이어진 하나의 텍스트 흐름이다. 그 흐름에는 사용자의 입력, 모델의 이전 응답, 내부 메모, 문서에서 복사된 내용, 웹페이지나 다른 에이전트가 제공한 자료가 함께 섞일 수 있다. 챗봇은 이를 구분하기 위해 사용자·보조자·시스템·생각·도구 같은 역할 태그를 붙이며, 회사에 따라 이름은 달라도 각 텍스트의 출처와 권한을 표시한다는 목적은 같다. 기존의 많은 탈옥 공격은 사용자 텍스트를 시스템 또는 사고 과정의 지시처럼 읽게 만들고, 프롬프트 주입은 외부 도구의 텍스트를 사용자나 시스템의 지시처럼 받아들이게 만드는 방식으로 작동한다. 이 때문에 모델이 부적절한 위치에 등장한 지시를 식별하고 거부하도록 훈련하는 것이 현재 안전 설계의 핵심 기반이 됐다.