🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈AI는 미국 CAISI 및 영국 AISI와의 자발적 협력을 통해 에이전트 보안과 생물학적 오용 방지 체계를 공동 점검하고, 발견된 취약점을 신속하게 제품·정책·분류기 개선으로 연결했다.

📌 핵심 요약

• 오픈AI는 프런티어 AI의 안전한 개발과 배포를 위해 미국 AI 표준혁신센터(CAISI), 영국 AI 보안연구소(UK AISI)와 자발적 평가 및 레드팀 협력을 이어 왔다.
• CAISI는 챗GPT 에이전트에서 전통적 사이버 취약점과 AI 에이전트 하이재킹을 결합해 보안 장치를 우회할 수 있는 새로운 취약점 두 건을 발견했다.
• CAISI가 구성한 전체 공격 체인은 약 50%의 성공률을 보였으며, 오픈AI는 관련 내용을 보고받은 뒤 영업일 기준 하루 안에 취약점을 수정했다.
• UK AISI는 챗GPT 에이전트와 GPT-5의 생물학적 오용 방지 장치를 모델 응답부터 제품 전체 경험까지 반복적으로 시험하고, 12건이 넘는 상세 취약점 보고서를 전달했다.
• 협력 결과 제품 설정, 정책 집행, 모니터링 체계와 분류기가 강화됐으며, 정부 전문기관과 기업의 긴밀한 기술 협력이 실제 AI 제품의 보안 개선으로 이어질 수 있음을 보여줬다.

🧩 주요 포인트

1. 오픈AI는 프런티어 AI의 안전한 개발과 배포를 위해 미국 AI 표준혁신센터(CAISI), 영국 AI 보안연구소(UK AISI)와 자발적 평가 및 레드팀 협력을 이어 왔다.
2. CAISI는 챗GPT 에이전트에서 전통적 사이버 취약점과 AI 에이전트 하이재킹을 결합해 보안 장치를 우회할 수 있는 새로운 취약점 두 건을 발견했다.
3. CAISI가 구성한 전체 공격 체인은 약 50%의 성공률을 보였으며, 오픈AI는 관련 내용을 보고받은 뒤 영업일 기준 하루 안에 취약점을 수정했다.
4. UK AISI는 챗GPT 에이전트와 GPT-5의 생물학적 오용 방지 장치를 모델 응답부터 제품 전체 경험까지 반복적으로 시험하고, 12건이 넘는 상세 취약점 보고서를 전달했다.
5. 협력 결과 제품 설정, 정책 집행, 모니터링 체계와 분류기가 강화됐으며, 정부 전문기관과 기업의 긴밀한 기술 협력이 실제 AI 제품의 보안 개선으로 이어질 수 있음을 보여줬다.

🧠 상세 정리

1. 정부 전문기관과 함께하는 AI 보안 협력

오픈AI는 안전하고 유용한 AI를 개발·배포하는 일을 인공일반지능이 인류 전체에 이익을 주도록 한다는 사명의 핵심으로 제시한다. 이를 위해 머신러닝, 국가안보, 계측 분야의 전문성을 보유한 미국과 영국의 연구·표준 기관과 긴밀하게 협력해 왔다. 오픈AI는 미국 CAISI와 영국 AISI 양쪽 모두와 자발적 협약을 체결한 초기 기업 가운데 하나였으며, 이러한 관계를 기존 내부 보안 활동을 보완하는 외부 평가 수단으로 활용했다. 협력은 생물학적 오용 방지 장치에 대한 공동 레드팀, 제품 전 구간의 보안 시험, 취약점을 신속하게 해결하기 위한 피드백 순환으로 구체화됐다. 오픈AI는 이런 방식이 널리 사용되는 AI 제품의 보호 수준을 높이고, 산업 전반의 보안 기준과 AI 도입에 대한 신뢰를 함께 끌어올릴 수 있다고 설명한다.

2. CAISI와 진행한 AI 에이전트 보안 평가

오픈AI는 1년 넘게 CAISI와 함께 사이버, 화학·생물학 및 국가안보와 관련된 영역에서 자사 모델의 능력을 평가해 왔다. 최근에는 협력 범위를 새롭게 부상하는 제품 보안 문제로 넓히고, 챗GPT 에이전트와 같은 에이전트형 AI 시스템의 취약점을 외부 평가자가 어떻게 찾아내고 수정에 기여할 수 있는지 시험했다. CAISI는 챗GPT 에이전트에 조기 접근해 시스템 구조를 미리 이해한 뒤, 공개된 시스템을 대상으로 본격적인 레드팀을 수행했다. 사이버보안과 AI 에이전트 보안 전문가로 구성된 팀은 지속적인 탐색 과정에서 새로운 취약점 두 건을 식별했다. 이 취약점들은 특정 조건에서 정교한 공격자가 보호 장치를 우회하고, 해당 세션에서 에이전트가 접근할 수 있는 컴퓨터 시스템을 원격 제어하거나 로그인된 다른 웹사이트에서 사용자를 사칭할 가능성과 관련돼 있었다.

3. 전통적 취약점과 에이전트 하이재킹의 결합

CAISI는 처음에는 오픈AI 제품에 적용된 보안 설계 때문에 발견한 취약점들을 실제로 악용하기 어렵다고 판단했다. 그러나 추가 분석을 거쳐 전통적인 사이버 취약점과 AI 에이전트 하이재킹 공격을 결합하면 여러 AI 기반 보호 장치를 우회할 수 있다는 사실을 확인했다. CAISI가 개발한 개념증명 공격은 여러 단계를 잇는 전체 공격 체인을 구성했으며, 약 50%의 성공률을 보였다. 이 과정에는 전통적 소프트웨어 보안과 머신러닝 양쪽의 공격 방법을 결합하는 다학제적 접근이 필요했고, CAISI는 취약점 탐색을 돕는 도구로 챗GPT 에이전트 자체도 활용했다. 공격 내용은 즉시 오픈AI에 보고됐고 오픈AI는 영업일 기준 하루 안에 취약점을 수정했으며, 이 사례는 에이전트 보안과 기존 사이버보안이 만나는 영역에서 새로운 평가 관행이 필요하다는 점을 보여줬다.

4. UK AISI와 수행한 생물학적 오용 방지 레드팀

UK AISI는 5월부터 오픈AI 정책에서 규정한 생물학적 오용을 막기 위한 보호 장치를 레드팀 방식으로 시험했으며, 대상에는 챗GPT 에이전트와 GPT-5의 보호 체계가 포함됐다. 이 협력은 특정 제품 출시 한 번에 맞춘 검사가 아니라, 보호 장치 묶음의 효과를 계속 개선하기 위한 지속적인 활동으로 설계됐다. 오픈AI는 UK AISI가 시스템을 깊이 있게 시험할 수 있도록 상세한 접근 권한과 맞춤형 시험 환경을 제공했고, UK AISI의 다학제 팀은 AI 레드팀 기법과 생물보안 전문지식을 결합해 광범위하게 적용될 수 있는 탈옥 공격을 찾으려 했다. 시험 범위는 개별 모델 응답에 머물지 않고 실제 배포 제품의 전체 사용 경험까지 포괄했다. UK AISI가 시제품을 탐색하면 오픈AI가 결과에 따라 보호 장치를 강화하고, 다시 시험하는 반복 구조가 협력의 중심이었다.

5. 반복 시험으로 개선된 제품·정책·모니터링

양측은 5월부터 7월 챗GPT 에이전트 출시와 8월 GPT-5 출시까지 대략 매주 열리는 수시 회의를 통해 빠른 피드백 순환을 유지했다. UK AISI는 이 기간에 12건이 넘는 상세 취약점 보고서를 제출했고, 오픈AI는 이를 검토해 일부는 제품 엔지니어링 수정으로, 일부는 정책 집행 구현 수정으로, 또 일부는 분류기의 특정 기능을 개선하는 집중 학습으로 연결했다. 오픈AI는 UK AISI가 수동 레드팀과 자동화 공격으로 찾아낸 범용 탈옥 사례를 기준으로 모니터링 체계의 견고함을 측정하고 개선했다. 제품 전체를 대상으로 한 시험에서는 악성 콘텐츠가 중재 기능을 작동시키지 않은 채 입력되거나 외부로 유출될 수 있는 설정 취약점도 발견됐고, 이에 따라 여러 제품 구성이 수정됐다. 이 결과는 모델의 개별 답변만 살피는 평가보다 배포된 제품의 전체 흐름을 검사하는 방식이 추가적인 보안 문제를 드러내는 데 특히 유용했음을 보여준다.

6. 심층 접근의 효과와 협력의 의미

UK AISI는 모니터의 사고 과정과 보호 장치 설계 세부사항 같은 비공개 정보 및 도구에 접근했고, 오픈AI의 계정 차단 체계가 비활성화된 조건에서도 시험했다. 현실의 공격자가 일반적으로 갖기 어려운 접근 권한과 전문성을 제공함으로써, 악의적 사용자가 발견하기 훨씬 어려운 실패 사례를 더 효율적으로 드러낼 수 있었다. UK AISI는 협력 과정에서 전체 중재 시스템의 보호 장치가 상당히 강화됐으며, 후반부에는 전체 중재 체계를 피하는 범용 공격을 찾으려면 정교한 기법과 다수의 중재 경고가 필요했다고 평가했다. 따라서 실제 악성 행위자가 유사한 공격을 개발하려 하면 사용량 모니터링에 탐지돼 결국 플랫폼에서 차단될 가능성이 높다고 봤다. 오픈AI는 이 작업이 세 차례의 보호 장치 시험 캠페인에서 수행한 5,000시간 이상의 내부·외부 검사와 다른 제삼자 협력을 보완하며, 충분한 자원과 평가 동기를 가진 공공기관과의 기술 협력이 AI 시스템 보안에 대한 신뢰를 높인다고 결론짓는다.

🧾 핵심 주장 / 시사점

• AI 에이전트의 보안 위험은 전통적인 소프트웨어 취약점과 AI 고유의 하이재킹 공격이 결합될 때 더 큰 공격 체인으로 발전할 수 있으므로, 사이버보안과 머신러닝을 함께 다루는 평가 역량이 중요하다.
• 외부 평가기관에 조기 접근권과 비공개 설계 정보, 맞춤형 시험 조건을 제공하면 일반적인 외부 공격보다 깊은 수준의 실패를 발견하고 실제 수정으로 연결할 수 있다.
• 보호 장치의 실효성을 높이려면 모델 응답만 검사하는 데 그치지 않고 제품 설정, 콘텐츠 입력·유출 경로, 정책 집행, 모니터링 및 계정 차단까지 배포 시스템 전체를 반복적으로 시험해야 한다.

✅ 액션 아이템

• CAISI가 밝힌 형태의 전통적 취약점과 에이전트 하이재킹 결합 공격을 실서비스 맥락에서 재현해 대응 취약점 목록을 정밀화한다.
• 영업일 기준 하루 내 조치 흐름을 반영해 취약점 발견-완화까지 제품·정책·분류기 반영 SLA와 점검 주기를 정의한다.
• UK AISI 방식처럼 GPT-5와 챗GPT 에이전트의 생물학적 오용 방지 점검을 모델 응답과 제품 전체 경험으로 묶어 정책·모니터링·분류기 개선 항목을 지속 갱신한다.

❓ 열린 질문

• 영업일 1일 내 조치 체계에서 취약점의 우선순위는 어떤 기준으로 정해져야 오판 없이 신속 대응할 수 있는가?
• 공격 체인 성공률이 50%인 상황에서 추가 레드팀 개입이나 정책 강화를 언제 발동할 임계값을 둘 것인가?
• 생물학적 오용 방지 성능 저하를 조기에 감지하려면 어떤 지표를 조합해 분류기·정책 집행·모니터링의 정합성을 판단할 것인가?