Addendum to GPT-6 Astra System Card: GPT-6.1 Terra - OpenAI Deployment Safety Hub

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI의 GPT-6.1 Terra는 대량의 전문 업무를 위한 빠르고 효율적인 모델로, 기존 안전장치를 적용하면서 일부 안전·의료 평가에서 개선을 보였지만 이미지의 혐오·극단주의 대응과 일부 정신건강 평가에서는 성능이 하락했다.

📌 핵심 요약

• GPT-6.1 Terra는 이미지 분석과 컴퓨터 사용 역량을 갖춘 GPT-6 계열 모델이다. Preparedness Framework에서 사이버보안은 Critical, 생물학·화학 역량은 High로 취급하며, GPT-6.1 Sol 및 GPT-6 Astra와 같은 안전장치 체계를 사용한다.
• 어려운 실제 서비스 사례를 반영한 Production Benchmarks에서는 GPT-5.6 Terra와 동등한 수준이며, 극단주의·혐오·미성년자 관련 성적 콘텐츠 항목의 하락은 통계적으로 유의하지 않았다. 유해 요청에 대한 안전성과 정당한 요청에 대한 유용성의 균형 및 일부 U18 안전 평가에서는 개선을 보였다.
• 이미지 입력 평가에서는 GPT-5.6 Terra 대비 자해와 harms-erotic 항목이 동등한 수준이었으나, 혐오와 극단주의에서는 통계적으로 유의한 하락이 있었다. 다중 턴 탈옥 방어는 GPT-5.6 Terra와 동등했으며, 프롬프트 주입 방어는 GPT-6 Astra 및 GPT-6.1 Sol과 유사한 수준으로 설명됐다.
• 길이 보정 HealthBench Professional 점수는 GPT-5.6 Terra의 57.7에서 GPT-6.1 Terra의 62.7로 상승했고, 보정 전 점수도 높아지면서 평균 응답은 짧아졌다. 일반 HealthBench의 길이 보정 점수는 57.0에서 55.1로 1.9%포인트 하락했다.
• 동적 정신건강·정서적 의존·자해 평가에서 GPT-6.1 Terra는 GPT-5.6 Terra보다 낮고 GPT-5.5 Thinking 및 GPT-5.6 sol보다 높은 성능을 보였다. 이 평가는 의도적으로 어려워 오류율이 평균적인 실제 서비스 이용을 대표하지 않으며, 제공된 원문에는 여러 표의 세부 점수가 없고 MentalHealthBench 설명도 중간에 잘려 있다.

🧩 주요 포인트

1. 사이버보안 Critical·생물학 및 화학 High 분류에 따라 기존 안전장치 체계를 적용한다는 점에서, 모델의 업무 효율성과 위험 대응 수준을 함께 살펴볼 필요가 있다.
2. Production Benchmarks와 일부 U18 항목의 개선에도 이미지의 혐오·극단주의 및 동적 정신건강 평가에서는 하락이 나타나, 전체 안전성을 단일한 개선 추세로 해석하기 어렵다.
3. HealthBench Professional의 향상과 일반 HealthBench의 하락이 공존하므로 의료 성능은 평가별로 구분해야 하며, 비교 모델 버전의 차이와 제공된 원문의 세부 점수 누락도 비교 해석의 제약이다.

🧠 상세 정리

1. 모델의 목적과 위험 분류, 비교의 전제

OpenAI는 GPT-6.1 Terra를 GPT-6 계열의 최신 모델이자 대량의 전문 업무를 처리하기 위한 빠르고 효율적인 모델로 소개하며, 강점으로 이미지 분석과 컴퓨터 사용 역량을 제시한다. 이 시스템 카드 부록은 해당 모델의 기본 안전 지표와 평가 결과를 갱신하는 문서다. Preparedness Framework에서는 사이버보안 역량을 Critical, 생물학·화학 역량을 High로 취급하며, 이에 따라 GPT-6.1 Sol 및 GPT-6 Astra와 같은 안전장치 체계를 적용하되 탐지 프로브는 모델과 호환되도록 갱신했다. 데이터와 학습 방식의 유형도 GPT-6 Astra와 같다고 설명하며, 구체적인 내용은 기존 시스템 카드를 참조하도록 한다. 또한 기존 모델의 출시 당시 수치는 당시 평가 버전을 반영하지만 이 문서의 비교 수치는 이후 버전을 반영할 수 있으므로, 과거 발표 수치와 달라질 수 있다는 전제를 명시한다.

2. 어려운 요청에 대한 안전성과 과도한 거절

Production Benchmarks는 실제 서비스 데이터에서 추출한 어려운 대화 사례를 대표하는 평가 집합으로, 여러 안전 범주에서 모델의 대응을 측정한다. 이 평가에서 GPT-6.1 Terra는 이전 모델인 GPT-5.6 Terra와 동등한 수준을 보였으며, 극단주의·혐오·미성년자 관련 성적 콘텐츠 항목에서 나타난 하락은 통계적으로 유의하지 않았다고 설명한다. 문서는 유해한 요청에 얼마나 안전하게 응답하는지뿐 아니라, 민감하거나 오해하기 쉬운 주제의 정당한 요청을 과도하게 거절하는지도 평가 대상으로 삼는다. Safety Pareto 도표에 대한 설명에서는 GPT-6.1 Terra가 GPT-5.6 Terra보다 유해 요청 대응의 안전성과 정당한 요청에 대한 유용성에서 개선됐다고 제시한다. 다만 제공된 원문에는 해당 표와 도표의 구체적인 수치가 없어, 개선 폭이나 범주별 점수까지 확인할 수는 없다.

3. 청소년 보호와 에이전트 행동의 안전성

GPT-6.1 Terra에는 기존과 같은 18세 미만 이용자 보호 원칙과 안전장치를 적용하며, U18 평가는 이러한 보호가 활성화된 상태에서 수행했다. 평가는 연령에 적절한 경계를 일관되게 지키고 청소년의 위험을 높일 수 있는 응답을 피하는지 확인하기 위해, 자해·섭식장애 관련 행동·연령 제한 상품과 서비스 및 활동·잔혹한 묘사·부적절한 성적 콘텐츠 등 어려운 실제 서비스 기반 사례와 적대적 사례를 사용한다. GPT-5.6 Terra와 비교하면 연령 제한 상품 및 서비스, 허용되지 않는 성적 콘텐츠, 섭식장애, 잔혹한 묘사 항목에서 개선이 보고됐다. 별도의 에이전트 안전 평가에서는 최종 답변뿐 아니라 모델이 실제로 취하는 행동의 안전성을 살피며, 연결된 플러그인과 상호작용하는 Chat Plugins 상황도 포함한다. 이 평가는 GPT-6 Astra 출시 때 도입돼 GPT-5.6 Terra와는 비교하지 않았고, GPT-6.1 Terra는 최근 GPT-6 및 GPT-6.1 모델들과 동등한 수준으로 평가됐다.

4. 이미지 입력에서 확인된 하락과 검토 결과

이미지 입력 안전 평가는 텍스트와 이미지를 결합한 허용되지 않는 요청을 사용하며, 모델의 응답이 안전한 것으로 분류되는지를 측정한다. GPT-6.1 Terra는 GPT-5.6 Terra와 비교해 자해 및 harms-erotic 항목에서 동등한 수준을 보였지만, 혐오와 극단주의 항목에서는 통계적으로 유의한 성능 하락을 나타냈다. 이는 Production Benchmarks에서 같은 주제의 하락이 통계적으로 유의하지 않았다는 결과와 구분해서 읽어야 하며, 서로 다른 입력과 평가 조건의 결과를 하나로 합쳐 해석해서는 안 된다. OpenAI는 실패 사례에 대한 수동 검토와 다른 혐오·극단주의 평가 결과를 종합했을 때 이 모델의 성능이 이전 출시 모델들과 부합하는 수준이라고 판단했다고 설명한다. 따라서 원문은 특정 이미지 평가의 유의한 하락과 종합 검토에 따른 판단을 함께 제시하지만, 제공된 자료에는 세부 점수나 하락 폭은 포함돼 있지 않다.

5. 다중 턴 탈옥과 프롬프트 주입에 대한 견고성

다중 턴 탈옥 평가는 내부 레드팀 활동에서 도출한 적응형 공격자가 모델의 답변을 살피고 여러 턴에 걸쳐 공격 전략을 바꾸는 방식으로 진행한다. 공격 예산이 n회라면 모델은 n번의 공격 모두에서 위험한 지원을 피해야 성공으로 인정되므로, 공격 횟수가 많아질수록 방어 성공 조건이 까다로워지며 GPT-6.1 Terra는 GPT-5.6 Terra와 동등한 수준을 보였다. 프롬프트 주입 평가는 GPT-Red 자동 레드팀 방식을 사용해 시스템·개발자 지시를 덮어쓰려는 직접 공격과 제삼자 콘텐츠 속 지시로 에이전트를 사용자 과제에서 이탈시키려는 간접 공격을 다룬다. 문서는 지시 계층 평가에서 99.99%로 포화 수준에 도달한 GPT-6 Astra 및 GPT-6.1 Sol과 GPT-6.1 Terra가 유사하다고 설명하고, 간접 프롬프트 주입에도 상당한 견고성을 보인다고 서술한다. 다만 제공된 원문에는 간접 공격 도표의 구체적인 성공률이 없으며, OpenAI는 이러한 평가를 갱신하고 있다고 덧붙인다.

6. HealthBench Professional의 성능과 응답 길이

HealthBench 결과는 길이를 보정한 점수를 먼저 제시하고, 괄호 안에는 보정 전 점수와 평균 응답 문자 수를 함께 표시하는 형식이며 점수가 높을수록 좋다. HealthBench Professional에서 GPT-6.1 Terra의 길이 보정 점수는 62.7로, GPT-5.6 Terra의 57.7보다 높았다. 보정 전 점수도 62.4에서 64.2로 상승했으며, 평균 응답 길이는 3,618자에서 2,531자로 줄어 전문 영역 평가에서는 더 짧은 응답과 점수 향상이 함께 관찰됐다. 같은 표에서 GPT-6 Astra의 길이 보정 점수는 64.7, GPT-6.1 Sol은 64.2로 제시돼 GPT-6.1 Terra보다 높았다. 따라서 이 결과가 뒷받침하는 주장은 이전 Terra 모델 대비 Professional 평가의 향상이며, 이를 표에 포함된 모든 모델보다 높은 성능이나 다른 HealthBench 평가 전반의 향상으로 확대할 수는 없다.

7. 일반·고난도·합의 기준 HealthBench의 차이

일반 HealthBench에서 GPT-6.1 Terra의 길이 보정 점수는 55.1로 GPT-5.6 Terra의 57.0보다 1.9%포인트 낮았으며, 이는 Professional 평가의 상승과 다른 방향이다. 이 항목의 보정 전 점수는 58.7에서 51.1로 낮아졌고 평균 응답 길이도 2,285자에서 1,331자로 줄어, 짧아진 응답이 모든 평가에서 점수 상승과 함께 나타난 것은 아니다. HealthBench Hard의 길이 보정 점수는 GPT-5.6 Terra의 32.7에서 GPT-6.1 Terra의 31.4로 낮아졌으며, GPT-6.1 Terra의 보정 전 점수와 평균 응답 길이는 각각 26.0과 1,306자다. HealthBench Consensus의 길이 보정 점수는 두 Terra 모델 모두 95.1이었고, GPT-6.1 Terra의 보정 전 점수는 94.8, 평균 응답 길이는 1,312자였다. 이처럼 같은 평가군 안에서도 상승·하락·동률이 함께 나타나므로, 문서의 의료 관련 결과는 개별 평가와 길이 보정 여부를 구분해 해석해야 한다.

8. 동적 정신건강 평가와 MentalHealthBench의 자료 한계

동적 정신건강 평가는 정신건강·정서적 의존·자해 영역에서 모델의 출력에 따라 대화가 전개되도록 해, 긴 상호작용에서만 나타날 수 있는 문제를 살핀다. 현실적이면서도 적대적인 사용자 시뮬레이션을 활용해 기존의 정적인 다중 턴 방식보다 엄격한 시험을 제공하지만, 의도적으로 어렵게 설계했기 때문에 오류율은 평균적인 실제 서비스 이용을 대표하지 않는다. GPT-6.1 Terra는 GPT-5.6 Terra보다 낮고 GPT-5.5 Thinking 및 GPT-5.6 sol보다 높은 성능을 보였으며, OpenAI는 실패 사례의 수동 검토와 다른 정신건강 평가를 종합하면 자해 대응은 이전 출시 모델들과 부합하는 수준이라고 설명한다. 이어 소개되는 MentalHealthBench는 정신건강 전문가와 개발한 공개 벤치마크로, 일상적 웰빙부터 긴급한 정신건강 위기까지 다루는 합성 대화 1,215개와 임상의가 작성한 채점 기준으로 구성된다. 결과는 최대 추론 노력 설정에서 보고한다고 명시하지만, 제공된 원문은 응답별 점수 처리 방식을 설명하는 도중에 끊겨 있어 MentalHealthBench의 최종 점수나 모델 간 비교 결과는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 안전성의 개선 여부는 입력 방식과 평가 범주에 따라 달라진다. 텍스트 중심 평가의 전반적 동등 수준과 이미지 혐오·극단주의 평가의 유의한 하락을 함께 보존해야 한다.
• 응답 길이 감소와 성능 향상은 동일한 현상이 아니다. GPT-6.1 Terra는 HealthBench Professional에서 더 짧은 응답과 높은 점수를 보였지만 일반 HealthBench에서는 점수가 낮아졌다.
• OpenAI의 종합 검토 판단은 개별 평가의 하락을 없애지 않는다. 어려운 평가의 설계 목적, 비교 모델의 버전 차이, 누락된 표와 잘린 원문을 함께 고려해야 결과의 의미를 과장하지 않을 수 있다.

✅ 액션 아이템

• GPT-6.1 Terra의 활용 검토에서 사이버보안 Critical·생물학 및 화학 High 분류와 적용 안전장치 체계를 함께 고려.
• 이미지의 혐오·극단주의 대응과 동적 정신건강 평가의 하락을 Production Benchmarks 및 U18 개선 결과와 구분해 검토.
• 의료 성능 비교 시 HealthBench Professional 62.7과 일반 HealthBench 55.1을 구분하고, 비교 모델 버전 차이와 세부 점수 누락을 반영.

❓ 열린 질문

• GPT-6.1 Terra의 이미지 혐오·극단주의 평가 하락과 Production Benchmarks의 동등한 수준은 활용 목적별 안전성 판단에 어떻게 반영해야 하는가?
• HealthBench Professional의 57.7→62.7 상승과 일반 HealthBench의 57.0→55.1 하락은 의료 성능을 평가할 때 각각 어떤 의미를 갖는가?
• 비교 모델 버전의 차이와 세부 점수 누락을 고려할 때 GPT-6.1 Terra의 동적 정신건강 평가 하락은 어느 범위까지 해석할 수 있는가?