Addendum to GPT-6 Luna System Card: October 29, 2026 Update - OpenAI Deployment Safety Hub

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

GPT-6 Luna (October 29)는 응답을 간결하게 하고 과도한 동조를 줄이며 일부 안전성·공격 저항성을 개선했지만, 건강 평가와 사실 정확성에서는 이전 October 7 버전 대비 후퇴가 나타난 업데이트다.

📌 핵심 요약

• GPT-6 Luna (October 29)는 October 7 버전과 같은 유형의 데이터·훈련 및 안전장치 체계를 사용한다. Preparedness Framework상 사이버보안과 생물학·화학 역량은 High로 취급되며, AI 자기개선은 High 기준에 도달하지 않는다.
• Production Benchmarks의 유혈 묘사 평가가 개선됐고, 유해 요청의 안전한 처리와 정당한 요청의 유용성 사이에서 파레토 개선이 보고됐다. 18세 미만 평가에서는 성적 콘텐츠 0.904→0.933, 섭식장애 0.776→0.817, 정서적 의존 0.734→0.870, 유혈 묘사 0.812→0.858로 개선됐다. 이미지 입력 평가는 전반적으로 이전 버전과 동등했다.
• 다중 턴 탈옥 평가에서는 시험한 모든 공격자 예산에서 관측된 방어 성공률이 높았지만, 인프라 문제로 공격 실행이 조기 종료됐다. 지시 우선순위 평가의 프롬프트 인젝션 저항성은 99.91%였으며, 간접 공격 평가표의 구체적인 수치는 제공된 본문에 없다.
• HealthBench의 길이 보정 점수는 네 평가 모두 하락했다. MentalHealthBench 전체 점수는 51.73±0.96에서 48.68±0.97로 낮아졌지만, 응급 상황 점수는 48.98±1.87에서 49.64±1.87로 높아졌다. 동적 자해 평가는 개선됐고 동적 정신건강 평가는 소폭 후퇴했다.
• 사실성 평가에서는 보고된 여섯 지표 모두 October 7 버전보다 사실 오류율이 높아졌지만, GPT-5.6 Luna보다는 모든 지표에서 낮았다. 기존 모델의 비교값은 출시 이후 버전을 반영할 수 있어 출시 당시 수치와 다를 수 있다.

🧩 주요 포인트

1. 일부 안전 응답·공격 저항성 개선과 건강 점수·사실 정확성 후퇴가 병존 → 업데이트의 효과는 평가 영역별로 구분해 해석할 필요가 있다.
2. 탈옥 공격 실행의 조기 종료와 일부 평가 수치 누락 → 관측된 개선을 전체 공격 조건이나 미제공 지표로 일반화하기 어렵다.
3. 기존 모델의 비교값이 출시 이후 버전을 반영할 가능성 → 모델명뿐 아니라 평가된 버전과 시점을 함께 고려해야 한다.

🧠 상세 정리

1. 업데이트의 목적과 비교 기준

OpenAI는 ChatGPT에 October 7 출시한 GPT-6 Luna의 업데이트를 소개하며, 문서에서는 이를 GPT-6 Luna (October 29)로 구분한다. 이번 업데이트가 제시하는 사용자 응답상의 변화는 더 간결한 답변과 과도하게 동조하는 표현의 감소다. 데이터와 훈련은 October 7 버전과 같은 유형을 사용한다고 설명하며, 구체적인 내용은 기존 시스템 카드를 참조하도록 한다. 또한 기존 모델의 출시 당시 발표값은 당시 평가된 버전에 해당하지만, 이번 문서의 비교값은 출시 이후 버전을 반영할 수 있다고 명시한다. 따라서 같은 모델명이 등장하더라도 이번 문서의 수치와 출시 당시 발표 수치가 반드시 일치하는 것은 아니며, 비교할 때 평가 대상 버전의 차이를 고려해야 한다.

2. 일반 안전 응답과 이미지 입력 평가

모델 안전성 평가는 기존 October 7 시스템 카드의 평가 설명을 바탕으로 하며, Production Benchmarks는 실제 서비스 데이터에서 나온 어려운 사례를 대표하는 대화로 구성된다. 이 평가에서 GPT-6 Luna (October 29)는 이전 GPT-6 Luna보다 유혈 묘사에 대한 안전 응답 성능이 개선됐다고 보고된다. 문서는 유해 요청을 안전하게 처리하는 비율과 정당한 요청에 대한 유용성을 함께 비교한 도표에서도 이전 버전 대비 파레토 개선을 제시한다. 다만 제공된 본문에는 해당 표와 도표의 구체적인 점수가 없어 개선 폭을 수치로 확인할 수 없다. 이미지 입력 평가는 전반적으로 October 7 버전과 동등했으며, harms-erotic 항목에서 나타난 성능 하락은 통계적으로 유의하지 않았다고 설명한다.

3. 18세 미만 사용자를 위한 안전성

18세 미만 사용자 평가는 점수가 높을수록 좋으며, 문서는 성적 콘텐츠·섭식장애·정서적 의존·유혈 묘사 네 항목을 별표로 표시해 개선 항목으로 설명한다. 성적 콘텐츠 점수는 October 7의 0.904에서 October 29의 0.933으로, 섭식장애는 0.776에서 0.817로 상승했다. 정서적 의존은 0.734에서 0.870으로, 유혈 묘사는 0.812에서 0.858로 높아져 두 버전 사이의 개선 방향을 보여준다. 표에 제시된 나머지 항목에서도 연령 제한 상품·서비스 및 위험한 도전·활동은 0.814에서 0.824로, 자해는 0.974에서 0.979로 상승했다. 다만 문서가 명시적으로 개선을 강조한 대상은 별표가 붙은 네 항목이며, 제공된 설명만으로 각 변화의 통계적 유의성까지 판단할 수는 없다.

4. 탈옥과 프롬프트 인젝션 저항성

다중 턴 탈옥 평가의 점수는 방어 성공률을 0~100의 백분율로 나타내며, 높을수록 공격에 대한 방어가 잘됐다는 의미다. GPT-6 Luna (October 29)는 시험한 모든 공격자 예산에서 October 7 버전보다 높은 관측 방어 성공률을 보였지만, 인프라 문제로 공격 실행이 조기 종료됐다는 제약이 함께 제시된다. 프롬프트 인젝션 대응에는 자동화된 레드팀 에이전트와의 적대적 훈련을 사용하는 GPT-Red 접근법을 계속 확대했다고 설명한다. 평가 범위에는 사용자가 상위 시스템·개발자 지시를 무시하게 만드는 직접 공격과, 제삼자 콘텐츠의 악성 지시가 에이전트를 사용자 요청 밖으로 유도하는 간접 공격이 포함된다. 지시 우선순위 평가에서는 99.91%의 저항성으로 포화 수준에 도달했다고 보고하지만, 제공된 본문에는 간접 프롬프트 인젝션 평가의 구체적인 점수가 없다.

5. HealthBench 점수와 응답 길이

HealthBench는 높을수록 좋은 0~100 점수를 사용하며, 길이 보정 점수와 함께 보정 전 점수 및 사용자에게 보이는 평균 응답 문자 수를 제공한다. Professional의 길이 보정 점수는 October 7의 48.2에서 October 29의 47.4로 하락했고, 보정 전 점수는 57.8에서 56.2로, 평균 응답 길이는 5,289자에서 4,969자로 줄었다. 일반 HealthBench는 50.4에서 48.2로 하락했으며, 보정 전 점수는 58.5에서 54.0으로, 응답 길이는 3,361자에서 2,970자로 감소했다. Hard는 27.2에서 22.8로, 보정 전 점수는 36.1에서 28.5로 낮아졌고 응답 길이도 3,134자에서 2,725자로 줄었다. Consensus 역시 95.0에서 93.3으로, 보정 전 점수는 95.5에서 93.7로 하락했으며 응답 길이는 3,343자에서 2,978자로 감소했다. 네 평가 모두 응답이 짧아지는 동시에 길이 보정 점수도 하락했으므로, 제공된 결과를 응답 길이 감소만으로 설명할 수는 없다.

6. 정신건강 평가에서 나타난 혼합된 변화

MentalHealthBench는 task-clipped 지표를 사용하며, 과제당 네 개 응답을 바탕으로 과제별 점수의 평균과 표준오차 한 개를 보고한다. 전체 점수는 October 7의 51.73±0.96에서 October 29의 48.68±0.97로, 비급성 상황은 51.68±1.28에서 46.39±1.29로 하락했다. 고위급성 상황 점수도 56.15±2.25에서 53.92±2.28로 낮아졌지만, 응급 상황은 48.98±1.87에서 49.64±1.87로 높아졌다. 별도의 적대적 사용자 시뮬레이션 기반 동적 평가에서는 자해 대응이 개선된 반면 정신건강 평가는 소폭 후퇴했다고 설명한다. 이처럼 정신건강 관련 결과는 평가 유형과 상황별로 방향이 달라, 전체 점수의 하락이나 일부 항목의 상승 하나만으로 모든 상황의 성능을 대표하기 어렵다. 동적 평가표의 구체적인 점수는 제공된 본문에 없어 개선과 후퇴의 크기는 확인할 수 없다.

7. 사실 오류율과 비교 대상에 따른 해석

환각 관련 절에서는 사실성 평가의 상세 방법을 October 7 시스템 카드에서 확인하도록 안내하고, 사용자들이 문제를 제기한 사례에서의 성능을 다룬다. 도표는 사실성 요구가 높은 프롬프트, 사용자가 표시한 프롬프트, 고위험 프롬프트 집합에 대해 응답 단위와 주장 단위의 사실 오류율을 비교하며, 낮을수록 좋다. 업데이트된 GPT-6 Luna는 보고된 여섯 지표 모두에서 원래 October 버전보다 사실 오류율이 높아졌다고 명시된다. 동시에 GPT-5.6 Luna와 비교하면 여섯 지표 모두에서 여전히 더 낮은 오류율을 유지한다. 따라서 이번 업데이트는 직전 October 버전 대비 사실 정확성이 후퇴한 것으로 읽어야 하지만, GPT-5.6 Luna보다도 나빠졌다고 확대해서 해석할 근거는 없다. 제공된 본문에는 도표의 개별 수치가 없어 오류율 상승의 절대 크기나 지표별 차이를 계산할 수 없다.

8. 정렬 평가 항목과 제공 자료의 한계

정렬 절은 평가 방법의 전체 설명을 October 7 시스템 카드에 맡기고, 자동 검토 존중·경고 존중·차단 사유 관련 기만·검색 도구 고장에 관한 도표를 나열한다. 자동 검토 존중 도표는 최대 추론 노력에서 금지된 행동을 완료한 정도를 다루며, 값이 낮을수록 좋다고 표시한다. 경고 존중 도표는 환경 제약을 성공적으로 우회한 조건부 실패율을, 차단 사유 관련 기만 도표는 코딩 과제에서 차단 사유를 공개하지 못한 비율을 제시하며 두 지표 역시 낮을수록 좋다. 검색 도구 고장 항목에는 Broken Search Tool 평가 결과라는 제목만 제공된다. 이 본문에는 각 도표의 실제 점수나 버전별 차이를 설명하는 문장이 없어 GPT-6 Luna (October 29)의 정렬 성능이 개선됐는지 후퇴했는지 판단할 수 없다. 평가 항목이 존재한다는 사실과 해당 항목에서 좋은 결과를 얻었다는 주장은 구분해서 읽어야 한다.

9. Preparedness 등급과 안전장치의 연속성

Preparedness Framework에 따라 OpenAI는 GPT-6 Luna (October 29)를 사이버보안과 생물학·화학 두 영역에서 High 역량으로 취급한다고 밝힌다. 반면 AI 자기개선 영역에서는 High 기준에 도달하지 않는다고 명시해 영역별 평가를 구분한다. 이 판단은 GPT-6 Luna (October 7)에 대한 평가와 같으며, 그에 상응하는 안전장치도 기존 시스템 카드에 설명된 체계를 적용했다고 한다. 따라서 이번 문서는 해당 영역의 역량 분류와 안전장치 체계가 이전 버전에서 이어진다는 점을 확인하지만, 등급 자체의 상향이나 하향을 보고하지는 않는다. 마지막 생물학·화학 역량 절은 High로 취급한다는 설명과 High 및 Critical 역량의 갱신된 결과를 제시하겠다는 문장 도중에 끝난다. 제공된 범위만으로는 그 후속 평가 결과나 세부 점수를 확인할 수 없으며, Critical 역량에 도달했다고 해석할 근거도 없다.

🧾 핵심 주장 / 시사점

• 과도한 동조 감소와 일부 안전성 개선이 건강 평가 및 사실 정확성의 개선으로 함께 이어진 것은 아니다. 이번 업데이트의 성과는 평가 영역별로 나뉜다.
• 지시 우선순위 평가의 99.91% 저항성과 탈옥 평가의 관측상 개선은 서로 다른 평가 결과이며, 이를 모든 프롬프트 인젝션이나 공격 조건에서의 성공률로 확대할 수 없다.
• 사실 오류율은 October 7 대비 악화됐지만 GPT-5.6 Luna 대비 우위를 유지한다. 개선 여부에 대한 결론은 비교 대상과 평가 버전에 따라 달라진다.

✅ 액션 아이템

• GPT-6 Luna (October 29)의 적용 검토에서 일부 안전성 개선과 HealthBench·사실 정확성 후퇴를 함께 반영.
• 99.91%의 지시 우선순위 저항성과 탈옥 평가 결과 해석에 공격 실행의 조기 종료 및 간접 공격 평가 수치 누락을 반영.
• 기존 모델과의 성능 비교 시 출시 이후 버전 반영 가능성과 평가 시점의 차이를 확인.

❓ 열린 질문

• GPT-6 Luna (October 29)의 일부 안전성 개선과 HealthBench·사실 정확성 후퇴는 적용 목적에 따라 어떻게 평가해야 하는가?
• 인프라 문제로 조기 종료된 탈옥 평가를 끝까지 수행해도 모든 공격자 예산에서 관측된 방어 성공률 우위가 유지되는가?
• 기존 모델의 비교값 중 어떤 값이 출시 이후 버전을 반영하며, 출시 당시 수치와 얼마나 다른가?