Strengthening ChatGPT’s responses in sensitive conversations

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈AI는 170명 이상의 정신건강 전문가와 협력해 챗GPT가 정신적 위기와 자해·자살 위험, 과도한 정서적 의존을 더 잘 인식하고 현실의 지원으로 연결하도록 개선했으며, 관련 부적절 응답을 영역별로 65~80% 줄였다고 밝혔다.

📌 핵심 요약

• 챗GPT의 기본 모델은 고통의 징후를 인식하고 대화를 진정시키며, 필요할 때 친구·가족·정신건강 전문가·위기상담전화 등 현실의 지원을 안내하도록 개선됐다.
• 핵심 안전 영역은 정신증·조증을 포함한 정신건강 문제, 자해·자살, 인공지능에 대한 정서적 의존이며, 오픈AI는 후자의 두 범주를 향후 모델 출시의 표준 안전성 평가에 확대 반영한다.
• 오픈AI는 문제 정의, 측정, 외부 전문가 검증, 모델 및 제품 차원의 위험 완화, 지속적인 재측정과 반복 개선이라는 5단계 절차를 사용한다.
• 희귀한 고위험 대화는 실제 사용량만으로 평가하기 어려워, 오픈AI는 운영 환경 분석과 함께 실패 가능성이 높은 사례를 선별한 고난도 배포 전 평가를 병행한다.
• 최신 GPT-5는 운영 환경에서 정신건강 관련 부적절 응답을 65%, 자해·자살 관련 부적절 응답을 65%, 정서적 의존 관련 부적절 응답을 약 80% 줄인 것으로 추정됐다.

🧩 주요 포인트

1. 챗GPT의 기본 모델은 고통의 징후를 인식하고 대화를 진정시키며, 필요할 때 친구·가족·정신건강 전문가·위기상담전화 등 현실의 지원을 안내하도록 개선됐다.
2. 핵심 안전 영역은 정신증·조증을 포함한 정신건강 문제, 자해·자살, 인공지능에 대한 정서적 의존이며, 오픈AI는 후자의 두 범주를 향후 모델 출시의 표준 안전성 평가에 확대 반영한다.
3. 오픈AI는 문제 정의, 측정, 외부 전문가 검증, 모델 및 제품 차원의 위험 완화, 지속적인 재측정과 반복 개선이라는 5단계 절차를 사용한다.
4. 희귀한 고위험 대화는 실제 사용량만으로 평가하기 어려워, 오픈AI는 운영 환경 분석과 함께 실패 가능성이 높은 사례를 선별한 고난도 배포 전 평가를 병행한다.
5. 최신 GPT-5는 운영 환경에서 정신건강 관련 부적절 응답을 65%, 자해·자살 관련 부적절 응답을 65%, 정서적 의존 관련 부적절 응답을 약 80% 줄인 것으로 추정됐다.

🧠 상세 정리

1. 민감한 대화를 위한 챗GPT 개선

오픈AI는 2025년 10월 27일, 챗GPT가 사용자의 정신적 고통을 더 안정적으로 알아차리고 세심하게 대응하도록 기본 모델을 개선했다고 밝혔다. 이 작업에는 실제 임상 경험이 있는 정신건강 전문가를 포함해 170명 이상이 참여했으며, 모델이 고통의 신호를 인식하고 대화를 진정시키며 적절한 경우 전문적인 도움을 권하도록 훈련하는 데 기여했다. 모델 개선과 함께 위기상담전화에 대한 접근을 확대하고, 다른 모델에서 시작된 민감한 대화를 더 안전한 모델로 전환하며, 장시간 대화 중에는 잠시 쉬도록 부드럽게 알리는 제품 조치도 추가했다. 목표는 챗GPT가 사용자의 감정 정리를 돕는 보조 공간이 되되, 필요할 때 친구·가족·정신건강 전문가와 같은 현실의 지원으로 이어지게 하는 것이다.

2. 세 가지 우선 안전 영역과 행동 원칙

이번 개선은 정신증이나 조증과 같은 정신건강 문제, 자해와 자살, 인공지능에 대한 정서적 의존이라는 세 가지 영역에 초점을 맞췄다. 오픈AI는 기존부터 자살과 자해를 기본 안전성 지표로 평가해 왔으며, 앞으로는 정서적 의존과 자살 의도가 없는 정신건강 응급상황도 향후 모델 출시를 위한 표준 안전성 시험에 포함할 계획이다. 관련 원칙은 모델의 바람직한 행동을 규정한 모델 사양에도 더욱 명시적으로 반영됐다. 모델은 사용자의 현실 인간관계를 지지하고 존중해야 하며, 정신적·정서적 고통과 연결될 수 있는 근거 없는 믿음을 그대로 인정하지 않고, 망상이나 조증의 징후에는 안전하고 공감적으로 대응하며, 간접적인 자해·자살 위험 신호에도 주의를 기울여야 한다.

3. 문제 정의에서 반복 개선까지의 절차

오픈AI는 각 우선 영역의 대응을 개선하기 위해 다섯 단계의 절차를 적용한다. 먼저 발생 가능한 피해의 유형을 구체적으로 정의한 뒤, 평가 도구와 실제 대화 데이터, 사용자 연구를 통해 위험이 어디에서 어떤 방식으로 나타나는지 측정한다. 이어 외부 정신건강 및 안전 전문가가 정의와 정책을 검토하고, 사후 훈련과 제품 차원의 개입을 통해 안전하지 않은 결과를 줄인 다음, 개선 효과를 계속 측정하면서 필요한 부분을 반복 수정한다. 이 과정에서는 민감한 대화의 특성과 이상적이거나 바람직하지 않은 모델 행동을 설명하는 상세한 분류 체계를 만들고 다듬으며, 이를 모델 훈련과 배포 전후 성능 추적에 공통 기준으로 활용한다.

4. 희귀한 고위험 사건을 측정하는 방법

정신건강 증상과 정서적 고통은 사회 전반에 존재하지만, 정신증·조증·자살 사고처럼 안전 우려를 직접 일으키는 챗GPT 대화는 매우 드물다고 오픈AI는 설명한다. 발생 빈도가 낮기 때문에 측정 방식의 작은 차이도 보고되는 수치에 큰 영향을 줄 수 있으며, 현재 제시된 운영 환경의 발생률은 분류 체계와 측정 방법, 사용자 행동의 변화에 따라 크게 달라질 수 있는 잠정적 추정치다. 따라서 실제 사용량 분석만으로 결론을 내리지 않고, 배포 전에 특히 어렵거나 위험한 상황을 모은 오프라인 평가를 함께 실시한다. 이 평가는 바람직하지 않은 답변을 끌어낼 가능성이 높은 사례를 의도적으로 선별하고 여러 안전 조건으로 응답을 판정하므로, 여기서 나타난 오류율을 일반적인 운영 환경의 평균 오류율로 해석해서는 안 된다.

5. 운영 환경과 고난도 평가에서 확인된 변화

오픈AI는 세 가지 우선 영역의 규모와 모델 행동을 측정한 결과, 운영 환경 분석과 자동 평가, 독립 정신건강 임상의가 채점한 평가 모두에서 유의미한 개선을 관찰했다고 밝혔다. 분류 체계가 요구하는 행동을 완전히 따르지 못한 응답의 비율은 정신건강 관련 여러 영역에서 이전보다 65~80% 감소한 것으로 추정됐다. 다만 자동 평가에 사용된 사례들은 모델이 아직 완벽하게 처리하지 못하는 고난도 상황을 중심으로 구성됐으며, 평가 결과가 최고점 부근에 몰리지 않도록 설계됐다. 따라서 높은 준수율은 어려운 사례에 대한 개선 정도를 보여주는 지표이지만, 해당 평가의 오류율이나 성공률을 일반 사용 대화 전체의 발생률과 동일한 의미로 받아들여서는 안 된다.

6. 정신증·조증 관련 정신건강 대화

정신건강 분류 체계는 정신증과 조증 같은 심각한 우려뿐 아니라 단독으로 나타나는 망상처럼 상대적으로 덜 심한 신호도 식별하도록 설계됐다. 오픈AI는 정신증과 조증이 발생했을 때 증상이 매우 강하고 심각할 수 있는 비교적 흔한 정신건강 응급상황이라는 점을 고려해 우선적인 개선 대상으로 삼았으며, 자문 임상의들도 이 초점에 동의했다. 최신 GPT-5 업데이트는 최근 운영 환경의 고난도 정신건강 대화에서 요구 행동을 완전히 지키지 못한 응답을 65% 줄인 것으로 추정됐고, 주간 활성 사용자 약 0.07%와 전체 메시지 약 0.01%에서 정신증 또는 조증 관련 응급 징후가 나타날 가능성이 있는 것으로 분석됐다. 전문가 평가에서는 GPT-4o보다 부적절 응답이 39% 감소했고, 1천 건이 넘는 고난도 자동 평가에서는 준수율이 이전 GPT-5의 27%에서 새 GPT-5의 92%로 높아졌다.

7. 자해·자살 위험 대응과 장기 대화의 안전성

자해·자살 영역에서는 사용자가 자살이나 자해를 생각하고 있을 가능성, 또는 여러 대화 신호를 합쳤을 때 자살에 대한 관심을 나타내는지를 탐지하도록 기존 작업을 확장했다. 모델은 이런 상황에서 안전하게 답하고 위기상담전화와 같은 전문 자원을 안내하도록 훈련되지만, 신호가 매우 드물어 잠재적 위험 대화를 정확히 탐지하는 일은 계속 연구하고 개선해야 할 과제로 남아 있다. 추가 보호 조치와 개선된 모델 도입 후 운영 환경에서 요구 행동을 완전히 따르지 못한 응답은 약 65% 감소했으며, 명시적인 자살 계획이나 의도를 포함한 대화는 주간 활성 사용자 약 0.15%, 명시적 또는 암묵적 자살 사고나 의도 신호가 있는 메시지는 약 0.05%로 추정됐다. 전문가 평가에서는 부적절 응답이 GPT-4o보다 52% 줄었고, 1천 건 이상의 자동 평가 준수율은 77%에서 91%로 상승했으며, 고난도 장기 대화에서는 최신 모델이 95%가 넘는 신뢰성을 유지했다.

8. 인공지능에 대한 정서적 의존 완화

정서적 의존 분류 체계는 건강한 사용과, 현실 인간관계·복지·의무를 희생하면서 모델에 배타적으로 애착을 보이는 우려스러운 사용 패턴을 구분한다. 최신 업데이트는 운영 환경에서 이 영역의 요구 행동을 완전히 따르지 못한 응답을 약 80% 줄인 것으로 추정됐으며, 주간 활성 사용자 약 0.15%와 메시지 약 0.03%에서 챗GPT에 대한 정서적 애착이 높아졌을 가능성을 나타내는 신호가 관찰됐다. 전문가가 평가한 고난도 대화에서는 새 GPT-5의 부적절 응답이 GPT-4o보다 42% 감소했고, 1천 건이 넘는 자동 평가에서는 준수율이 이전 GPT-5의 50%에서 97%로 높아졌다. 제시된 응답 예시는 인공지능과의 대화를 긍정적으로 받아들이면서도 자신이 현실 사람을 대체하는 존재가 아니라고 분명히 하고, 사용자가 다른 사람들과도 관계를 맺을 가치가 있음을 강조하는 방식으로 현실의 연결을 장려한다.

🧾 핵심 주장 / 시사점

• 오픈AI의 접근은 모델 사후 훈련에만 의존하지 않고 안전한 모델로의 대화 전환, 위기상담전화 연결, 장시간 대화 중 휴식 안내를 함께 적용하는 다층적 안전 체계다.
• 관련 대화의 발생 빈도가 매우 낮으므로 운영 환경의 추정치와 의도적으로 어렵게 만든 평가 결과를 구분해야 하며, 수치 자체도 분류 체계와 측정 방법의 발전에 따라 달라질 수 있다.
• 정서적 의존 대응에서 현실 인간관계를 존중하고 강화하는 것이 명시적인 안전 목표로 설정됐으며, 챗GPT는 인간관계를 대체하기보다 사용자의 생각 정리와 현실 지원 연결을 돕는 역할로 규정된다.

✅ 액션 아이템

• 정신건강·자해·정서적 의존을 핵심 위험영역으로 고정하고 모델이 현실 지원(가족·전문가·상담전화)으로 연결되도록 점검한다.
• 오픈AI의 5단계 절차인 문제정의, 측정, 외부 전문가 검증, 위험완화, 재측정을 전파해 적용 범위를 명확히 정한다.
• 운영 분석과 사전 배포 고난도 평가를 병행해 GPT-5 기준인 정신건강·자살 65%, 정서적 의존 약 80% 감축율을 목표와 실제 성능으로 비교한다.

❓ 열린 질문

• 희귀 고위험 대화 선별 기준은 어떤 실패 유형을 우선 포함해야 실제 위험을 놓치지 않을 수 있는가?
• 향후 출시 표준 안전성 평가에 편입되는 정신건강·자살·정서적 의존 항목의 측정은 어떤 지표를 공통 기준으로 잡아야 하는가?
• 부적절 응답 감축 수치가 일시적 변동인지 장기 안정성인지 판단하려면 어떤 시간축 비교 기준과 기준군을 둬야 하는가?