🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

언어 모델의 환각은 단순한 성능 부족만이 아니라, 모르는 것을 인정하기보다 추측을 보상하는 학습·평가 관행과 예측 불가능한 저빈도 사실을 다음 단어 예측으로 학습하는 구조에서 비롯된다.

📌 핵심 요약

• OpenAI는 언어 모델이 점점 강력해져도 사실이 아닌 답을 자신 있게 생성하는 환각이 여전히 근본적 과제로 남아 있다고 설명한다.
• 환각은 그럴듯하지만 틀린 진술로 나타나며, 논문 저자의 박사학위 논문 제목이나 생일처럼 단순해 보이는 질문에서도 모델이 여러 잘못된 답을 자신 있게 내놓을 수 있다.
• 현재의 많은 평가는 정확도만 중시하기 때문에 모델이 모른다고 답하는 것보다 추측하도록 유도하며, 이 때문에 운 좋게 맞힌 답이 점수판에서 더 유리하게 보일 수 있다.
• OpenAI는 오류가 기권보다 더 나쁘므로, 확신에 찬 오답에는 더 큰 벌점을 주고 적절한 불확실성 표현에는 부분 점수를 주는 방식으로 주요 평가 기준을 바꿔야 한다고 주장한다.
• 환각의 기원은 사전학습의 다음 단어 예측에도 있으며, 철자나 괄호처럼 패턴이 뚜렷한 것은 규모가 커지며 줄지만 생일 같은 임의적·저빈도 사실은 패턴만으로 안정적으로 예측하기 어렵다.

🧩 주요 포인트

1. OpenAI는 언어 모델이 점점 강력해져도 사실이 아닌 답을 자신 있게 생성하는 환각이 여전히 근본적 과제로 남아 있다고 설명한다.
2. 환각은 그럴듯하지만 틀린 진술로 나타나며, 논문 저자의 박사학위 논문 제목이나 생일처럼 단순해 보이는 질문에서도 모델이 여러 잘못된 답을 자신 있게 내놓을 수 있다.
3. 현재의 많은 평가는 정확도만 중시하기 때문에 모델이 모른다고 답하는 것보다 추측하도록 유도하며, 이 때문에 운 좋게 맞힌 답이 점수판에서 더 유리하게 보일 수 있다.
4. OpenAI는 오류가 기권보다 더 나쁘므로, 확신에 찬 오답에는 더 큰 벌점을 주고 적절한 불확실성 표현에는 부분 점수를 주는 방식으로 주요 평가 기준을 바꿔야 한다고 주장한다.
5. 환각의 기원은 사전학습의 다음 단어 예측에도 있으며, 철자나 괄호처럼 패턴이 뚜렷한 것은 규모가 커지며 줄지만 생일 같은 임의적·저빈도 사실은 패턴만으로 안정적으로 예측하기 어렵다.

🧠 상세 정리

1. 환각 문제의 핵심과 현재 위치

OpenAI는 AI 시스템을 더 유용하고 신뢰할 수 있게 만들기 위해 노력하고 있지만, 언어 모델의 환각은 여전히 완전히 해결하기 어려운 문제라고 설명한다. 여기서 환각은 모델이 사실이 아닌 답을 자신 있게 생성하는 경우를 뜻한다. 본문은 새로운 연구 논문을 근거로, 표준적인 학습과 평가 절차가 불확실성을 인정하는 행동보다 추측을 보상하기 때문에 환각이 발생한다고 주장한다. ChatGPT 역시 환각을 일으킬 수 있으며, GPT-5는 특히 추론 상황에서 환각이 크게 줄었지만 여전히 발생한다고 명시한다.

2. 환각의 정의와 실제 사례

본문에서 환각은 언어 모델이 만들어내는 그럴듯하지만 거짓인 진술로 정의된다. 이런 오류는 복잡한 질문에서만 나타나는 것이 아니라, 겉보기에는 단순하고 사실 확인이 가능해 보이는 질문에서도 발생한다. 예시로 연구 논문 저자 중 한 명인 Adam Tauman Kalai의 박사학위 논문 제목을 널리 쓰이는 챗봇에 묻자, 모델은 세 가지 다른 답을 자신 있게 제시했지만 모두 틀렸다. 그의 생일을 물었을 때도 세 가지 서로 다른 날짜를 답했으며, 이 역시 모두 잘못된 답이었다.

3. 정확도 중심 평가가 추측을 장려하는 방식

본문은 환각이 지속되는 이유 중 하나로 현재 평가 방식의 잘못된 인센티브를 든다. 평가는 환각을 직접 만들어내지는 않지만, 많은 평가지표가 모델 성능을 정확도만으로 측정하면서 모른다고 말하는 것보다 추측하는 쪽을 유리하게 만든다. 객관식 시험에서 답을 모를 때 빈칸으로 두면 0점이지만, 무작위로 찍으면 맞힐 가능성이 있는 것과 같은 구조다. 사람의 생일을 모르는 모델이 “9월 10일”이라고 찍으면 365분의 1 확률로 맞을 수 있지만, “모르겠다”고 답하면 정확도 기준으로는 점수를 받지 못한다.

4. 기권, 정확도, 오류를 나눠 봐야 하는 이유

본문은 단일한 정답이 있는 질문에서 응답을 정확한 답, 오류, 기권이라는 세 범주로 나눠 볼 수 있다고 설명한다. 여기서 기권은 모델이 추측하지 않는 선택이며, OpenAI의 핵심 가치 중 하나인 겸손과도 연결된다. Model Spec 역시 틀릴 수 있는 정보를 자신 있게 제공하기보다 불확실성을 표시하거나 명확화를 요청하는 편이 낫다고 밝힌다. 제시된 표에서 gpt-5-thinking-mini는 기권율 52%, 정확도 22%, 오류율 26%였고, OpenAI o4-mini는 기권율 1%, 정확도 24%, 오류율 75%였다. 정확도만 보면 o4-mini가 약간 높지만, 환각에 해당하는 오류율은 훨씬 높아 전략적 추측의 위험이 드러난다.

5. 점수판을 바꿔야 한다는 제안

본문은 수십 개 평가 결과를 평균할 때 대부분의 벤치마크가 정확도만 뽑아내며, 이 방식은 답을 맞혔는지 틀렸는지만 보는 잘못된 이분법을 만든다고 지적한다. SimpleQA처럼 단순한 평가에서는 일부 모델이 거의 100% 정확도에 도달해 환각을 제거한 것처럼 보일 수 있다. 그러나 더 어려운 평가와 실제 사용 환경에서는 정보가 없거나, 작은 모델의 사고 능력이 제한되거나, 질문 자체가 모호해 명확화가 필요한 경우가 있어 정확도가 100%에 이를 수 없다. 따라서 본문은 확신에 찬 오류를 불확실성보다 더 강하게 벌하고, 적절한 불확실성 표현에는 부분 점수를 주도록 널리 쓰이는 정확도 기반 평가를 업데이트해야 한다고 주장한다.

6. 다음 단어 예측에서 생기는 사실 오류

환각의 또 다른 기원은 대규모 사전학습 과정에 있다. 언어 모델은 방대한 텍스트에서 다음 단어를 예측하며 학습하지만, 전통적인 지도학습 문제처럼 각 문장에 참·거짓 라벨이 붙어 있는 것은 아니다. 모델은 유창한 언어의 긍정적 예시만 보고 전체 분포를 근사해야 하므로, 유효한 진술과 무효한 진술을 구분하기 어렵다. 본문은 고양이와 개 사진 분류는 라벨이 있으면 안정적으로 배울 수 있지만, 각 반려동물 사진을 생일로 분류하라고 하면 생일이 사실상 임의적이기 때문에 어떤 알고리즘도 오류를 피할 수 없다고 비유한다. 철자와 괄호는 일관된 패턴이 있어 규모가 커질수록 오류가 줄지만, 생일 같은 임의적 저빈도 사실은 패턴만으로 예측하기 어려워 환각으로 이어진다.

🧾 핵심 주장 / 시사점

• 정확도만 보는 리더보드는 모델의 신뢰성을 과대평가할 수 있으며, 낮은 오류율과 적절한 기권 능력을 함께 봐야 실제 사용 위험을 더 잘 판단할 수 있다.
• 환각 감소는 모델 규모나 추론 능력 개선만의 문제가 아니라, 평가 기준이 모델에게 어떤 행동을 보상하는지 바꾸는 문제와 직접 연결된다.
• 언어 모델이 문법적·형식적 패턴에는 강하지만 임의적 저빈도 사실에는 취약하다는 설명은, 모델 답변을 사실 데이터베이스처럼 받아들이면 안 되는 이유를 보여준다.

✅ 액션 아이템

• 현재 정확도 중심 채점에서 확신한 오답 벌점을 강화하고, 적절한 불확실성 응답에는 부분 점수를 부여하는 기준으로 정밀 조정한다.
• 생일·저자 논문 제목처럼 임의적·저빈도 사실 질문군을 샘플링해 오답률, 추측 빈도, 패턴형 질문 대비 성능 차이를 정량 분석한다.
• 사전학습 다음 단어 예측 편향을 완화하기 위해 패턴형 사실과 임의형 사실을 구분하고, 오류가 큰 구간의 처리 규칙을 문서화한다.

❓ 열린 질문

• 점수판에서 모른다고 응답한 경우를 과도하게 낮추면 실제 사용 가치가 떨어지지 않을까, 어떤 손익 균형점이 적절한가?
• 실제로 환각이 잦은 질문군에서 추측을 억제하고 기권을 허용하는 규칙을 쓰면 응답 신뢰성이 얼마나 개선되는가?
• 패턴 신호가 약한 저빈도 사실에서 다음 단어 예측만으로는 안정성이 어려운데, 어떤 보강 신호가 환각을 실질적으로 줄일 수 있을까?