Empty shelves or lost keys? Recall is the bottleneck for parametric factuality

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

최전선 대규모 언어 모델의 사실 오류는 지식이 아예 저장되지 않은 ‘빈 선반’보다 이미 부호화된 지식을 꺼내지 못하는 ‘잃어버린 열쇠’형 회상 실패에서 더 많이 발생한다.

📌 핵심 요약

• 연구진은 질문별 정확도만으로는 구분할 수 없는 사실의 부호화, 회상, 재인 상태를 측정하는 ‘지식 프로파일링’ 프레임워크를 제안했다.
• 위키프로파일은 위키백과에서 추출한 2,150개 사실로 구성되며, 각 사실에는 부호화 과제 2개, 지식 평가 과제 4개, 객관식 재인 과제 4개가 연결된다.
• 13개 대규모 언어 모델을 사고 과정 사용 여부에 따라 평가하고, 각 모델·사실·과제 조합에서 응답을 8회 표본화해 약 450만 개의 응답을 분석했다.
• 제미나이 3 프로와 GPT-5는 사실의 95~98%를 부호화했지만 26~34%를 직접 회상하지 못했고, 사고 과정을 사용해도 11~12%에서는 실패했다.
• 희귀 사실과 역방향 질문은 부호화 또는 재인보다 회상에서 더 큰 약점을 보였으며, 사고 과정은 부호화됐지만 직접 답하지 못한 사실의 약 40~65%를 회복했다.

🧩 주요 포인트

1. 질문 단위 오답 집계는 부호화 실패와 회상 실패를 합쳐 보여 주므로, 사실 단위 상태 분석이 필요한 개선 방법을 더 정확히 구분한다.
2. 모델 규모 확대는 저장되는 사실의 범위를 크게 늘리지만 남은 오류 중 회상 실패의 비중은 계속 커져, 병목이 지식 습득에서 지식 활용으로 이동한다.
3. 사고 과정은 미부호화 사실을 새로 추론하는 경우보다 이미 부호화된 사실을 되찾는 데 훨씬 효과적이지만, 계산 비용과 호출 시점 결정 문제가 남는다.

🧠 상세 정리

1. 사실 오류의 원인을 다시 구분해야 하는 이유

대규모 언어 모델의 신뢰성을 높이려면 사실 질문에 틀렸다는 결과만 볼 것이 아니라 왜 틀렸는지를 구분해야 한다. 어떤 사실을 애초에 매개변수에 부호화하지 못한 경우와, 부호화했지만 질문 시점에 꺼내지 못한 경우는 같은 오답으로 관측되지만 병목은 서로 다르다. 기존의 질문 단위 정확도는 이 둘을 하나로 합쳐 측정하기 때문에 모델 크기나 학습 자료 확대가 필요한지, 후속 학습이나 추론 단계에서 접근성을 개선해야 하는지 진단하기 어렵다. 연구진은 사실 하나를 분석 단위로 삼는 ‘지식 프로파일링’을 제안해 부호화와 회상을 행동적으로 따로 측정했다. 분석 결과 최전선 모델의 다수 오류는 지식이 비어 있는 ‘빈 선반’보다 저장된 사실에 접근할 열쇠를 찾지 못하는 ‘잃어버린 열쇠’에 가까웠다.

2. 지식 프로파일링과 다섯 가지 사실 상태

지식 프로파일링은 각 사실을 부호화 실패, 회상 실패, 직접 회상, 사고 과정을 통한 회상, 부호화 없는 추론이라는 다섯 상태로 분류한다. 부호화는 정답을 노출하지 않은 사전학습 유사 문맥에서 명제 완성이나 문맥 질문을 통해 해당 사실을 올바르게 재현할 수 있는지를 뜻한다. 지식 보유 여부는 표현이 다른 의미상 동등한 질문뿐 아니라 관계 방향을 바꾼 직접·역방향 질문에도 일관되게 답하는지로 측정한다. 부호화된 사실을 질문에 답할 수 있을 정도로 꺼내면 회상으로 보며, 중간 계산 없이 답하면 직접 회상, 사고 과정을 거쳐 답하면 사고 후 회상으로 구분한다. 부호화되지 않은 사실에 사고 과정을 사용해 답한 경우는 다른 부호화 사실을 이용한 다단계 추론이나 근거 있는 추측에 해당하므로 ‘부호화 없는 추론’으로 분류한다. 정답 후보가 제시됐을 때 올바른 사실을 식별하는 능력은 개방형 답변 생성과 구별되는 재인으로 측정한다.

3. 위키프로파일 벤치마크 구축

연구진은 자연스럽게 등장하는 사실을 대상으로 지식 프로파일링을 수행하기 위해 위키백과 기반의 위키프로파일을 구축했다. 사고 기능을 사용한 제미나이 2.5 프로가 자동화 파이프라인을 수행했으며, 파이프라인의 프롬프트는 별도로 보류한 소규모 자료에서 수작업으로 최적화됐다. 후보 사실은 주어와 목적어로 이루어진 순서 있는 두 개체의 명제로 추출됐고, 문서 안에서 주어가 먼저 등장하는 경우를 대상으로 삼았다. 각 사실에는 부호화 측정 과제 2개, 지식 평가 과제 4개, 객관식 재인 과제 4개를 포함해 총 10개의 과제가 연결됐다. 직접·역방향 질문은 생성, 개선, 필터링의 세 단계를 거쳐 모호하지 않고 구체적이며 최소한의 표현으로 유일한 정답을 갖도록 만들었다. 검색엔진에 근거한 필터링에서 복수 정답이나 추가 설명이 필요한 사례를 제외하고 마지막 수동 검증을 거친 결과, 최종 벤치마크에는 2,150개 사실이 남았다.

4. 13개 모델과 약 450만 개 응답의 평가

평가 대상은 총 13개 대규모 언어 모델이며, 각 모델은 사고 과정을 사용하지 않는 조건과 사용하는 조건에서 모두 시험됐다. 연구진은 모델·사실·과제의 각 조합마다 응답을 8회 표본화해 한 번의 답변에만 의존하지 않고 사실의 상태를 판정할 자료를 수집했다. 응답의 정답 여부는 프롬프트 기반의 대규모 언어 모델 자동 평가기가 채점했으며, 전체 생성 응답은 약 450만 개에 이르렀다. 부호화 과제에서는 원래 사실이 등장할 법한 문맥에서 재현 가능성을 확인하고, 지식 과제에서는 다양한 표현과 관계 방향의 개방형 질문을 사용했다. 객관식 변형에서는 답을 스스로 생성하는 회상과 달리 후보 중 정답을 알아볼 수 있는지를 측정했다. 이 구성에 따라 동일한 사실이 저장되지 않았는지, 저장됐지만 접근할 수 없는지, 직접 또는 사고 후에 회상되는지를 질문 하나의 정오보다 세밀하게 분류할 수 있었다.

5. 최전선 모델에서 드러난 회상 병목

제미나이 2.5 프로, 제미나이 3 프로·플래시, GPT-5 등 최전선 모델에서는 사실 부호화가 포화에 가까웠지만 회상은 그 수준에 도달하지 못했다. 특히 제미나이 3 프로와 GPT-5는 평가 사실의 95~98%를 부호화하고도 전체 사실 중 26~34%를 사고 과정 없이 직접 회상하지 못했다. 사고 과정을 허용해도 이 모델들이 실패한 사실은 11~12%로, 저장된 지식의 일부가 끝내 안정적으로 접근되지 않았다. 이는 최전선 모델의 사실 오류가 지식 자체의 부재보다 매개변수에 존재하는 지식을 적절한 질문에서 활용하지 못하는 문제로 점차 이동하고 있음을 보여 준다. 젬마 3 계열에서도 모델이 커질수록 부호화 실패는 급격히 감소했지만 회상 실패는 상당 부분 남았고, 남은 오류에서 차지하는 비중도 커졌다. 따라서 규모 확대는 모델이 저장하는 사실을 늘리는 효과가 접근 가능한 사실을 늘리는 효과보다 더 강하게 나타났다.

6. 희귀 사실은 저장돼도 꺼내기 어렵다

연구 결과는 회상이 사실을 처음 학습한 문맥, 표현, 관계 순서와 긴밀하게 연결돼 있음을 시사한다. 질문이 학습 당시의 조건에서 멀어질수록 사실이 매개변수에 존재하더라도 개방형 답변으로 꺼내기가 어려워졌으며, 이러한 현상은 희귀 사실에서 뚜렷했다. 연구진이 인기도 하위 20%와 상위 20%의 사실을 비교했을 때 희귀 사실의 부호화율은 인기 사실과 비교적 가까워 두 집단의 격차가 크지 않았다. 반면 직접 회상률의 인기도 격차는 부호화율 격차보다 훨씬 크게 나타났다. 이는 긴 꼬리 사실에 대한 낮은 성능을 단순히 모델 용량 부족이나 지식 미습득으로만 설명하기 어렵다는 뜻이다. 많은 희귀 사실은 모델 안에 존재하지만 접근하기 어려우며, 긴 꼬리 문제에서도 핵심 병목이 지식 획득보다 저장된 지식의 활용에 놓여 있다는 해석을 뒷받침한다.

7. 역방향 질문과 재인·회상의 분리

연구진은 관계를 학습 때와 반대 방향으로 묻는 경우 성능이 낮아지는 이른바 역전의 저주도 다시 분석했다. 개방형으로 답을 생성하는 회상 과제에서는 역방향 질문이 직접 방향 질문보다 일관되게 어려웠다. 그러나 정답과 방해 후보가 함께 주어지는 객관식 재인 과제에서는 역방향 질문이 직접 질문보다 더 어렵지 않았고, 여러 경우에는 오히려 더 쉬웠다. 모델이 역방향 질문의 정답을 후보 중에서는 식별하면서도 동일한 답을 스스로 생성하지 못한다면, 양방향 관계가 완전히 저장되지 않았다고만 보기는 어렵다. 해당 사실은 부호화돼 있고 재인도 가능하지만, 학습 당시 접한 관계 순서에서 벗어난 질문을 받을 때 회상 경로가 약해진 것으로 해석된다. 연구는 이처럼 생성과 검증의 성능이 분리되는 결과를 근거로 역전의 저주를 지식 부재보다 회상 실패의 문제로 규정한다.

8. 사고 과정의 회복 효과와 남은 과제

사고 과정은 직접 회상이 가장 약한 희귀 사실과 역방향 질문에서 특히 큰 개선을 보였고, 사실 인기도와 질문 방향에 따른 성능 격차를 모두 줄였다. 사고에 최적화된 모델에서는 부호화됐지만 직접 알려진 상태가 아니었던 사실의 약 40~65%가 사고 과정을 통해 회복됐다. 반면 부호화되지 않은 사실이 사고 후 정답으로 전환된 비율은 5~15%에 그쳐, 개선 폭이 부호화된 사실에서 훨씬 컸다. 이 조건부 차이는 사고 과정이 주로 복잡한 다단계 추론으로 새로운 답을 만들어 내기보다 이미 저장된 사실에 대한 접근을 돕는 회상 촉진 장치로 작동한다는 연구진의 해석을 지지한다. 다만 사고 과정에는 추가 계산 비용이 들며, 모델이 정확히 언제 이를 호출해야 하는지는 아직 분명하지 않다. 부호화가 이미 포화에 가까운 최전선 모델에서는 모델이나 자료의 규모만 키우기보다 후속 학습과 추론 단계에서 기존 지식의 활용성을 높이는 방법이 사실성 향상의 중요한 경로가 된다.

🧾 핵심 주장 / 시사점

• 같은 오답이라도 부호화 실패에는 지식 범위 확대가, 회상 실패에는 저장된 지식의 접근성 개선이 필요하므로 두 원인을 분리하지 않은 정확도만으로는 개입 방향을 정하기 어렵다.
• 희귀 사실과 역방향 관계를 후보 중에서는 알아보지만 스스로 생성하지 못한다는 결과는 지식의 존재 여부와 질문 조건에 따른 접근 가능성이 별개의 문제임을 보여 준다.
• 사고 과정의 회복률이 부호화된 사실에서 40~65%, 미부호화 사실에서 5~15%로 크게 갈린다는 점은 회상 촉진 효과를 뒷받침하며, 계산 비용을 고려한 선택적 호출 방법을 남은 과제로 제시한다.

✅ 액션 아이템

• 위키프로파일의 2,150개 사실(부호화 과제 2개, 지식 평가 과제 4개, 객관식 재인 과제 4개) 단위로 오답을 분해해 빈 선반과 잃어버린 열쇠 병목을 명확히 나눈다.
• 13개 대규모 언어 모델을 사고 과정 유무로 나눠 8회 표본화한 약 450만 개 응답을 분석하고, 정확도만으로는 숨긴 회상 실패 지점을 점검한다.
• 제미나이 3 프로와 GPT-5에서 95~98% 부호화에도 26~34% 직접 회상 실패, 사고 과정 사용 시 11~12% 미회상 수치를 기준으로 recall 완화 우선순위를 잡는다.

❓ 열린 질문

• 모델 규모 확대가 저장되는 사실 범위를 늘려도 남은 오류 중 회상 실패 비중이 커질 때, recall 병목 완화를 위해 어떤 임계치에서 개입을 확대할 것인가?
• 희귀 사실과 역방향 질문에서 회상 약점이 크다면, 위키프로파일에서 부호화됐지만 직접 답하지 못한 사례를 어떤 기준으로 재분류해 추적해야 하는가?
• 사고 과정은 미부호화보다 이미 부호화된 사실 회복에 효과적이라 했을 때, 직접 답하지 못한 40~65% 회복률을 넘기기 위한 호출 시점은 어떻게 판단할 것인가?