Making LLMs more accurate by using all of their layers

🖼️ 인포그래픽

Making LLMs more accurate by using all of their layers 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

SLED는 외부 지식베이스나 추가 파인튜닝 없이 LLM의 모든 층에서 나온 정보를 디코딩에 활용해 사실성을 높이는 방법입니다.

📌 핵심 요약

LLM은 큰 성과를 냈지만 부정확한 주장을 자신 있게 생성하는 환각 문제가 있으며, 이는 실제 활용에서 신뢰성과 안정성을 떨어뜨립니다.
기존의 사실성 개선 방식으로는 검색 증강 생성처럼 외부 데이터를 쓰는 방법이 있지만, 시스템이 복잡해지고 여전히 환각을 완전히 막지는 못합니다.
SLED는 텍스트 생성의 마지막 단계인 디코딩 과정에 개입해, 최종 층뿐 아니라 중간 층의 조기 종료 로짓까지 활용하여 다음 토큰 예측을 보정합니다.
논문은 여러 LLM 계열과 과제에서 SLED를 평가했으며, 객관식·자유응답·연쇄 사고 추론 등 다양한 설정에서 사실 정확도가 일관되게 개선됐다고 보고합니다.
SLED는 DoLa 같은 기존 사실성 디코딩 방법과 결합할 수 있고, 추론 지연이 다소 늘어나는 대가로 여러 데이터셋에서 높은 정확도 개선을 보였습니다.

🧩 주요 포인트

LLM은 큰 성과를 냈지만 부정확한 주장을 자신 있게 생성하는 환각 문제가 있으며, 이는 실제 활용에서 신뢰성과 안정성을 떨어뜨립니다.
기존의 사실성 개선 방식으로는 검색 증강 생성처럼 외부 데이터를 쓰는 방법이 있지만, 시스템이 복잡해지고 여전히 환각을 완전히 막지는 못합니다.
SLED는 텍스트 생성의 마지막 단계인 디코딩 과정에 개입해, 최종 층뿐 아니라 중간 층의 조기 종료 로짓까지 활용하여 다음 토큰 예측을 보정합니다.
논문은 여러 LLM 계열과 과제에서 SLED를 평가했으며, 객관식·자유응답·연쇄 사고 추론 등 다양한 설정에서 사실 정확도가 일관되게 개선됐다고 보고합니다.
SLED는 DoLa 같은 기존 사실성 디코딩 방법과 결합할 수 있고, 추론 지연이 다소 늘어나는 대가로 여러 데이터셋에서 높은 정확도 개선을 보였습니다.

🧠 상세 정리

1. LLM 환각과 사실성 문제의 출발점

원문은 대규모 언어 모델이 최근 몇 년 사이 큰 발전을 이루었지만, 여전히 사실성과 관련된 약점을 갖고 있다는 점에서 논의를 시작합니다. 특히 모델이 틀린 내용을 확신 있게 말하는 환각은 불완전하거나 부정확하거나 편향된 학습 데이터, 과적합이나 과소적합, 현실 경험의 부재, 모호한 질문 등 여러 요인에서 비롯될 수 있다고 설명합니다. 이런 문제는 LLM을 실제 애플리케이션에 적용할 때 신뢰성과 믿을 수 있음을 약화시키는 핵심 장애물로 제시됩니다. 반대로 사실성은 모델이 현실 세계 지식과 일치하는 내용을 생성하는 능력으로 정의됩니다.

2. 외부 데이터 기반 접근의 한계

사실성을 높이는 흔한 방법으로 원문은 검색 증강 생성과 같은 외부 데이터 활용 방식을 언급합니다. 이런 접근은 관련 정보를 찾아 모델에 제공함으로써 더 정확한 답변을 유도하려는 방식이지만, 그 자체로 더 복잡한 시스템을 필요로 합니다. 관련 데이터를 식별하고 검색하는 구성 요소가 추가되어야 하며, 검색이 이루어져도 모델이 여전히 환각을 일으킬 수 있다는 점이 한계로 제시됩니다. 따라서 원문은 외부 지식베이스나 추가 데이터에 기대지 않고 모델 내부 과정에서 사실성을 개선할 수 있는 방법을 모색합니다.

3. 디코딩 단계에 주목한 문제 해결 방향

원문은 환각을 줄일 수 있는 잠재적 개입 지점으로 디코딩 과정을 제시합니다. 디코딩은 LLM이 내부 표현과 예측을 사람이 읽을 수 있는 실제 텍스트로 바꾸는 최종 단계입니다. 이미 디코딩 과정에는 생성 속도를 높이는 speculative decoding 같은 개선 사례가 있었으므로, 유사하게 사실성을 높이는 디코딩 방법도 가능하다는 논리가 이어집니다. 즉 모델 전체를 다시 학습시키거나 외부 데이터를 붙이는 대신, 마지막 출력이 만들어지는 순간에 잘못된 선택을 잡아내고 수정하는 전략이 원문의 핵심 문제의식입니다.

4. SLED의 핵심 아이디어와 위치

Self Logits Evolution Decoding, 즉 SLED는 NeurIPS 2024에서 소개된 새로운 디코딩 방법으로 설명됩니다. 이 방법은 LLM의 출력이 모델 내부의 사실 지식과 더 잘 맞도록 조정하는 것을 목표로 하며, 외부 지식베이스나 추가 파인튜닝을 요구하지 않는다는 점이 강조됩니다. 표준 방식이 대체로 마지막 층의 로짓에 의존해 다음 토큰을 고르는 데 비해, SLED는 LLM의 모든 층에서 나온 정보를 함께 사용합니다. 원문은 다양한 모델 규모와 구성에서 실험한 결과, SLED가 여러 과제와 벤치마크에서 사실 정확도를 일관되게 높였다고 요약합니다.

5. 토큰, 분포, 로짓을 활용하는 작동 방식

LLM은 문장을 단어, 단어 조각, 문장부호 같은 토큰 단위로 나누고, 텍스트를 한 토큰씩 생성합니다. 각 단계에서 모델은 단일 후보만 고르는 것이 아니라 가능한 모든 다음 토큰에 대해 확률을 계산하며, 이 확률 집합이 분포로 설명됩니다. 원문은 LLM이 여러 층을 거치며 각 층에서 예측 점수인 로짓을 만들지만, 일반적인 모델은 최종 층의 로짓에 주로 의존한다고 설명합니다. 이때 중간 층의 조기 종료 로짓에는 추가 정보가 담길 수 있는데, 이를 무시하면 맥락 단서를 놓치고 흔하지만 틀린 답을 고를 수 있습니다.

6. 모든 층의 예측을 결합하는 SLED 절차

SLED는 Transformer 구조의 최종 projection matrix를 중간 층의 조기 종료 로짓에도 재사용해, 최종 층과 같은 후보 토큰 집합에 대한 확률 분포를 만듭니다. 그 결과 모델은 각 층에서 다음 토큰이 무엇이어야 하는지에 대한 여러 추정치를 얻게 됩니다. SLED는 이 여러 분포를 가중 평균하되, 어떤 층에는 더 큰 중요도를 부여하며 최종 예측을 정제합니다. 따라서 마지막 층 하나가 강하게 선호하는 답이 있더라도, 중간 층들이 다른 방향의 근거를 제공하면 그 정보를 출력 결정에 반영할 수 있습니다.

7. 예시로 드러난 오류 수정 효과

원문은 브리티시컬럼비아의 주도를 묻는 객관식 질문에서 SLED가 잘 알려진 도시인 밴쿠버보다 정답인 빅토리아에 더 높은 확률을 부여하는 예를 듭니다. 또 장난감 6개를 각각 10토큰에 사고 4개 이상 구매 시 10% 할인이 적용되는 수학 문장 문제를 통해 SLED의 효과를 설명합니다. 일반적인 LLM은 흔한 산술 패턴 때문에 “6 x 10 = 60”으로 진행할 수 있지만, 실제로는 할인을 반영해 “6 x 10 x 0.9 = 54”가 되어야 합니다. 원문은 중간 층 상당수가 “=” 대신 “x”를 다음 토큰으로 예측한다는 점을 활용해, SLED가 최종 출력 로짓을 보정하고 정확한 계산으로 유도한다고 설명합니다.

8. 실험 설정과 비교 대상

연구진은 SLED를 다양한 구성과 규모의 여러 LLM에 적용해 평가했습니다. 원문은 GPT-OSS, Mistral, Gemma 계열처럼 서로 다른 모델군에 SLED를 적용할 수 있다고 설명하며, 표준 LLM 및 기존 사실성 디코딩 방법인 DoLa와 정확도를 비교했다고 밝힙니다. 평가 과제에는 앞서 설명한 장난감 수학 문제뿐 아니라 객관식 질문과 자유응답 질문이 포함됩니다. 객관식 벤치마크로는 FACTOR와 TruthfulQA의 MC1, MC2, MC3 분할이 언급되며, 자유응답 평가에는 TruthfulQA generation 데이터셋이 사용됩니다.

9. 결과, 비용, 향후 방향

원문에 따르면 SLED는 Gemma 3, GPT-OSS, Mistral 등 여러 LLM에서 사실 정확도를 높였고, instruction tuned 모델과 base 모델 모두에서 개선을 보였습니다. 주요 비용은 모든 층을 살펴봐야 하기 때문에 일반 디코딩보다 시간이 조금 더 걸린다는 점이며, 경쟁 사실성 디코딩 방법인 DoLa보다 약 4% 높은 수준의 추가 시간이 언급됩니다. 동시에 두 개의 어려운 데이터셋에서는 원래 모델 및 DoLa 대비 최대 16%의 정확도 개선이 보고됩니다. 결론에서는 SLED가 오픈소스 LLM에 사용할 수 있고 다른 디코딩 방법과 결합 가능하며, 향후 지도 파인튜닝과 결합하거나 시각 질문응답, 코드 생성, 장문 작성 같은 다른 과제로 확장하는 방향이 제시됩니다.

🧾 핵심 주장 / 시사점

SLED의 핵심은 모델 밖에서 지식을 더 가져오는 것이 아니라, 모델 내부 여러 층에 이미 분산되어 있는 신호를 디코딩 단계에서 더 잘 활용하는 데 있습니다.
마지막 층의 가장 강한 예측이 항상 가장 사실적인 선택은 아닐 수 있으며, 중간 층의 예측 분포가 흔한 패턴에 끌린 오류를 교정하는 단서가 될 수 있습니다.
사실성 개선을 위해 검색 시스템이나 추가 학습만을 선택지로 보지 않고, 디코딩 전략 자체를 조정하는 접근이 여러 모델과 과제에서 실용적인 대안이 될 수 있음을 보여줍니다.