Teaching LLMs to reason like Bayesians

🖼️ 인포그래픽

Teaching LLMs to reason like Bayesians 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글 리서치 연구진은 LLM이 사용자 선호를 확률적으로 갱신하도록, 최적 베이지안 모델의 예측을 모방하게 미세조정하는 베이지안 티칭 방법을 제안하고 그 효과와 일반화 가능성을 검증했다.

📌 핵심 요약

LLM이 에이전트로 작동하려면 사용자와 세계에 대한 내부 표현을 만들고, 새 정보가 들어올 때 그 표현의 확률을 지속적으로 갱신해야 한다.
연구진은 항공편 추천 과제를 통해 여러 LLM이 최적 베이지안 어시스턴트보다 낮은 성능을 보이며, 추가 상호작용을 충분히 활용하지 못하고 조기에 성능이 정체되는 경향을 확인했다.
베이지안 티칭은 LLM을 베이지안 어시스턴트의 예측에 맞춰 지도 미세조정하는 방식이며, 정답만 제공하는 오라클 티칭보다 불확실성을 유지하고 갱신하는 행동을 더 잘 학습시키는 것으로 나타났다.
미세조정 결과 두 방식 모두 성능을 높였지만, 베이지안 티칭이 더 일관되게 우수했고 LLM이 베이지안 어시스턴트와 같은 예측을 하는 비율도 가장 높였다.
항공편 데이터로 학습한 모델이 호텔 추천과 실제 웹 쇼핑 같은 다른 영역에도 확률적 추론 능력을 옮겨 적용한 점은, LLM이 예시를 통해 베이지안식 추론 원리를 내재화할 수 있음을 시사한다.

🧩 주요 포인트

LLM이 에이전트로 작동하려면 사용자와 세계에 대한 내부 표현을 만들고, 새 정보가 들어올 때 그 표현의 확률을 지속적으로 갱신해야 한다.
연구진은 항공편 추천 과제를 통해 여러 LLM이 최적 베이지안 어시스턴트보다 낮은 성능을 보이며, 추가 상호작용을 충분히 활용하지 못하고 조기에 성능이 정체되는 경향을 확인했다.
베이지안 티칭은 LLM을 베이지안 어시스턴트의 예측에 맞춰 지도 미세조정하는 방식이며, 정답만 제공하는 오라클 티칭보다 불확실성을 유지하고 갱신하는 행동을 더 잘 학습시키는 것으로 나타났다.
미세조정 결과 두 방식 모두 성능을 높였지만, 베이지안 티칭이 더 일관되게 우수했고 LLM이 베이지안 어시스턴트와 같은 예측을 하는 비율도 가장 높였다.
항공편 데이터로 학습한 모델이 호텔 추천과 실제 웹 쇼핑 같은 다른 영역에도 확률적 추론 능력을 옮겨 적용한 점은, LLM이 예시를 통해 베이지안식 추론 원리를 내재화할 수 있음을 시사한다.

🧠 상세 정리

1. LLM 에이전트에 필요한 확률적 갱신 능력

글은 LLM 기반 AI 시스템이 사용자와 세계와 상호작용하는 에이전트로 점점 더 많이 쓰이고 있다는 문제의식에서 출발한다. 이런 시스템이 제대로 작동하려면 단순히 문장을 생성하는 데 그치지 않고, 세계에 대한 내부 표현을 만들고 각 표현이 맞을 가능성을 추정해야 한다. 개인화 추천의 예에서 LLM은 여러 번의 상호작용을 거치며 사용자의 선택을 관찰하고, 그 선택으로부터 선호를 점진적으로 추론해야 한다. 저자들은 이러한 갱신의 최적 원리로 베이지안 추론을 제시하며, 새 정보가 들어올 때 사용자 선호에 대한 추정을 계속 바꾸는 능력이 중요하다고 설명한다.

2. 기본 LLM의 한계와 연구 질문

원문은 별도 훈련이 없는 LLM이 사용자별 선호를 정교하게 추론하기보다 단순한 휴리스틱에 기대는 경우가 많다고 지적한다. 예를 들어 모든 사용자가 가장 싼 선택지를 원한다고 가정하는 식의 행동은 특정 사용자의 고유한 선호를 반영하지 못한다. 연구진은 LLM이 실제로 최적 베이지안 추론처럼 확률적 추정을 갱신하는지, 그리고 그 행동이 최적 전략에서 벗어난다면 그 차이를 어떻게 줄일 수 있는지를 질문으로 세웠다. 이 질문은 LLM이 단발성 패턴 매칭을 넘어, 상호작용에서 얻은 증거를 누적해 의사결정을 개선할 수 있는지를 확인하려는 실험적 문제로 이어진다.

3. 항공편 추천 과제를 통한 평가 설계

연구진은 단순화된 항공편 추천 과제를 사용해 LLM의 베이지안 능력을 평가했다. 이 과제에서 LLM은 어시스턴트로서 시뮬레이션된 사용자와 다섯 라운드 동안 상호작용하며, 매 라운드마다 사용자와 어시스턴트 모두에게 세 가지 항공편 선택지가 제시된다. 각 항공편은 출발 시간, 비행 시간, 경유 횟수, 비용으로 정의되고, 각 사용자는 이 특성들에 대해 높은 값이나 낮은 값을 강하게 또는 약하게 선호하거나, 특정 특성에는 선호가 없을 수 있다. 어시스턴트의 목표는 사용자가 고를 항공편과 일치하는 추천을 하는 것이며, 각 라운드가 끝나면 사용자는 어시스턴트가 맞혔는지 알려주고 정답도 제공한다.

4. 비교 기준이 된 베이지안 어시스턴트

LLM의 행동은 최적 베이지안 전략을 따르는 베이지안 어시스턴트와 비교되었다. 이 모델은 사용자의 선호에 대한 추정치를 확률분포로 유지하고, 사용자의 선택이라는 새 정보가 들어올 때마다 베이즈 규칙을 사용해 분포를 갱신한다. 현실 세계의 많은 상황에서는 최적 베이지안 전략을 명확히 지정하고 계산으로 구현하기 어렵지만, 이 통제된 항공편 추천 환경에서는 구현이 비교적 쉽다. 따라서 연구진은 LLM이 최적 베이지안 전략에서 얼마나 벗어나는지를 정밀하게 추정할 수 있었고, 사용자 선호에 직접 접근할 수 없는 조건에서 증거만으로 추론해야 하는 과제의 성격도 분명히 드러낼 수 있었다.

5. 오프더셸프 LLM과 인간 참가자의 성능

평가 결과, 다양한 LLM은 모두 최적 베이지안 어시스턴트보다 유의미하게 낮은 성능을 보였다. 특히 베이지안 어시스턴트는 사용자의 선택에 대한 정보를 추가로 받을수록 추천이 점진적으로 개선되었지만, LLM은 종종 첫 번째 상호작용 이후 성능이 정체되는 모습을 보였다. 이는 LLM이 새 정보를 받아 적응하는 능력이 제한적이며, 여러 차례의 사용자 상호작용에서 충분한 개선을 만들지 못한다는 점을 보여준다. 연구진은 서로 다른 모델 계열의 LLM, 인간 참가자, 베이지안 어시스턴트를 비교했으며, 인간 참가자는 대부분의 LLM보다 정보가 늘어날수록 더 크게 개선되었지만 최적 베이지안 전략의 정확도에는 미치지 못했다.

6. 베이지안 티칭과 오라클 티칭의 차이

연구진은 LLM에 확률적 갱신을 가르치기 위해 지도 미세조정을 사용했고, 이를 위한 데이터 생성 전략 두 가지를 비교했다. 오라클 티칭에서는 사용자의 선호를 완벽히 아는 오라클 어시스턴트와 시뮬레이션 사용자 간의 상호작용을 제공하며, 이 어시스턴트는 항상 사용자의 실제 선택과 동일한 선택지를 추천한다. 반면 베이지안 티칭에서는 베이지안 어시스턴트와 사용자의 상호작용을 제공하며, 특히 초기 라운드처럼 불확실성이 큰 상황에서는 베이지안 어시스턴트가 사용자의 선호 선택과 일치하지 않는 항공편을 고르기도 한다. 연구진은 이런 최선의 추정을 모방하게 하는 편이, 단순 정답을 학습시키는 것보다 불확실성을 유지하고 믿음을 갱신하는 방식을 더 효과적으로 가르칠 것이라고 보았다.

7. 미세조정 결과와 베이지안 어시스턴트와의 일치

결과적으로 지도 미세조정은 LLM이 확률적 추론을 더 잘 근사하도록 만드는 데 효과가 있었다. 연구진은 첫 라운드와 마지막 다섯 번째 라운드의 정확도를 비교하면서, 원래 LLM, 베이지안 어시스턴트와의 상호작용으로 미세조정한 LLM, 오라클과의 상호작용으로 미세조정한 LLM을 함께 살폈다. 두 종류의 미세조정 모두 LLM 성능을 크게 높였지만, 베이지안 티칭은 오라클 티칭보다 일관되게 더 효과적이었다. 또한 베이지안 어시스턴트와 같은 예측을 한 비율을 기준으로 보았을 때, 베이지안 어시스턴트의 예측에 맞춰 미세조정된 모델들이 가장 높은 일치를 보였고, 수학적 이상에 80% 수준으로 동의하는 결과도 제시되었다.

8. 다른 영역으로의 일반화와 연구의 의미

중요한 점은 베이지안 티칭으로 얻은 능력이 항공편 추천 과제에만 머물지 않았다는 것이다. 항공편 데이터로 학습한 모델은 미세조정 중 보지 못한 호텔 추천과 실제 웹 쇼핑 영역에서도 확률적 논리를 옮겨 적용했으며, 원문은 이를 특정 과제의 요령이 아니라 베이지안 추론 원리의 내재화 가능성으로 해석한다. 연구진은 LLM이 원래는 확률적 믿음을 형성하고 갱신하는 데 어려움을 보였지만, 최적 확률적 믿음 갱신 전략을 구현한 베이지안 어시스턴트의 시연을 계속 접하면서 그 능력이 크게 향상되었다고 정리한다. 이는 고전적인 상징 모델의 전략을 신경망에 증류함으로써, 명시적 기호 모델로 구현하기 어려운 영역에도 추론 전략을 일반화할 수 있음을 보여주는 사례로 제시된다.

🧾 핵심 주장 / 시사점

개인화 에이전트의 핵심은 한 번의 답변 정확도보다, 사용자 상호작용에서 얻은 증거를 누적해 선호 추정을 계속 갱신하는 능력에 있다.
오라클처럼 항상 정답만 보여주는 학습보다, 불확실한 상황에서 최적 추정을 수행하는 베이지안 어시스턴트를 모방하는 학습이 확률적 추론 행동을 더 잘 유도했다.
이 연구는 LLM의 추론 능력이 특정 과제 데이터의 정답 암기에만 의존하지 않고, 적절한 시연을 통해 다른 추천 영역으로도 이전될 수 있음을 보여준다.