TextQuests: How Good are LLMs at Text-Based Video Games?

🖼️ 인포그래픽

TextQuests: How Good are LLMs at Text-Based Video Games? 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

TextQuests는 25개의 고전 텍스트 어드벤처 게임을 통해 LLM 에이전트의 장기 문맥 추론, 탐색 학습, 공간 이해, 행동 효율성과 유해 행동 경향을 평가하는 벤치마크다.

📌 핵심 요약

정적 지식 벤치마크에서의 높은 성과가 장기간 자율적으로 탐색해야 하는 동적 환경의 수행 능력으로 곧바로 이어지지는 않는다.
TextQuests는 수백 번의 정확한 행동과 장기 계획이 필요한 25개의 고전 Infocom 인터랙티브 픽션 게임으로 LLM 자체의 에이전트 추론 능력을 시험한다.
각 모델은 공식 힌트를 제공하는 조건과 제공하지 않는 조건에서 각각 최대 500단계를 수행하며, 전체 게임 기록은 잘리지 않은 채 문맥에 유지된다.
평가는 필수 목표 체크포인트를 기준으로 한 게임 진행도와 게임 내 유해 행동을 추적한 Harm 지표를 중심으로 이루어진다.
현재 모델들은 문맥이 길어질수록 과거 행동을 잘못 기억하거나 같은 행동을 반복하고 공간 경로를 재구성하지 못하며, 추론 토큰을 많이 쓰는 전략의 효과도 일정 예산 이후에는 감소한다.

🧩 주요 포인트

정적 지식 벤치마크에서의 높은 성과가 장기간 자율적으로 탐색해야 하는 동적 환경의 수행 능력으로 곧바로 이어지지는 않는다.
TextQuests는 수백 번의 정확한 행동과 장기 계획이 필요한 25개의 고전 Infocom 인터랙티브 픽션 게임으로 LLM 자체의 에이전트 추론 능력을 시험한다.
각 모델은 공식 힌트를 제공하는 조건과 제공하지 않는 조건에서 각각 최대 500단계를 수행하며, 전체 게임 기록은 잘리지 않은 채 문맥에 유지된다.
평가는 필수 목표 체크포인트를 기준으로 한 게임 진행도와 게임 내 유해 행동을 추적한 Harm 지표를 중심으로 이루어진다.
현재 모델들은 문맥이 길어질수록 과거 행동을 잘못 기억하거나 같은 행동을 반복하고 공간 경로를 재구성하지 못하며, 추론 토큰을 많이 쓰는 전략의 효과도 일정 예산 이후에는 감소한다.

🧠 상세 정리

1. 정적 벤치마크 이후의 에이전트 평가 문제

MMLU와 GPQA 같은 지식 벤치마크는 상당 부분 포화되었고, 최전선 모델들은 HLE와 같은 전문가 평가에서도 빠르게 진전하고 있다. 그러나 정적인 지식 과제에서 거둔 성공이 복잡하고 상호작용적인 환경에서의 실질적인 수행 능력을 자동으로 보장하지는 않는다. 실제 보조자나 AI 에이전트에는 변화하는 상황을 탐색하고, 스스로 다음 행동을 결정하며, 누적된 경험을 장기간 활용하는 능력이 요구된다. 저자들은 이런 자율 에이전트를 평가하는 강건한 방법론을 만드는 일이 여전히 중요한 과제라고 보고, 제한된 현실 세계 기술 평가보다 지속적이고 자기주도적인 추론을 직접 시험할 수 있는 시뮬레이션형 개방 환경에 주목한다.

2. 25개 고전 게임으로 구성된 TextQuests

TextQuests는 한때 널리 즐겨졌던 25개의 고전 Infocom 인터랙티브 픽션 게임을 기반으로 구축되었다. 이 게임들은 인간에게도 완료까지 30시간 이상이 걸릴 수 있고, 해답에 도달하려면 수백 번의 정확한 행동을 수행해야 하는 복잡한 환경이다. 에이전트는 외부 도구의 도움 없이 행동과 관찰이 계속 쌓이는 기록을 바탕으로 여러 단계의 계획을 세우고 실행해야 한다. 따라서 TextQuests는 단순한 질의응답 정확도보다 LLM이 에이전트 시스템의 추론 핵심으로서 장시간 일관된 이해와 행동을 유지할 수 있는지를 직접 평가하도록 설계되었다.

3. 장기 문맥 추론과 탐색을 통한 학습

게임을 진행하려면 에이전트가 긴 행동·관찰 이력을 해석하고, 이전에 얻은 단서와 현재 상태를 연결해 다음 계획을 수립해야 한다. 동시에 미지의 세계를 탐색하면서 실패 원인을 스스로 점검하고, 시행착오를 통해 행동을 점진적으로 개선해야 한다. 정답 경로나 환경 구조가 처음부터 모두 제시되지 않으므로 탐색 자체가 학습 과정이며, 잘못된 시도에서도 후속 행동에 필요한 정보를 추출해야 한다. 이 두 요구사항은 TextQuests가 장기 문맥을 단순히 보존하는 능력뿐 아니라, 그 안의 경험을 실제 계획 수정과 문제 해결에 지속적으로 활용하는 능력을 측정한다는 점을 보여준다.

4. 평가 조건과 게임 진행도·유해성 지표

각 모델은 게임의 공식 힌트를 사용할 수 있는 조건과 힌트 없이 플레이하는 조건에서 각각 별도의 평가를 받는다. 한 번의 실행은 최대 500단계까지 계속되며, 에이전트가 게임을 성공적으로 완료하면 그보다 일찍 종료된다. 문맥이 증가해도 전체 게임 기록을 잘라내지 않고 유지하며, 현대 LLM 추론 프레임워크의 프롬프트 캐싱을 활용해 이러한 장기 문맥 평가의 계산 부담을 다룬다. 핵심 지표인 게임 진행도는 완료 경로에 필요한 목표들을 체크포인트로 표시해 계산하고, Harm은 어느 정도 유해하다고 분류된 특정 게임 내 행동을 추적한 뒤 전체 게임에 걸쳐 평균을 내어 에이전트의 행동 경향을 평가한다.

5. 100K 토큰을 넘는 문맥에서 드러난 실패

평가 중 문맥은 100K 토큰을 넘을 수 있으며, 모델은 방대한 과거 관찰과 단서를 기반으로 정확한 추론과 계획을 계속 수행해야 한다. 하지만 문맥이 길어질수록 현재 모델들은 실제로 얻지 않은 물건을 이미 주웠다고 믿거나, 과거 상호작용을 잘못 기억하고, 같은 경로를 반복해서 도는 모습을 보였다. Zork I에서는 성냥갑을 Atlantis Room에 두고도 Studio에 두었다고 잘못 회상했으며, 악명 높은 미로를 탐색하는 일도 모든 최전선 LLM에 어려운 과제로 나타났다. 또한 문맥에서 새로운 계획을 종합하기보다 이전 행동을 반복하는 경향이 증가해, 긴 기록을 보유하는 것과 그 기록을 정확하게 활용하는 것이 서로 다른 능력임을 드러냈다.

6. 공간 추론과 동적인 추론 예산의 필요성

장기 문맥 실패는 특히 공간 추론이 필요한 상황에서 뚜렷하게 나타났다. Wishbringer에서 대부분의 LLM은 절벽을 올라갈 때 사용한 방향 순서를 문맥에서 찾아 역순으로 적용하면 내려올 수 있었지만, 자신의 경로를 복원하고 뒤집는 데 실패해 정신적 지도를 구축하고 활용하는 어려움을 보였다. 한편 더 많은 테스트 시점 계산과 추론 토큰을 사용하는 모델은 대체로 더 높은 성과를 내지만, 일정한 예산을 넘어서면 추가 계산의 효과가 감소했다. 탐색 과정의 이동 같은 중간 단계에는 깊은 추론이 항상 필요하지 않으므로, 이상적인 에이전트는 모든 행동에 동일한 비용을 쓰기보다 상황에 따라 추론 노력을 조절하면서도 일관된 진행 능력을 유지해야 한다.

🧾 핵심 주장 / 시사점

긴 문맥을 입력으로 유지할 수 있다는 사실만으로는 충분하지 않으며, 에이전트 성능에는 과거 상태와 행동을 정확히 회상하고 현재 계획에 재사용하는 능력이 핵심이다.
경로를 역순으로 되짚는 단순해 보이는 과제에서도 실패가 발생한다는 점은 현재 LLM의 공간적 상태 표현과 정신적 지도 활용 능력이 취약함을 보여준다.
에이전트의 실용성은 진행도뿐 아니라 유해 행동, 추론 토큰, 비용과 지연 시간까지 함께 평가해야 하며, 단계별 난도에 맞춰 추론량을 동적으로 배분하는 능력이 중요하다.