ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ALTK-Evolve는 모델 가중치 변경 없이 학습한 지침을 프롬프트에 추가해 GPT-4.1 기반 고객서비스 에이전트의 τ²-bench 소매 Pass^4를 67.5%로 높였으며, 저자들의 2026년 10월 12일 리더보드 스냅샷에서 소매 부문 모든 출품작을 앞섰다.

📌 핵심 요약

• ALTK-Evolve는 GPT-4.1로 학습 과제의 성공·실패 기록에서 행동 지침을 추출하고, 이를 같은 모델을 사용하는 기본 ReAct 에이전트의 시스템 프롬프트에 추가한다. 모델 가중치 업데이트나 사람의 주석 작업은 필요하지 않으며, 추출한 지침은 홀드아웃 테스트에 그대로 적용한다.
• GPT-4.1의 소매 홀드아웃 40개 과제에서 lossless 구성은 평균 정확도를 78.1%에서 82.5%로, 네 번의 독립 시도에서 모두 성공한 과제 비율인 Pass^4를 57.5%에서 67.5%로 높였다.
• GPT-4.1의 항공 홀드아웃 20개 과제에서는 lossless 구성이 평균 정확도 65.0%로 가장 높았지만, Pass^4는 지침 14개의 sup3 구성이 45.0%로 lossless의 40.0%보다 높았다. 기준선은 평균 정확도 57.5%, Pass^4 35.0%였다.
• 전체 base split에서 대화당 에이전트·고객 시뮬레이터 합산 비용은 소매 lossless가 0.084달러에서 0.139달러로 65%, 항공 lossless가 0.081달러에서 0.107달러로 32% 증가했다. 반면 기준선과 지침 구성에서 모두 성공한 동일 과제·시드의 테스트 실행에서는 어떤 지침 구성도 평균 대화 턴 수를 늘리지 않았다.
• 지침 추출과 에이전트에 모두 gpt-5.5를 사용한 항공 홀드아웃 실험에서도 lossless는 평균 정확도를 72.5%에서 82.5%로, Pass^4를 55.0%에서 70.0%로 높였다. 리더보드 수치는 학습·테스트를 합친 전체 base split 기준이므로 홀드아웃 결과와 구분해야 한다.

🧩 주요 포인트

1. 같은 모델이 경험에서 지침을 추출하고 이를 실행에 활용한다는 점에서, ALTK-Evolve의 개선은 가중치 학습 없이 프롬프트에 축적한 행동 지식의 효과를 보여준다.
2. 소매는 전체 지침을 쓰는 lossless, 항공의 GPT-4.1 Pass^4는 소수 지침을 쓰는 sup3가 우세하다. 지침의 양과 여러 학습 과제에서 반복 추출된 정도인 support 기준은 도메인과 정확도·신뢰성 목표에 맞춰 조정할 변수다.
3. 대화당 비용 상승과 성공 실행의 턴 수 감소가 함께 관찰됐다. 따라서 입력 토큰 비용과 처리 지연 가능성을 나눠 평가하고, 전체 base split의 순위와 홀드아웃 성능을 별도로 해석할 필요가 있다.

🧠 상세 정리

1. 경험에서 추출한 지침으로 GPT-4.1 성능 개선

ALTK-Evolve는 고객서비스 에이전트의 과거 과제 수행 기록을 분석해, 성공과 실패에서 얻은 교훈을 짧은 행동 지침으로 바꾸는 방식이다. 지침 추출과 실제 고객 응대를 모두 GPT-4.1이 담당하며, 모델 가중치를 업데이트하거나 사람이 학습 기록에 주석을 달 필요는 없다. 저자들은 이전에 코딩 에이전트에서 시험한 접근을 고객서비스로 확장해, 정책 준수와 고객 의도 파악, 올바른 도구 실행이 필요한 환경에서도 효과가 있는지 살폈다. 변경 사항은 기본 ReAct 에이전트의 시스템 프롬프트에 학습한 지침을 덧붙이는 것으로 제한했다. 글의 핵심 주장은 오래된 비추론 모델인 GPT-4.1도 이러한 경험 기반 지침을 활용하면 τ²-bench 소매 부문에서 강한 신뢰성을 보일 수 있다는 것이다.

2. 정책과 최종 데이터베이스 상태로 판정하는 평가

Sierra의 τ²-bench는 목표를 가진 LLM 고객 시뮬레이터, 주문 조회·환불·항공편 변경 등의 도구, 에이전트가 따라야 할 정책 문서로 고객서비스 과제를 구성한다. 에이전트는 필요한 정보를 고객에게 확인하고 정책을 지키면서 적절한 행동을 수행해야 하며, 그 행동은 되돌릴 수 없는 경우도 있다. 성공 여부는 대화의 인상이나 부분적인 진척이 아니라 최종 데이터베이스 상태가 기대 결과와 일치하는지에 따라 이진 값으로 판정한다. 기본 실험은 소매와 항공 도메인에서 에이전트에 gpt-4.1, 고객 시뮬레이터에 gpt-5.5를 사용하고 과제마다 네 번 실행했다. THINK → ACT의 두 단계 ReAct 구조와 정책·도구는 벤치마크 기본 설정을 유지했으며, 학습 과제에서 추출한 지침만 정책 뒤에 일반 마크다운 목록으로 추가해 홀드아웃 테스트에 그대로 적용했다.

3. 지침 구성과 능력·신뢰성의 구분

학습 지침에는 고객 인증, 데이터베이스 변경 전 명시적 승인 확보, 반품·교환의 환불 내역과 시점 안내, 도구 호출과 고객 메시지를 한 턴에 섞지 않는 행동 등이 포함된다. 각 지침의 support는 그 지침이 추출된 서로 다른 학습 과제의 수이며, 높은 값은 여러 과제에서 반복해서 나타난 규칙이라는 뜻이다. 비교 구성은 지침이 없는 baseline, support가 3 이상인 지침만 남긴 sup3, 통합 후 유지된 support 1 이상의 지침을 모두 쓰는 lossless다. 소매의 지침 수는 각각 0개·31개·292개이고, 항공은 0개·14개·101개다. 평가는 네 번의 시도에 걸친 평균 성공률인 평균 정확도와 네 번 모두 성공한 과제의 비율인 Pass^4를 함께 사용해, 평균적인 수행 능력과 반복 실행의 신뢰성을 구분한다. τ²-bench 리더보드가 사용하는 지표는 이 가운데 Pass^4다.

4. GPT-4.1의 개선 폭과 도메인별 차이

소매 홀드아웃 40개 과제에서 baseline의 평균 정확도와 Pass^4는 각각 78.1%와 57.5%였고, sup3는 78.8%와 60.0%, lossless는 82.5%와 67.5%를 기록했다. 따라서 소매에서는 전체 지침을 제공한 lossless가 평균 정확도를 4.4%포인트, Pass^4를 10.0%포인트 높이며 두 지표 모두 가장 좋았다. 항공 홀드아웃 20개 과제에서는 baseline이 57.5%와 35.0%, sup3가 60.0%와 45.0%, lossless가 65.0%와 40.0%였다. 항공은 lossless가 평균 정확도를 가장 많이 높였지만, 반복 실행의 신뢰성은 지침 14개만 제공한 sup3가 더 높았다. 이 차이는 지침을 많이 넣는 것이 모든 목표에서 최선은 아니며, support 기준을 도메인과 평가 목표에 맞춰 조정해야 한다는 저자들의 해석을 뒷받침한다.

5. 추가 비용은 주로 입력 토큰에서 발생

저자들은 지침의 이득에 비용이 따른다는 점을 인정하면서, 증가분이 주로 길어진 시스템 프롬프트의 입력 토큰에서 발생한다고 설명한다. 전체 base split에서 네 번의 시도를 대상으로 계산한 대화당 비용은 에이전트와 고객 시뮬레이터 사용료를 합친 값이다. 소매는 baseline 0.084달러에서 sup3 0.095달러로 12%, lossless 0.139달러로 65% 증가했다. 항공은 baseline 0.081달러에서 sup3 0.097달러로 19%, lossless 0.107달러로 32% 증가해, 소매의 대규모 지침 구성보다 비용 증가 폭이 작았다. 저자들은 모든 호출에 동일한 지침 블록이 들어가므로 실제 운영에서는 프롬프트 캐싱으로 비용의 상당 부분을 줄일 수 있다고 주장하지만, 본문에는 캐싱을 적용한 비용 측정치가 제시되지 않는다.

6. 성공 조건을 맞춘 비교에서는 대화가 짧아짐

대화 길이를 비교할 때는 기준선과 해당 지침 구성에서 모두 성공한 동일 과제·시드의 실행만 골라, 성공 여부 차이가 턴 수 비교에 섞이지 않도록 했다. 소매의 baseline과 sup3 공통 성공 실행 108개에서는 평균 턴 수가 10.40에서 10.35로, baseline과 lossless의 공통 성공 실행 111개에서는 10.59에서 10.16으로 줄었다. 항공에서도 sup3 비교의 공통 성공 실행 38개는 8.97에서 8.53으로, lossless 비교의 40개는 9.15에서 8.82로 감소했다. 이 공통 성공 집합에서는 어떤 지침 구성도 평균 대화 턴 수를 늘리지 않았으며, lossless는 두 도메인에서 약 0.3~0.4턴을 줄였다. 저자들은 각 턴이 순차적인 LLM 왕복 호출이므로 턴 수 감소가 고객의 처리 완료 시간 단축으로 이어진다고 해석하지만, 제시된 표는 실제 지연 시간 대신 턴 수를 측정한다.

7. 프런티어 모델에서도 유지된 개선

저자들은 학습 지침이 약한 모델의 부족한 부분만 보완하는 것 아니냐는 반론을 검토하기 위해, 항공 도메인에서 에이전트와 지침 추출 모델을 모두 gpt-5.5로 바꿔 다시 실험했다. 같은 τ²-bench ReAct 구조를 사용하되 해당 에이전트 자신의 실행 기록에서 지침을 새로 추출했으며, support가 최대 2였기 때문에 압축 구성은 sup3 대신 sup2를 사용했다. 홀드아웃 20개 과제에서 baseline은 평균 정확도 72.5%와 Pass^4 55.0%였고, 지침 103개의 sup2는 80.0%와 70.0%, 지침 146개의 lossless는 82.5%와 70.0%였다. lossless의 개선 폭은 평균 정확도 10.0%포인트와 Pass^4 15.0%포인트로, 같은 항공 과제에서 GPT-4.1이 보인 최대 신뢰성 개선 폭 10.0%포인트보다 컸다. 저자들은 기준선 신뢰성이 재실행 사이에서 변동한 반면 lossless 결과는 정확히 재현됐다고 덧붙이며, 더 강한 모델에서도 경험 기반 지침의 효과가 남는다고 주장한다.

8. 리더보드 1위의 범위와 제공 자료의 한계

τ²-bench 리더보드 제출 점수는 학습 과제와 테스트 과제를 합친 전체 base split의 Pass^4이므로, 앞서 제시한 홀드아웃 테스트 성능과 평가 범위가 다르다. 저자들은 학습 지침을 적용한 GPT-4.1 소매 에이전트가 이 전체 집합에서 Pass^4 67.5%를 기록해, 2026년 10월 12일 스냅샷의 모든 소매 출품작을 앞섰다고 보고한다. 본문 말미는 프런티어 모델들과 RAFT-3보다 높은 결과라고 서술하지만, 제공된 source_body는 RAFT-3 언급 직후에 끝난다. 따라서 이 자료만으로는 이어지는 비교의 세부 조건이나 항공 리더보드 순위를 확인할 수 없으며, 보조 outline에 등장하는 추가 순위와 수치를 확정 사실로 포함할 근거도 부족하다. 결과를 해석할 때는 전체 base split의 순위 주장과 별도 홀드아웃에서 관찰한 일반화 성능을 구분해야 한다.

🧾 핵심 주장 / 시사점

• GPT-4.1과 gpt-5.5 모두에서 개선이 나타나, 이번 실험 범위에서는 경험을 행동 지침으로 정리하는 방식의 효과가 오래된 모델에만 한정되지 않았다.
• 항공의 lossless는 평균 정확도에서, sup3는 Pass^4에서 우세하므로, 평균적인 성공률을 높이는 선택과 반복 실행의 신뢰성을 높이는 선택이 달라질 수 있다.
• 성공 실행의 턴 수 감소와 대화당 비용 증가는 동시에 성립한다. 프롬프트 길이의 비용, 대화 진행 효율, 실제 지연 시간을 구분해서 해석할 필요가 있다.

✅ 액션 아이템

• GPT-4.1의 소매 lossless와 항공 sup3 결과를 기준으로, 도메인별 지침 양과 support 기준의 조정 필요성 검토.
• lossless의 소매 비용 65%·항공 비용 32% 증가를 성공 실행의 턴 수 변화와 함께 비교해 비용과 처리 효율 평가.
• τ²-bench의 전체 base split 순위와 홀드아웃 성능을 구분해 ALTK-Evolve의 개선 효과 해석.

❓ 열린 질문

• GPT-4.1 항공에서 lossless의 평균 정확도는 65.0%로 높지만 Pass^4는 sup3의 45.0%보다 낮은 이유는 무엇인가?
• 소매 lossless의 대화당 비용 65% 증가와 성공 실행의 턴 수 감소를 함께 고려하면 비용 대비 처리 효율은 어떻게 평가할 수 있는가?
• 전체 base split과 홀드아웃의 평가 범위 차이는 ALTK-Evolve의 τ²-bench 순위와 일반화 성능 해석에 어떤 영향을 주는가?