Your Agent Aced the Task. Will It Do It Again?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ALTK-Evolve의 일관성 가이드라인은 AppWorld에서 GPT-4.1 ReAct 에이전트의 평균 정확도를 높이면서, 평균 성공률과 5회 모두 성공한 과제 비율의 격차를 24.4pp에서 12.0pp로 줄였다.

📌 핵심 요약

• AppWorld test_normal의 168개 과제에서 GPT-4.1 기반 ReAct 에이전트는 Mean@5 77.4%를 기록했지만, 5회 모두 성공한 과제 비율인 Pass^5는 53.0%였다. 일관성 격차는 24.4pp이며 어려운 과제에서는 30pp에 달했다.
• 원문은 비슷한 확률의 선택지가 경합하는 결정에서 작은 실행 환경 변화가 선택을 뒤집을 수 있다고 설명한다. 실험 에이전트는 temperature 0.0으로 실행했으며, 탐욕적 디코딩이나 고정 시드만으로 일관성이 보장되지는 않는다고 주장한다.
• Consistency Analyzer는 기록된 궤적 하나를 바탕으로 결정 단계마다 모델을 한 번 추가 호출해 기본 k=5개의 응답을 재표집한다. 정답, 로짓, 모델 내부 정보, 새로운 도구 호출이나 환경 재실행 없이 불안정한 결정을 찾아 ALTK-Evolve의 일관성 가이드라인 생성에 활용한다.
• 과제별 단일 기준 궤적으로 가이드라인을 생성하고 새로운 5회 실행으로 평가하자, GPT-4.1의 Pass^5는 53.0%에서 69.0%로, Mean@5는 77.4%에서 81.0%로 상승했다. Pass^5 개선 폭은 중간 난도 22.9pp, 어려운 난도 14.3pp, 쉬운 난도 12.2pp였으며 모든 난도에서 평균 정확도가 유지되거나 개선됐다.
• 같은 AppWorld 시나리오의 다른 관련 과제에서도 GPT-4.1의 Pass^5가 13.0pp 개선됐다. gpt-oss-120b에서는 동일 과제의 Pass^5가 10.1%에서 16.1%로 상승했고, 유사 과제 개선 폭은 8.7pp로 동일 과제의 6.0pp보다 컸다.

🧩 주요 포인트

1. Mean@k는 평균 성능, Pass^k는 모든 반복 실행의 성공을 측정함 → 두 지표를 함께 보고해야 반복 요청의 신뢰성을 구분할 수 있음.
2. Consistency Analyzer는 실패 여부보다 결정의 불안정성을 탐지함 → 이번에 성공한 단계도 다음 실행의 실패 후보로 진단할 수 있음.
3. 평균 정확도 유지·개선과 유사 과제의 Pass^5 상승이 함께 관찰됨 → 일관성 가이드라인은 성능을 희생하지 않는 안정화와 재사용 가능성을 보여주지만, 근거는 제시된 AppWorld 실험 범위에 있음.

🧠 상세 정리

1. 한 번의 성공과 반복 가능한 성공의 차이

원문은 리허설에서는 성공한 에이전트가 실제 시연에서는 다른 경로를 선택해 같은 과제에 실패하는 상황에서 출발한다. 운영 환경에서는 사용자가 같은 요청을 다시 했을 때 이전에 성공한 작업 흐름이 실패할 수 있다는 신뢰성 문제이며, 금융 거래 대사나 계약상 의무 확인처럼 중요한 업무에서는 도입을 막는 요인이 될 수 있다. AppWorld의 GPT-4.1 기반 ReAct 에이전트는 5회 반복 실행의 평균 성공률이 77.4%였지만, 5회 모두 성공한 과제는 53.0%에 그쳤다. 기존 ALTK-Evolve는 과거 실행 궤적에서 재사용 가능한 지침을 자동 추출해 추론 시 제공함으로써 과제 성공률을 높였으나, 앞선 평가도 평균 성능에 초점을 맞췄다. 이번 글은 그 한계를 보완하기 위해 Consistency Analyzer와 새로운 유형인 일관성 가이드라인을 도입하고, 반복 실행 사이의 성공 편차를 직접 측정하고 줄이는 방법을 제시한다.

2. Mean@k, Pass^k, Pass@k의 구분

Mean@k는 벤치마크를 k회 실행한 평균 성공률로, 에이전트가 평균적으로 얼마나 잘하는지를 나타내며 일반적인 평가에서는 k=3이나 단 한 번의 실행도 사용된다. 반면 Pass^k는 동일 과제를 k회 독립적으로 실행했을 때 모든 실행에서 성공한 과제의 비율로, 같은 질문을 다시 해도 성공할 수 있는지를 평가한다. 이를 적어도 한 번 성공하면 인정하는 Pass@k와 혼동해서는 안 되며, 원문은 결과를 검증하고 재시도할 수 있는 상황에서는 Pass@k가 적절하다고 설명한다. 세 지표에는 항상 Pass^k ≤ Mean@k ≤ Pass@k라는 관계가 성립하고, 일관성 격차는 Mean@k에서 Pass^k를 뺀 퍼센트포인트 값으로 정의된다. GPT-4.1의 77.4%와 53.0% 사이에 있는 24.4pp의 차이는 평균 성능만으로는 반복 요청의 신뢰성을 알 수 없다는 핵심 근거이며, 원문은 능력과 일관성을 별개의 평가 축으로 다룬다.

3. 결정이 뒤집히는 원인과 디코딩 설정의 한계

LLM 에이전트의 API 선택, 인자 지정, 재시도 여부 같은 결정은 다음 토큰의 확률분포에서 나오며, 원문은 이 분포가 뾰족한지 평평한지가 안정성에 영향을 준다고 설명한다. 하나의 토큰에 확률이 집중되면 작은 수치 변화에도 우세한 선택이 유지되지만, 여러 토큰의 확률이 비슷하면 작은 교란으로 순위가 바뀔 수 있다. GPU 부동소수점 연산의 비결합성이나 요청 배치 처리 같은 플랫폼 요인은 이런 근소한 차이를 흔들 수 있고, 수십 개의 결정이 이어지는 궤적에서는 단계별 작은 불안정성이 누적된다. 탐욕적 디코딩과 고정 시드는 확률분포를 토큰으로 변환하는 방식을 제어할 뿐 분포 자체를 고정하지 않으므로, 호스팅된 엔드포인트에서는 같은 프롬프트와 모델도 다른 선택을 할 수 있다는 주장이다. 실험의 ReAct 에이전트는 temperature 0.0으로 실행됐으며, 원문은 관찰된 변동을 일반적인 샘플링 무작위성으로 설명하지 않는다.

4. 기록된 궤적 하나로 불안정한 결정 진단

Consistency Analyzer는 기록된 실행 궤적 하나를 받아 각 결정 시점의 기존 문맥을 통제된 재표집에 사용하고, 해당 시점에서 모델 출력이 얼마나 달라지는지 측정한다. 구체적으로는 결정 단계마다 모델을 한 번 추가 호출하면서 k개의 응답을 한꺼번에 요청하며, 기본값은 k=5이고 이 진단은 오프라인에서 한 차례 수행된다. 이미 기록된 문맥을 다시 사용하므로 새로운 도구 호출이나 환경 상호작용이 없고, 과제 전체를 처음부터 끝까지 재실행하는 방식도 아니다. 결과는 단계별 일관성 점수로 정리돼 다음 실행에서 선택이 뒤집힐 위험이 있는 결정을 가리킨다. 로짓, 모델 내부 정보, 별도의 계측이나 정답이 필요 없는 블랙박스 방식이어서, 원문은 전체 과제를 다시 실행하기 어려운 운영 트래픽에도 활용할 수 있다는 점을 강조한다.

5. 진단을 재사용 가능한 가이드라인으로 전환

진단에서 표시된 각 단계는 ALTK-Evolve의 표준 형식에 맞는 일관성 가이드라인 후보가 되며, 기존 저장·검색 체계에 연결된다. SimpleNote 메모에서 버킷리스트의 완료 활동 수를 묻는 AppWorld 과제에서는, 제목의 범례에도 체크 표시가 반복될 수 있으므로 단순 부분 문자열 개수 대신 줄 시작에 고정된 정규식으로 세라는 지침이 생성됐다. 또 다른 지침은 메모 검색 결과가 여러 개일 수 있음을 확인하고 올바른 메모를 선택한 뒤 진행하도록 했다. 원문은 이를 특정 과제의 사소한 정보를 외우는 방식으로 보지 않고, 여러 과제에 나타나는 문자열 계수와 검색 결과 검증의 불확실성을 줄이는 방법으로 설명한다. 분석기는 실패 자체보다 불안정성을 겨냥하므로 이번 실행에서 우연히 맞힌 단계도 포착할 수 있으며, 소개된 2분 시연에서는 계수 전략 때문에 3 대 2로 갈렸던 다섯 실행이 지침 제공 후 모두 같은 결과를 냈다.

6. 동일 과제 평가와 난도별 개선

평가는 AppWorld test_normal의 168개 과제에서 GPT-4.1 기반 ReAct 에이전트를 사용해 진행했으며, 과제마다 기준 실행 궤적 하나로 가이드라인을 만들고 새로운 5회 실행에서 효과를 측정했다. 전체 Pass^5는 53.0%에서 69.0%로 16.0pp 상승했고, Mean@5도 77.4%에서 81.0%로 높아져 일관성 격차가 24.4pp에서 12.0pp로 거의 절반 줄었다. 원문은 이전에 일관되지 않았던 과제 중 거의 3분의 1이 모든 실행에서 성공하는 과제로 바뀌었다고 설명한다. 난도별 Pass^5 개선 폭은 중간 난도 22.9pp로 상대 증가율 44%, 어려운 난도 14.3pp로 상대 증가율 45%였으며, 쉬운 난도는 12.2pp 개선됐다. 평균 정확도를 희생하지 않는 것이 평가의 필수 조건이었고, 실제로 모든 난도에서 Mean@5가 유지되거나 상승했다는 결과가 제시됐다.

7. 관련 과제로의 전이와 다른 모델의 결과

가이드라인을 추출한 과제와 동일한 AppWorld 시나리오에 속하지만 내용은 다른 관련 과제에 적용했을 때도 GPT-4.1의 Pass^5는 13.0pp 상승했다. 이는 동일 과제 개선 폭인 16.0pp보다 3.0pp 낮은 수치로, 지침이 원래 실행 하나에만 맞춰진 수정이 아니라 관련 과제에도 이전될 수 있음을 뒷받침한다. 원문이 더 약한 모델로 소개한 gpt-oss-120b에서는 동일 과제의 Pass^5가 낮은 기준치인 10.1%에서 16.1%로 올라 6.0pp 개선됐다. 이 모델의 유사 과제 개선 폭은 8.7pp로 동일 과제보다 오히려 컸으며, 저자들은 이를 특정 궤적의 세부 사항을 암기하기보다 재사용 가능한 실패 패턴을 포착했을 가능성을 시사하는 결과로 해석한다. 다만 제시된 전이 평가는 같은 AppWorld 시나리오의 관련 과제를 대상으로 하므로, 이 결과 자체가 모든 종류의 과제에서 같은 효과를 보장하는 것은 아니다.

8. 운영 평가에 대한 제안과 공개 자료

원문은 에이전트를 배포할 때 Mean@k와 Pass^k를 함께 보고하고, k=3의 반복만으로도 평균값에 가려진 격차를 드러낼 수 있다고 제안한다. 특히 어려운 과제에서는 일관성 격차가 커질 수 있으므로 전체 평균 하나에 의존하는 해석을 경계하며, 실험의 어려운 과제에서는 격차가 30pp에 달했다고 밝힌다. 더 강한 모델이 평균 성능을 높일 수 있어도 일관성 격차까지 반드시 줄이는 것은 아니라는 이유로, 모델 규모 확대부터 시도하기보다 불안정한 결정을 진단하는 접근을 강조한다. 진단은 결정 단계마다 기본 5개 응답을 요청하는 추가 LLM 호출 한 번을 필요로 하지만, 정답 평가기나 실제 환경에서의 전체 재실행은 요구하지 않는다. Consistency Analyzer와 가이드라인 생성 기능은 공개 ALTK-Evolve 저장소인 github.com/AgentToolkit/altk-evolve에 포함돼 있으며, 전체 방법론과 평가는 arXiv 기술 보고서, 동작 예시는 2분 시연 영상으로 안내된다.

🧾 핵심 주장 / 시사점

• 평균 성공률이 높아도 동일 요청의 반복 성공은 크게 낮을 수 있으므로, 에이전트의 능력과 일관성은 함께 측정해야 하는 별개의 특성이다.
• 성공한 실행에도 불안정한 결정이 포함될 수 있다는 관점은, 실패 사례만 분석할 때 놓칠 수 있는 다음 실행의 위험을 드러낸다.
• 유사 과제에서도 개선이 관찰된 점은 가이드라인의 재사용 가능성을 뒷받침하지만, 제시된 결과를 AppWorld 밖의 모든 환경으로 일반화할 근거는 제공되지 않았다.

✅ 액션 아이템

• 반복 요청의 신뢰성 평가에 Mean@k와 Pass^k를 함께 사용하고 일관성 격차를 비교함.
• Consistency Analyzer의 기록된 궤적 기반 진단으로 성공한 실행에도 남아 있는 불안정한 결정을 확인함.
• 일관성 가이드라인의 효과를 평균 정확도 유지·개선과 동일·유사 과제의 Pass^5 변화로 평가함.

❓ 열린 질문

• AppWorld에서 어려운 과제의 일관성 격차가 30pp에 달한 데에는 어떤 결정 단계의 불안정성이 크게 기여했는가?
• Consistency Analyzer의 기본 k=5를 변경하면 불안정한 결정의 탐지 결과는 어떻게 달라지는가?
• gpt-oss-120b에서 유사 과제의 Pass^5 개선 폭 8.7pp가 동일 과제의 6.0pp보다 컸던 이유는 무엇인가?