Thinking of ACE? We Can Do It with Fewer Tokens

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ACE와 ALTK-Evolve는 에이전트 경험을 압축하지 않고 재사용한다는 원칙은 같지만, ALTK-Evolve는 모델 역량에 맞춰 지침 전달량을 조절해 AppWorld에서 같거나 더 높은 정확도를 훨씬 적은 추론 토큰으로 달성했다.

📌 핵심 요약

• 현실적인 다단계 작업에서 LLM 에이전트의 실패는 지식 부족보다 API 페이지 처리, 대상 식별, 반환값 판단처럼 이미 아는 도구를 안정적으로 사용하는 방법을 내재화하지 못한 데서 주로 발생한다.
• ACE와 ALTK-Evolve는 가중치 업데이트나 사람의 라벨 없이 과거 궤적에서 교훈을 추출하며, 이를 짧은 요약으로 압축하지 않고 항목별 근거 횟수를 보존한다.
• ACE는 하나의 종합 플레이북을 모든 단계에 고정적으로 주입하지만, ALTK-Evolve는 고지지 지침의 고정 핵심과 작업별 검색 결과를 조합하거나 모델 역량이 충분할 때 전체 통합 지침을 제공한다.
• DeepSeek-V3.2에서 ALTK-Evolve는 TGC/SGC 89.3/80.4와 과제당 263K 토큰을 기록해 ACE의 80.4/73.2와 634K보다 높은 성과를 약 40%의 추론 비용으로 달성했다.
• gpt-oss-120b에서 ALTK-Evolve는 56.0/37.5와 116K를, ACE는 54.8/35.7과 777K를 기록했으며, 저자들은 실행 간 변동을 고려해 정확도는 사실상 동률이지만 비용은 약 7분의 1이라고 평가했다.

🧩 주요 포인트

1. 개별 교훈과 독립 에피소드의 지지 횟수를 그대로 보존한다는 공통 설계는 경험의 세부 정보와 근거 강도를 잃지 않게 하며, ACE의 항목별 카운터와 ALTK-Evolve의 지원 횟수는 같은 목적을 수행한다.
2. 전체 플레이북을 매 단계 보내는 ACE와 모델·작업에 따라 전달량을 보정하는 ALTK-Evolve의 차이는 메모리 내용보다 제공 방식이 추론 비용과 활용도에 직접 영향을 준다는 점을 보여준다.
3. AppWorld test_normal 168개 과제의 동일 분할과 동일 기본 모델에서 두 시스템을 자체 실행한 비교는 TGC·SGC와 토큰/과제를 함께 측정했지만, 프롬프트 템플릿 차이로 무메모리 기준선이 달라 기준선 격차 자체에는 주장을 두지 않았다.

🧠 상세 정리

1. 현실적 에이전트 실패와 학습 대상

원문은 비용 분할, 노래 검색, 여러 모의 앱에 걸친 주문 대조처럼 현실적인 다단계 작업에서 에이전트가 실패하는 원인을 지식 부족과 구분한다. 모델은 API 자체를 알고 있어도 페이지 처리를 잘못하거나, 동명이인 가운데 잘못된 대상을 선택하거나, 반환값이 요구되지 않은 상황에서 값을 출력할 수 있다. 따라서 학습해야 할 대상은 새로운 사실보다 이미 알고 있는 API와 도구를 상황에 맞게 안정적으로 사용하는 절차다. ACE와 ALTK-Evolve는 이런 실패와 성공이 담긴 에이전트 자신의 과거 궤적을 재사용 가능한 교훈으로 바꾸고, 추론 시 다시 제공함으로써 같은 유형의 실행 오류를 줄이려 한다.

2. ACE와 ALTK-Evolve가 공유하는 비압축 원칙

두 시스템은 에이전트가 어렵게 얻은 경험을 짧고 깔끔한 규칙 몇 개로 압축하지 않는다는 핵심 원칙에 동의한다. ACE는 최적화 과정에서 지침이 짧고 일반적으로 변하는 간결성 편향과, 전체 문맥을 반복해서 다시 쓰는 동안 세부 내용이 사라지는 문맥 붕괴를 명시적인 실패 유형으로 본다. 이에 따라 풍부한 항목형 플레이북을 유지하고 각 항목에 도움이 된 횟수와 해가 된 횟수를 기록한 뒤, 읽는 시점에 모델이 관련성을 판단하게 한다. ALTK-Evolve도 각 지침을 만들어 낸 독립 에피소드 수를 지원 횟수로 보존하므로, 여러 과제에서 반복된 교훈과 한 번만 나타난 교훈을 구별하면서 둘 다 저장한다.

3. 메모리 저장소를 구축하는 방식의 차이

ACE는 생성기, 성찰기, 큐레이터로 이어지는 반복 구조를 통해 하나의 진화하는 플레이북을 확장하며, 증분 변경과 임베딩 기반 중복 제거를 적용한다. ALTK-Evolve는 서로 가까운 중복 교훈을 군집화한 뒤 군집 안에서 병합하되, 병합된 지침이 기존 지원 횟수의 합을 이어받도록 설계한다. 이 방식은 저장 항목 수를 줄이면서도 각 지침을 뒷받침한 경험의 양을 잃지 않는 지원 보존형 통합이다. 또한 전략, 복구, 최적화 유형으로 지침을 추출하고 원인 귀속과 원본 궤적의 출처를 남기며, 하위 과제 단위로 다뤄 한 앱에서 얻은 교훈을 다른 앱의 관련 작업에 활용할 수 있게 한다.

4. 추론 시 전달 방식과 토큰 비용

가장 큰 차이는 저장된 교훈 자체보다 추론 시 모델에 무엇을 얼마나 전달하는지에 있다. ACE는 모델이나 과제에 관계없이 종합 플레이북 전체를 매 단계 주입하는 고정 방식을 사용한다. ALTK-Evolve는 지원 횟수가 높은 소규모 고정 핵심을 두고, 과제별로 코사인 유사도 또는 LLM 기반 선택과 우선순위를 이용해 관련 지침 몇 개를 추가하거나, 모델이 감당할 수 있을 때 전체 통합 지침을 제공한다. 저자들은 ACE가 문맥을 저렴하게 구축하는 효율성에 초점을 둔다면 ALTK-Evolve의 비용 절감은 필요한 지침만 제공하는 서빙 단계에서 발생한다고 구분한다. 결국 같은 종류의 교훈을 보유하더라도 매 단계 전체를 보내는지, 모델과 과제에 맞게 전달량을 보정하는지가 토큰 청구액을 결정한다.

5. DeepSeek-V3.2에서의 성능과 비용

AppWorld test_normal에서 DeepSeek-V3.2 기반 ACE는 106개 지침으로 TGC 80.4, SGC 73.2, 과제당 634K 토큰을 기록했다. 전체 통합 지침 191개를 활용한 ALTK-Evolve는 TGC 89.3, SGC 80.4, 과제당 263K 토큰을 기록해 두 지표 모두 ACE를 앞섰고, 토큰 사용량은 ACE의 약 40%였다. 난이도별 TGC에서도 ALTK-Evolve는 쉬움 94.7 대 84.2, 어려움 77.8 대 61.9, 전체 89.3 대 80.4로 우세했다. 중간 난이도에서는 ACE가 100.0으로 ALTK-Evolve의 97.9를 앞섰지만, 전체 결과는 ALTK-Evolve가 더 높았다. 저자들은 역량이 강한 DeepSeek-V3.2에는 전체 통합 지침을 제공했으며, 이 모델에서는 더 많은 교훈이 서로를 방해하기보다 계속 도움을 주었다고 설명한다.

6. gpt-oss-120b에서의 선택적 검색 효과

gpt-oss-120b에서 ACE는 전체 플레이북을 사용해 TGC 54.8, SGC 35.7, 과제당 777K 토큰을 기록했다. 약 29개의 지침을 선택적으로 제공한 ALTK-Evolve는 TGC 56.0, SGC 37.5, 과제당 116K 토큰을 기록해 수치상 조금 앞서면서 토큰 사용량을 약 7분의 1로 줄였다. 다만 ALTK-Evolve의 반복 실행 결과가 TGC 54.8로 ACE와 같았기 때문에 저자들은 정확도 차이를 벤치마크의 실행 간 변동 범위에 있는 사실상 동률로 판단했다. 난이도별로는 ACE가 쉬움 84.2 대 82.5와 중간 60.4 대 56.2에서 우세했지만, 어려움에서는 ALTK-Evolve가 31.8로 ACE의 23.8을 앞섰다. 이 어려운 과제의 차이가 전체 TGC에서 ALTK-Evolve가 56.0 대 54.8로 앞서는 결과로 이어졌다.

7. 모델 역량에 따른 전달량 보정

원문은 모든 모델에 같은 크기의 메모리 문맥을 제공하는 대신, 각 모델이 실제로 활용할 수 있는 양에 맞춰 전달 방식을 달리해야 한다고 설명한다. gpt-oss-120b에서는 전체 플레이북이 쉬움과 중간 난이도에 도움이 됐지만, 어려운 과제에서는 많은 지침을 훑는 것보다 관련 교훈을 선택하는 방식이 더 높은 결과를 냈다. 반면 더 강한 DeepSeek-V3.2에는 ALTK-Evolve의 전체 통합 지침을 제공했고, ACE가 중간 난이도에서 앞선 경우를 제외하면 쉬움, 어려움, 전체에서 ALTK-Evolve가 우세했다. 저자들은 큰 문맥이 약한 모델에는 도움보다 부담이 될 수 있다고 보고, 강한 모델에는 전체 집합을, 약한 모델에는 선택적 검색을 적용했다. 역량 구간별로 정확히 얼마를 주입해야 하는지는 이번 글에서 확정하지 않고 후속 글의 주제로 남겼다.

8. 평가 설계와 결과 해석의 범위

평가는 AppWorld test_normal의 168개 과제를 대상으로 했으며, 각 단계에서 파이썬 코드를 작성하고 환경의 출력을 받는 동일한 ReAct 코드 에이전트를 사용했다. 메모리는 학습 및 개발 분할에서만 채굴했고, 결과는 이 벤치마크의 표준에 따라 단일 실행 pass@1로 측정했으며 TGC는 과제 목표 완료, SGC는 시나리오의 모든 변형 완료를 뜻한다. ACE 수치는 ACE 논문의 DeepSeek-V3.1 결과를 가져온 것이 아니라, ALTK-Evolve와 같은 분할 및 DeepSeek-V3.2·gpt-oss-120b 기본 모델로 자체 실행한 값이다. 두 시스템은 같은 ReAct 에이전트를 사용하지만 프롬프트 템플릿이 달라 DeepSeek-V3.2의 무메모리 전체 TGC 기준선이 ALTK-Evolve 측 79.8과 ACE 측 72.0으로 달랐다. 저자들은 이 기준선 격차를 비교 근거로 삼지 않고, 메모리 적용 뒤 같거나 더 높은 정확도를 훨씬 적은 토큰으로 달성했다는 결과에 주장을 한정한다.

🧾 핵심 주장 / 시사점

• ACE와 ALTK-Evolve의 비용 차이는 교훈을 얼마나 싸게 생성했는지가 아니라, 저장된 교훈을 매 추론 단계에 전부 보낼지 필요한 만큼만 보낼지에서 발생했다.
• gpt-oss-120b의 난이도별 결과는 전체 플레이북이 쉬움과 중간 과제에서는 유리할 수 있지만, 어려운 과제에서는 선택적 검색이 더 높은 TGC를 낼 수 있음을 보여준다.
• DeepSeek-V3.2와 gpt-oss-120b에 서로 다른 구성을 적용한 결과는 메모리 전달량을 고정 상수로 두기보다 모델의 활용 역량에 맞춰 보정하는 것이 정확도와 토큰 비용을 함께 좌우한다는 저자들의 결론을 뒷받침한다.

✅ 액션 아이템

• ACE와 ALTK-Evolve 비교에서 전체 플레이북 고정 전달과 모델별 보정 전달이 TGC·SGC 및 토큰/과제에 미치는 차이를 함께 평가.
• DeepSeek-V3.2에서는 ALTK-Evolve의 89.3/80.4와 263K를 ACE의 80.4/73.2와 634K에 대응시켜 결과 해석.
• gpt-oss-120b에서는 ALTK-Evolve의 56.0/37.5와 116K를 ACE의 54.8/35.7과 777K에 대조하되, 정확도는 사실상 동률이라는 저자 판단을 반영.

❓ 열린 질문

• ACE의 전체 플레이북 고정 전달과 ALTK-Evolve의 모델별 보정 전달 가운데 목표 TGC·SGC와 토큰/과제 조건에 더 부합하는 방식은 무엇인가?
• DeepSeek-V3.2에서 ALTK-Evolve의 89.3/80.4와 263K 조합은 ACE의 80.4/73.2와 634K 대비 어떤 선택을 뒷받침하는가?
• gpt-oss-120b에서 정확도가 사실상 동률이라면 ALTK-Evolve의 116K와 ACE의 777K 차이를 선택에 얼마나 크게 반영할 것인가?