Microsoft Just Found a Way to Stop AI Agents Wasting Tokens!
Quick Summary
Microsoft Just Found a Way to Stop AI Agents Wasting Tokens를 중심으로, 에이전트가 잊는 것은 프로젝트 고유의 지식이었다. Claude Code로 SWE bench 과제 60개를 분석한 결과, 이미 5개를 핵심 판단 포인트로 압축 정리한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Microsoft Just Found a Way to Stop AI Agents Wasting Tokens를 중심으로, 에이전트가 잊는 것은 프로젝트 고유의 지식이었다. Claude Code로 SWE-bench 과제 60개를 분석한 결과, 이미 5개를 핵심 판단 포인트로 압축 정리한다.
📌 핵심 요점
- 에이전트가 잊는 것은 프로젝트 고유의 지식이었다. Claude Code로 SWE-bench 과제 60개를 분석한 결과, 이미 5개 이상 과제를 마친 저장소에서는 도구 호출의 30%가 같은 저장소의 이전 작업을 반복했다. 다른 저장소의 작업과 일치한 비율은 7%였다.
- 쓰지 않는 도구와 반복 실패에도 비용이 들었다. 매번 전달한 도구 설명 23개 중 16개에 해당하는 도구는 한 번도 쓰이지 않았다. 실패한 과제는 전체의 17%였지만 총비용의 32%를 차지했다.
- Token Economizer는 세션 기록을 세 가지 방식으로 활용한다. 여러 세션에서 확인한 저장소 지식을 한 줄 메모로 남기고, 쓰지 않는 도구의 설명을 제외한다. 같은 실패가 반복되면 별도 모델이 진행 상황을 판단하고, 개입 후에도 막혀 있으면 사용자에게 알린다.
- 연구진은 저장소 6개에서 과제 277개를 에이전트·모델 조합 5개로 평가했다. 저장소와 조합을 짝지은 30개 평가 조건 모두에서 비용이 줄었다. 첫 시도 해결률은 5개 조합 중 4개에서 올랐고 1개에서 내렸다. 보고된 절감 수치에는 플러그인 자체의 모델 호출 비용도 포함됐다.
- 절감 효과는 작업 환경에 따라 달랐다. 순차적으로 웹 개발 과제를 수행한 Web Bench에서는 비용이 16.0~21.2%, 과제마다 새 저장소를 사용한 보안 감사 평가에서는 6.4~19.6% 줄었다.
🧩 배경과 문제 정의
코딩 에이전트는 새 세션을 시작할 때 지침과 도구 설명, 대화 기록을 다시 읽는다. 같은 저장소에서 어제 확인한 사실을 오늘 다시 찾는 데도 토큰을 쓴다. 영상은 Microsoft Research, UC Berkeley, Microsoft Security의 오픈소스 플러그인 Token Economizer를 소개한다. 이 플러그인은 세션이 끝난 뒤 기록을 읽고 저장소에 대해 알게 된 내용을 갱신해 다음 작업에 활용한다.
🕒 시간순 섹션별 상세정리
1. 새 세션에서 되풀이되는 비용
- 영상은 Microsoft Research가 11월 16일 Token Economizer를 소개했다고 전해진다. 출발점은 코딩 에이전트가 새 세션마다 프로젝트를 다시 파악한다는 관찰이다. [01:09]
- 플러그인은 세션 기록에서 배운 내용을 저장소별로 축적한다. 기존 에이전트와 모델을 그대로 쓰면서 다음 작업에 이 지식을 반영하는 방식이다. [01:30]
2. 도구 호출 기록에서 찾은 세 가지 낭비
- 연구진은 Claude Code가 오픈소스 Python 프로젝트의 버그 수정 과제 60개를 수행하는 과정을 관찰했다. 과제 5개 이상을 마친 저장소에서 도구 호출의 30%가 같은 저장소의 이전 행동과 겹쳤다. [02:09]
- 매번 제공한 도구 23개 중 16개는 한 번도 호출되지 않았다. 또 실패한 과제 17%에 총비용의 32%가 들었다. [02:38]
- 기존 절감 플러그인 세 가지는 저장소에 따라 효과가 달랐다. 연구진은 각 프로젝트의 사용 이력에 맞춰 절감 방식을 조정할 필요가 있다고 해석했다. [02:53]
3. 저장소 지식을 기억하고 반복 실패에 개입하는 방식
- 마이크로 스킬은 빌드 순서 같은 저장소 지식을 한 줄로 기록한다. 세 세션에서 확인된 메모를 사용하고, 이후 기록이 메모와 모순되면 폐기한다. [04:07]
- 도구 정리 기능은 사용 이력을 바탕으로 드물게 쓰는 도구를 제외한다. 명령 실행과 파일 편집에 필요한 핵심 도구는 유지하며, 사용자가 제외 후보만 제안받을 수도 있다. [04:54]
- 같은 실패가 반복되면 별도 모델이 느리게나마 진전 중인지 판단한다. 막혔다고 판단하면 다른 접근을 유도하고, 그래도 풀리지 않으면 사용자에게 알린다. 연구진은 세 기능을 함께 썼을 때 자체 모델 호출 비용까지 포함한 절감 폭이 가장 컸다고 보고했다. [05:49]
4. 벤치마크에서 확인한 비용과 해결률
- 이전 기록 없이 시작한 저장소 6개에서 과제 277개를 평가했다. 조합별 과제당 평균 비용은 18.4~30.9% 줄었고, 첫 시도 해결률은 에이전트·모델 조합 5개 중 4개에서 상승했다. [06:33]
- 추론 강도를 낮춘 비교 실험에서는 비용과 함께 성능도 크게 떨어졌다. Token Economizer를 쓴 Claude Code 실험에서는 초기 학습 비용을 감안해도 여섯 번째 과제까지 모든 저장소의 누적 비용이 기본 설정 아래로 내려갔다. [07:15]
- 비용 절감 범위는 순차 웹 개발 평가에서 16.0~21.2%, 매번 새 저장소를 사용한 보안 감사 평가에서 6.4~19.6%였다. [07:41]
5. 배포판 설정과 영상의 마무리
- 영상은 GitHub 공개판이 Claude Code, Codex, GitHub Copilot CLI, Pi를 공식 지원한다고 보여준다. Python 3.10 이상이 필요하며 학습한 내용은 사용자 기기에 보관된다고 한다. [08:21]
- 기본값은 도구 정리와 반복 실패 개입이 켜진 상태다. 마이크로 스킬은 별도로 켤 수 있고, 기능 설정은 저장소별로 조정할 수 있다. [08:54]
- 발표자는 같은 프로젝트에서 에이전트를 꾸준히 쓸수록 이전 세션에서 쌓은 지식을 활용할 기회가 많아진다고 정리한 뒤, 학습 커뮤니티를 소개하며 마무리한다. [10:37]
🧾 결론
- 같은 저장소에서 오래 일하는 에이전트에는 이전 세션에서 확인한 빌드 순서 같은 짧은 메모도 가치가 있다. 나중에 반대 증거가 나오면 메모를 지운다는 점도 중요하다.
- 연구진의 비교 실험에서 모델의 추론 강도를 낮추는 방법도 비슷하거나 더 큰 비용 절감 효과를 냈지만, 과제 성능이 크게 떨어졌다. 절감액을 해석하려면 첫 시도에 해결한 과제의 비율을 함께 봐야 한다.
- 플러그인이 저장소를 학습하는 초기에는 비용이 더 들 수 있다. 영상에 따르면 Claude Code 실험에서는 모든 저장소에서 여섯 번째 과제까지 누적 비용이 기본 설정보다 낮아졌다.
📈 투자·시사 포인트
- 코딩 에이전트 예산을 편성할 때는 성공한 작업과 실패한 작업의 비용을 따로 집계할 만하다. 이번 관찰에서는 실패한 과제의 비중보다 그 과제들이 차지한 비용 비중이 거의 두 배였다.
- 도입 효과를 평가하기 좋은 곳은 같은 코드베이스에서 작업이 이어지는 팀이다. 일회성 프로젝트가 많은 팀은 과제마다 새 저장소를 사용한 평가 결과를 별도 참고치로 삼을 수 있다.
- 세 기능을 함께 썼을 때 절감 폭이 가장 컸다는 연구 결과와 실제 배포판의 기본 설정에는 차이가 있다. 영상에서 소개한 기본 설정은 도구 정리와 반복 실패 개입만 켜져 있어, 예산 추정에는 실제로 사용할 기능 구성을 반영해야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 18.4~30.9%는 연구진이 시험한 조합에서 나온 과제당 평균 비용 절감 범위다. 영상에는 저장소별 세부 비용이나 각 조합의 첫 시도 해결률 변화 폭이 제시되지 않는다.
- 여섯 번째 과제까지 누적 비용이 기본 설정보다 낮아졌다는 결과는 Claude Code 실험에 해당한다. 다른 에이전트나 자체 저장소에서 초기 학습 비용을 언제 회수할지는 확인이 필요하다.
- 세션에서 학습한 내용이 사용자 기기에 보관된다고 영상은 설명한다. 별도 모델이 세션을 검토할 때 어떤 데이터가 전달되는지는 설명하지 않는다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 반복 작업이 있는 저장소 하나를 골라 플러그인 적용 전후의 과제당 비용, 누적 비용, 첫 시도 해결률을 함께 기록한다.
- 초기 몇 건의 추가 비용을 식별할 수 있도록 과제 순서를 보존하고, 실패한 과제에 쓰인 비용도 따로 집계한다.
- 사용할 에이전트의 지원 단계와 Python 3.10 이상 요건을 확인하고, 비교 기록에 마이크로 스킬 활성화 여부를 명시한다.
- 도구 정리를 제안 모드로 먼저 살펴보고, 가끔 쓰더라도 필요한 도구가 제외 후보에 들어가는지 확인한다.
❓ 열린 질문
- 첫 시도 해결률이 떨어진 한 조합에서는 어떤 과제에서 실패가 늘었고, 재시도까지 포함한 해결 비용은 어떻게 달라졌을까?
- 같은 저장소를 계속 사용하는 팀과 자주 바꾸는 팀에서는 세 기능 중 어느 기능이 비용 절감에 가장 크게 기여할까?