Prompt Caching with Deep Agents

🖼️ 인포그래픽

Prompt Caching with Deep Agents 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Deep Agents는 모델 제공자별로 다른 프롬프트 캐싱 방식을 추상화해 에이전트 실행 비용을 크게 낮추고, 실제 평가에서 입력 토큰 비용을 49~80% 절감했다고 설명한다.

📌 핵심 요약

글은 대규모 에이전트 운영에서 프롬프트 캐싱이 비용 효율을 높이는 핵심 수단이며, 모델 제공자에 따라 토큰 비용을 41~80% 줄일 수 있다고 소개한다.
채팅 모델은 새 메시지가 들어올 때마다 시스템 프롬프트, 도구 설명, 로드된 스킬, 이전 대화 기록, 새 메시지를 다시 처리해야 하므로 대화가 길수록 비용이 빠르게 커진다.
프롬프트 캐싱은 이전 프롬프트 처리 뒤의 모델 상태를 저장해 다음 요청에서 새 텍스트만 처리하도록 하지만, 스킬이나 도구 추가처럼 프롬프트 앞부분이 바뀌면 캐시가 깨질 수 있다.
Deep Agents는 명시적 캐시 지점 설정, 암묵적 캐싱 활용, 캐시 읽기가 잘 일어나도록 하는 프롬프트 구조화 등을 제공자별 미들웨어로 처리해 모델 전환 시에도 비용 절감을 유지하려 한다.
실제 평가에서는 claude-haiku-4-5, gpt-5.4-mini, gemini-3.5-flash에서 각각 77%, 80%, 49%의 토큰 비용 절감이 관찰됐고, LangSmith는 호출별 캐시 읽기 토큰과 비용을 추적하는 데 사용됐다.

🧩 주요 포인트

글은 대규모 에이전트 운영에서 프롬프트 캐싱이 비용 효율을 높이는 핵심 수단이며, 모델 제공자에 따라 토큰 비용을 41~80% 줄일 수 있다고 소개한다.
채팅 모델은 새 메시지가 들어올 때마다 시스템 프롬프트, 도구 설명, 로드된 스킬, 이전 대화 기록, 새 메시지를 다시 처리해야 하므로 대화가 길수록 비용이 빠르게 커진다.
프롬프트 캐싱은 이전 프롬프트 처리 뒤의 모델 상태를 저장해 다음 요청에서 새 텍스트만 처리하도록 하지만, 스킬이나 도구 추가처럼 프롬프트 앞부분이 바뀌면 캐시가 깨질 수 있다.
Deep Agents는 명시적 캐시 지점 설정, 암묵적 캐싱 활용, 캐시 읽기가 잘 일어나도록 하는 프롬프트 구조화 등을 제공자별 미들웨어로 처리해 모델 전환 시에도 비용 절감을 유지하려 한다.
실제 평가에서는 claude-haiku-4-5, gpt-5.4-mini, gemini-3.5-flash에서 각각 77%, 80%, 49%의 토큰 비용 절감이 관찰됐고, LangSmith는 호출별 캐시 읽기 토큰과 비용을 추적하는 데 사용됐다.

🧠 상세 정리

1. 프롬프트 캐싱이 중요한 이유

글은 에이전트를 대규모로 운영할 때 비용 효율을 높이는 강력한 수단으로 프롬프트 캐싱을 제시한다. 모델 제공자가 제공하는 이 기능은 추론 과정에서 발생하는 토큰 비용을 41~80%까지 줄일 수 있는 것으로 소개된다. 특히 프로덕션 단계의 AI 에이전트에서는 KV 캐시 적중률이 매우 중요한 지표라는 인용을 통해, 단순한 최적화가 아니라 운영 핵심 지표에 가까운 문제로 다룬다. 다만 제공자마다 캐싱 제어 방식과 지원 기능이 달라서, 여러 모델을 아우르는 공통 해법을 만들기는 쉽지 않다는 점을 출발점으로 삼는다.

2. 채팅 모델에서 비용이 커지는 구조

채팅 모델 대화의 토큰 비용은 대화가 이어질수록 빠르게 증가한다. 새 메시지가 들어올 때마다 모델은 시스템 프롬프트, 도구 설명, 로드된 스킬, 이전 메시지 기록, 새 메시지까지 포함해 앞선 토큰들을 다시 처리해야 한다. 에이전트는 일반적인 채팅보다 도구와 스킬, 긴 작업 기록을 많이 포함하기 때문에 이 반복 처리의 비용 부담이 더 커질 수 있다. 프롬프트 캐싱은 이 문제를 줄이기 위해 프롬프트 처리 후의 모델 상태 스냅샷을 저장하고, 다음 요청에서는 그 지점부터 이어서 새 텍스트만 처리하게 하는 방식으로 설명된다.

3. 캐시 적중을 어렵게 만드는 제공자별 차이

프롬프트 캐싱이 항상 단순하게 작동하는 것은 아니다. 새로운 스킬이나 도구를 로드하면 대화 중간이 아니라 프롬프트의 앞부분이 바뀔 수 있고, 이 경우 기존 캐시가 무효화되는 캐시 버스트가 발생할 수 있다. 일부 모델 제공자는 프롬프트의 앞쪽에 명시적인 캐시 중단 지점을 둘 수 있게 해 전체 캐시가 깨지는 대신 일부 구간이라도 캐시 적중을 얻도록 지원한다. 그러나 명시적 중단 지점, TTL 설정, 사전 예열, 라우팅 키 같은 기능의 지원 여부는 제공자와 모델별로 다르며, 글은 이 지원 환경이 빠르게 바뀌므로 각 제공자 문서를 확인해야 한다고 강조한다.

4. Deep Agents의 제공자 독립적 접근

Deep Agents는 범용적이고 모델에 독립적인 에이전트 하네스로 소개되며, 주요 모델 제공자 전반에서 프롬프트 캐싱 기능을 활용하려고 한다. 지원되는 경우에는 명시적 캐시 지점을 자동으로 설정하고, 명시적 지점이 없는 경우에는 제공자 측의 암묵적 캐싱에 참여하도록 처리한다. 또한 프롬프트 구조를 조정해 캐시 읽기가 최대한 많이 일어나도록 한다. 현재 사용하는 모델 제공자를 감지한 뒤 제공자별 미들웨어에 캐싱 처리를 위임하기 때문에, 사용자는 제공자를 바꾸더라도 가능한 범위의 토큰 절감을 이어갈 수 있다는 것이 핵심 주장이다.

5. 프롬프트 구조화와 캐시 손상 범위 최소화

글은 최적의 캐싱을 위해 모델 호출에서 정적인 접두부가 최대한 변하지 않는 것이 좋다고 설명한다. 여기에는 도구 설명, 스킬, 시스템 프롬프트 같은 요소가 포함된다. 하지만 실제 에이전트 실행에서는 메모리를 업데이트하거나 대화를 압축하는 과정에서 이 정적인 부분이 바뀔 수 있고, 그 결과 캐시가 깨질 수 있다. Deep Agents는 프롬프트와 명시적 캐시 지점을 구성할 때 이런 변화의 영향을 최소화하도록 설계해, 예를 들어 메모리가 업데이트되더라도 프롬프트의 일부 구간에서는 여전히 캐시 읽기를 얻을 수 있게 한다.

6. 실제 절감 결과와 관측 가능성

Deep Agents 평가 스위트에서 중간급 모델 세 가지를 대상으로 측정한 결과, 실제 에이전트 실행 경로에서 프롬프트 캐싱은 토큰 비용을 49~80% 줄였다. claude-haiku-4-5는 명시적 중단 지점을 활용해 77% 절감을 보였고, gpt-5.4-mini는 자동 최장 접두부 캐싱으로 80% 절감을 보였으며, gemini-3.5-flash는 명시적 보장 없이도 49% 절감을 보였다. 글은 대화가 길어질수록 캐시된 접두부가 매 턴 재사용되므로 장기 작업일수록 캐싱의 효과가 커진다고 설명한다. LangSmith는 호출별 첫 토큰까지의 시간, 전체 입력 토큰, 캐시 읽기 토큰, 출력 토큰을 추적해 이러한 비용 절감이 실제로 어디서 발생했는지 분석하는 도구로 제시된다.

🧾 핵심 주장 / 시사점

프롬프트 캐싱의 효과는 단순히 기능을 켜는 데서 끝나지 않고, 프롬프트의 정적인 부분을 얼마나 안정적으로 유지하느냐에 크게 좌우된다.
모델 제공자마다 캐싱 기능과 제어 방식이 다르기 때문에, 에이전트 프레임워크가 제공자별 차이를 흡수해 주면 운영자는 모델 전환과 비용 최적화를 더 쉽게 병행할 수 있다.
캐시 절감률을 신뢰하려면 총 비용만 보는 것이 아니라 캐시 읽기 토큰, 입력 토큰, 궤적별 실행 길이를 분리해 관찰해야 하며, 글은 LangSmith를 그 측정 기반으로 사용했다.

✅ 액션 아이템

대화가 길수록 토큰 비용이 커지는 경로를 대상으로 프롬프트 캐시를 기본 운영 원칙으로 정하고 정책을 수립한다.
스킬 추가나 도구 변경처럼 프롬프트 앞부분이 바뀌는 시점에서 캐시 무효화 규칙을 점검해 반영한다.
claude-haiku-4-5·gpt-5.4-mini·gemini-3.5-flash의 77·80·49% 절감 수치로 모델별 기대 절감 폭을 비교한다.