Use prompt caching with open-weight models on Amazon Bedrock
Quick Summary
Amazon Bedrock의 오픈 웨이트 모델에서 프롬프트 캐싱을 활용하면 반복되는 접두부를 재사용해 입력 비용과 응답 지연을 줄일 수 있으며, 암시적·명시적 방식의 선택은 모델 지원 범위와 문맥 재사용 패턴에 달려 있다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon Bedrock의 오픈 웨이트 모델에서 프롬프트 캐싱을 활용하면 반복되는 접두부를 재사용해 입력 비용과 응답 지연을 줄일 수 있으며, 암시적·명시적 방식의 선택은 모델 지원 범위와 문맥 재사용 패턴에 달려 있다.
📌 핵심 요약
- Amazon Bedrock은 동일한 프롬프트 접두부의 계산 상태를 재사용하고 나머지 내용만 처리한다. 캐시 읽기는 일반 입력보다 저렴하지만, 모델에 따라 캐시 쓰기는 일반 입력보다 비쌀 수 있다.
- 암시적 캐싱은 요청 변경 없이 적격 접두부를 최선 노력 방식으로 자동 재사용한다. 정적 내용을 앞에, 동적 내용을 뒤에 배치하면 재사용에 유리하며, 앞부분이 변경되면 해당 지점부터 캐시를 다시 구성한다.
- 명시적 캐싱은 Chat Completions API에서 prompt_cache_options의 mode를 explicit으로 설정하고 prompt_cache_breakpoint를 함께 지정한다. 마지막 중단점 뒤의 내용은 매번 처리되며 일반 입력 요금이 적용된다.
- 캐싱 모드, 최소 접두부 길이, 최대 중단점 수, TTL과 지원 AWS 리전은 모델별로 확인해야 한다. 명시적 캐싱의 TTL은 캐시 적중 때마다 갱신되며, 비용 절감 폭은 문맥의 재사용량과 재사용 빈도에 따라 달라진다.
- AnyCompany AquaPure 500 설명서 예제는 고정된 시스템 메시지와 달라지는 사용자 질문으로 두 방식을 비교한다. usage.prompt_tokens_details의 cached_tokens와 cache_write_tokens로 캐시 읽기·쓰기를 확인하며, 암시적 방식은 새 질문도 일부 캐시에 쓸 수 있지만 명시적 방식은 쓰기 범위를 공유 접두부로 제한할 수 있다.
🧩 주요 포인트
- 접두부의 안정성이 재사용 범위를 결정하므로, 프롬프트에서 정적 내용과 동적 내용을 배치하는 순서가 캐싱 효과에 직접 영향을 준다.
- 캐시 쓰기에 더 높은 요금을 부과하는 모델에서는 매번 달라지는 질문까지 저장하는 것이 비용에 영향을 줄 수 있어, 고정된 공유 접두부를 가진 요청에 명시적 캐싱이 적합하다.
- cached_tokens와 cache_write_tokens를 함께 읽어야 재사용과 신규 저장을 구분할 수 있으며, 모델별 최소 접두부 길이·TTL·요금 조건까지 고려해야 실제 절감 효과를 판단할 수 있다.
🧠 상세 정리
1. 반복 문맥 처리와 프롬프트 캐싱의 역할
생성형 AI 애플리케이션은 시스템 프롬프트, 참고 문서, 도구 정의 또는 지금까지의 대화처럼 긴 문맥을 요청마다 반복해서 전송하는 경우가 많다. Amazon Bedrock의 프롬프트 캐싱은 이전 요청과 일치하는 접두부의 계산 상태를 재사용해 같은 내용을 매번 다시 처리하는 부담을 줄인다. 요청이 시작되는 부분에서 캐시와 일치하는 내용을 읽고 나머지 부분만 처리하므로, 반복되는 입력의 비용과 응답 지연을 줄이는 데 도움이 된다. 캐시는 Amazon Bedrock이 관리하며, 재사용하는 문맥이 많고 재사용 빈도가 높을수록 절감 효과가 커질 수 있다. 다른 Amazon Bedrock 모델과 마찬가지로 프롬프트와 출력은 모델 제공자에게 공유되지 않으며 모델 학습에도 사용되지 않는다.
2. 모델별 지원 조건과 비용 구조
오픈 웨이트 모델은 이제 명시적 프롬프트 캐싱을 지원하지만, 사용할 수 있는 캐싱 모드는 모델과 API에 따라 달라진다. 원문은 모델별 캐싱 모드, 최소 접두부 길이와 캐시 유지 시간을 Models at a glance에서 확인하고, 구체적인 요율은 Amazon Bedrock 가격 정보를 참조하도록 안내한다. 캐시 읽기에는 일반 입력보다 낮은 요율이 적용되므로 동일한 접두부를 반복해서 읽을수록 절감 효과가 누적될 수 있다. 반면 일부 모델에서는 캐시 쓰기가 일반 입력보다 비싸기 때문에, 저장한 내용을 나중에 실제로 다시 사용하는지가 중요하다. 모델의 지원 AWS 리전도 서로 다르며, 원문은 모든 모델에 공통으로 적용되는 최소 토큰 수나 TTL, 절감률을 제시하지 않는다.
3. 암시적 캐싱과 안정적인 접두부
암시적 캐싱은 별도의 캐시 제어 필드를 추가하지 않아도 Amazon Bedrock이 적격 접두부를 최선 노력 방식으로 자동 선택하고 재사용하는 방식이다. 대화에서는 요청마다 전체 문맥을 다시 전송하므로 이전 요청의 내용이 다음 요청에서 재사용할 수 있는 접두부가 된다. 원문은 이러한 특성을 활용하기 위해 정적 내용을 앞에 두고 동적 내용을 뒤에 두라는 프롬프트 캐싱 가이드의 권고를 소개한다. 프롬프트 시작 부분이 유지되면 후속 요청에서도 이를 재사용할 수 있지만, 앞부분의 내용이 바뀌면 변경된 지점부터 캐시를 다시 구성한다. 따라서 대화나 에이전트 반복 실행처럼 안정적인 접두부가 이미 존재하는 요청에 적합하며, 자동 처리라는 특성상 재사용 대상의 선택을 세밀하게 지정하는 방식은 아니다.
4. 명시적 캐싱으로 저장 범위 제어
명시적 캐싱은 재사용할 접두부의 끝에 캐시 중단점을 표시해 저장 범위를 직접 지정하는 방식이다. 모델이 지원하는 최대 개수 안에서 여러 중단점을 배치하면 공통 지침과 도구, 고객별 문서처럼 변경 주기가 다른 문맥을 계층별로 캐시할 수 있다. 각 중단점까지의 내용은 캐시에 기록된 뒤 후속 요청에서 읽히고, 마지막 중단점 뒤의 내용은 요청마다 다시 처리되며 일반 입력 요금이 적용된다. 암시적 캐싱은 매번 달라져 다시 쓰이지 않을 질문까지 저장할 수 있으므로, 공유 접두부 뒤의 내용이 항상 바뀐다면 명시적 방식으로 불필요한 쓰기를 제한할 수 있다. 중단점 앞의 최소 토큰 수, 최대 중단점 수와 TTL은 모델 카드에서 확인해야 하며, TTL은 캐시 적중 때마다 갱신된다.
5. 공통 API 경로와 실행 준비
원문이 소개하는 Python 애플리케이션과 OpenCode 코딩 에이전트는 같은 Chat Completions API를 통해 해당 AWS 리전의 Amazon Bedrock Runtime 엔드포인트에 요청을 보낸다. 인증에는 단기 Amazon Bedrock API 키를 사용하며, Bedrock은 일치하는 접두부를 캐시에서 읽고 새로 캐시할 수 있는 내용을 기록한 뒤 선택한 오픈 웨이트 모델의 응답과 캐시 사용 정보를 반환한다. 실행에는 선택한 모델에 접근할 수 있는 AWS 계정과 해당 모델 호출 권한을 가진 IAM 자격 증명이 필요하며, 모델의 라이선스·서비스 약관과 AWS Responsible AI Policy도 검토 대상이다. Python 예제의 요구 환경은 Python 3.12, openai 3.26.0 이상, aws-bedrock-token-generator 1.1.0 이상이고, 코딩 에이전트 예제에는 npm과 OpenCode 1.18.35가 명시된다. 제공된 본문에는 OpenCode 활용의 소개와 준비 조건까지만 포함되어 있으며, 구체적인 코딩 에이전트 실행 과정은 나타나지 않는다.
6. AnyCompany AquaPure 500 설명서 예제
예제는 가상의 정수 필터 AnyCompany AquaPure 500을 위한 지원 도우미로, 한 줄의 지침과 소유자 설명서를 시스템 프롬프트에 넣어 공유 접두부로 사용한다. 설명서는 약 4,000토큰의 Markdown이며 manual.md로 저장하고, 선택한 모델의 최소 접두부 길이를 넘도록 내용을 구성한다. 예시 설명서에는 AP-F1의 교체 주기가 6개월, AP-F4의 교체 주기가 12개월이며, E01은 급수 압력 저하, E07은 배수관 제한이라는 정보가 들어 있다. 수도꼭지 보증은 구매일부터 3년이지만 3 V 전지는 제외되며, 실제 질문은 E07 조치 방법, AP-F4 교체 주기와 전지 보증 여부를 묻는다. OpenAI Python SDK는 Amazon Bedrock의 OpenAI 호환 엔드포인트를 사용하고 provide_token()은 AWS 자격 증명으로 최대 12시간 유효한 단기 키를 생성하며, 답변은 설명서만 근거로 최대 세 문장으로 제한한다. 추론 토큰도 max_tokens에 포함될 수 있으므로 예제는 짧은 답변이 완료될 여유를 주기 위해 max_tokens를 1024로 설정한다.
7. 암시적 캐싱 실행과 사용량 해석
암시적 캐싱 예제는 동일한 설명서를 시스템 메시지에 넣고, 매번 달라지는 질문을 사용자 메시지에 넣어 세 번 요청한다. 원문에서는 설명서와 질문을 하나의 사용자 메시지에 함께 넣었을 때 암시적 캐시 적중이 발생하지 않았다고 보고하므로, 제시된 메시지 구성이 예제의 중요한 조건이다. 각 응답의 usage.prompt_tokens_details에서 cached_tokens는 읽은 캐시 토큰 수, cache_write_tokens는 새로 기록한 캐시 토큰 수를 나타낸다. 첫 실행에서는 첫 호출이 프롬프트를 캐시에 쓰고 두 번째와 세 번째 호출은 시스템 메시지를 읽으면서 새 질문에 해당하는 소량의 토큰도 기록하며, 마지막 메시지 뒤의 일부 토큰은 매번 캐시되지 않는다. 예제를 TTL 안에 다시 실행하면 모든 호출이 캐시에서 읽고 쓰기는 발생하지 않는다고 설명하며, 출력 함수는 전체 프롬프트 토큰에서 읽기·쓰기 토큰을 빼 캐시되지 않은 토큰 수도 표시한다.
8. 명시적 캐싱 요청의 필수 설정
명시적 예제는 같은 설명서와 질문을 사용하되, 시스템 메시지의 텍스트 콘텐츠 부분에 prompt_cache_breakpoint를 추가하고 그 mode를 explicit으로 설정한다. 동시에 요청 본문의 prompt_cache_options에서도 mode를 explicit으로 지정해야 하며, Amazon Bedrock 전용 필드인 이 옵션은 OpenAI SDK의 extra_body를 통해 전달한다. 중단점이 붙은 콘텐츠 부분까지 캐시에 포함되고 뒤에 오는 사용자 질문은 매번 다시 처리되므로, 비교 예제의 두 번째와 세 번째 호출에서는 캐시 쓰기가 발생하지 않는다. 이 방식은 공유 지침과 도구 뒤에 고객별 문서를 두는 것처럼 여러 계층의 접두부를 제어하는 데도 적용할 수 있다. 원문은 두 설정을 반드시 함께 사용해야 한다고 강조하며, 명시적 모드만 있고 중단점이 없으면 아무것도 캐시하지 않고 중단점만 있으면 암시적 캐싱처럼 동작한다고 설명한다.
🧾 핵심 주장 / 시사점
- 프롬프트 캐싱의 효과는 반복 문맥의 길이뿐 아니라 동일한 접두부가 얼마나 안정적으로 유지되는지에 달려 있으므로, 메시지 구성과 내용 배치가 성능·비용에 영향을 준다.
- 암시적 캐싱은 적용이 간단하지만 재사용하지 않을 내용도 저장할 수 있다. 캐시 쓰기가 비싼 모델에서는 명시적 캐싱으로 공유 접두부만 저장하는 것이 비용 측면에서 유리할 수 있다.
- 캐시 적중이 발생했다는 사실만으로 전체 비용 절감을 확정할 수는 없다. 읽기와 쓰기 토큰 수, 모델별 요율과 TTL 내 재사용 빈도를 함께 살펴야 한다.
✅ 액션 아이템
- 반복 요청의 정적 내용을 앞에, 동적 내용을 뒤에 배치해 Amazon Bedrock에서 재사용할 접두부의 안정성 확보.
- 선택한 모델의 최소 접두부 길이·최대 중단점 수·TTL·지원 AWS 리전과 캐시 읽기·쓰기 요금 확인.
- 공유 접두부 뒤의 질문이 매번 달라지는 경우 prompt_cache_options와 prompt_cache_breakpoint를 함께 적용하고, cached_tokens와 cache_write_tokens로 읽기·쓰기 변화 확인.
❓ 열린 질문
- 선택한 Amazon Bedrock 모델의 최소 접두부 길이·최대 중단점 수·TTL과 지원 AWS 리전은 무엇인가?
- 실제 요청의 문맥 재사용량과 재사용 빈도를 고려할 때 암시적 캐싱과 명시적 캐싱 중 어느 방식이 더 적합한가?
- cached_tokens와 cache_write_tokens에 모델별 캐시 읽기·쓰기 요금을 적용하면 실제 입력 비용은 얼마나 줄어드는가?