Articleaws.amazon.com·2026년 11월 12일·0

Four Amazon Bedrock inference choices that affect cost

Quick Summary

Amazon Bedrock 추론 비용은 모델이나 프롬프트를 바꾸지 않아도 캐시 유지 시간, 서비스 티어, 추론 노력, maxTokens 설정에 따라 달라지며, 모델별 지원 여부와 실제 토큰·요금·품질을 함께 검증해야 한다.

Four Amazon Bedrock inference choices that affect cost 관련 대표 이미지

🖼️ 인포그래픽

Four Amazon Bedrock inference choices that affect cost 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Four Amazon Bedrock inference choices that affect cost의 핵심 내용을 4단계로 요약한 인포그래픽
Four Amazon Bedrock inference choices that affect cost 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Amazon Bedrock 추론 비용은 모델이나 프롬프트를 바꾸지 않아도 캐시 유지 시간, 서비스 티어, 추론 노력, maxTokens 설정에 따라 달라지며, 모델별 지원 여부와 실제 토큰·요금·품질을 함께 검증해야 한다.

📌 핵심 요약

  • Amazon Bedrock은 모델과 서비스 티어에 따라 입력·출력 토큰에 과금하며, 캐시 읽기·쓰기는 별도 집계하고 추론 토큰은 출력 토큰으로 계산한다. 비용 조정의 대상은 캐시 유지 시간, 서비스 티어, 추론 노력, maxTokens이며 지원 범위는 모델·버전·Region·API에 따라 확인해야 한다.
  • Claude Sonnet 5와 Claude Opus 5의 공개 요율에서 5분 캐시 쓰기는 일반 입력의 1.25배, 1시간 쓰기는 2배, 읽기는 0.1배다. 동일한 접두부를 재사용하고 읽을 때마다 TTL이 갱신된다는 전제에서, 요청 간격이 5분을 넘으면 1시간 캐시는 시간 내 두 번째 요청부터 5분 캐시보다 저렴하고, 캐시 미사용보다 저렴하려면 시간당 세 번의 요청이 필요하다. 캐시 변경에 따른 무효화와 테넌트 분리도 고려해야 한다.
  • Flex 지원은 모델별로 다르며, 미지원 모델에 요청하면 Standard로 자동 전환되지 않고 ValidationException이 발생한다. Amazon Nova 2 Lite의 default·flex 각 200회 실험에서는 토큰 수가 같았고 지연 중앙값 차이를 잡음과 구분하기 어려웠다. 작성 당시 us-west-2의 Flex 공개 요율은 Standard의 절반이었으며 청구 결과도 일치했지만, 지연에 민감한 트래픽에는 default를 권고한다.
  • Claude Sonnet 5와 Claude Opus 5의 적응형 사고 기본 노력은 high이며, 추론 토큰도 과금된다. Claude Opus 5 에이전트 실험에서 모든 노력 수준이 24회 모두 정답이었지만 출력 토큰 중앙값은 low 936개에서 high 2,521개로 169% 증가했다. 반면 코드 생성 실험의 low 676개와 high 743개 차이는 실행 간 변동 범위 안이어서, 노력 수준은 작업별 통과율과 함께 평가해야 한다.
  • maxTokens는 출력 비용의 상한이자 요청 시작 시 할당량에서 차감되는 값으로, 지나치게 크면 동시 처리량을 줄인다. Claude Sonnet 5 실험에서 상한을 2,048개에서 155개로 낮추자 출력 토큰 1,893개를 피했지만 두 응답 모두 잘렸다. 작업별 P95·P99와 여유분으로 상한을 보정하고, 적응형 사고를 사용할 때는 사고 토큰을 포함해 품질·완료 여부와 max_tokens 종료를 확인해야 한다.

🧩 주요 포인트

  1. 캐시 유지 시간과 서비스 티어는 재사용 간격·지연 허용도에 따라 효과가 달라짐 → 1시간 캐시나 Flex의 가격 이점은 모델 지원과 실제 사용 패턴이 맞을 때 성립한다.
  2. 추론 노력과 maxTokens는 출력 토큰에 함께 영향을 줌 → low의 절감 효과와 낮은 출력 상한의 이점은 작업 통과율·응답 잘림 위험을 함께 평가해야 판단할 수 있다.
  3. 모델·버전·Region·API별 지원 범위와 요청별 사용량이 다름 → 설정을 하나씩 변경하고 응답 메타데이터·로그·청구 결과로 검증해야 비용 변화와 품질 영향을 연결할 수 있다.

🧠 상세 정리

1. 추론 비용을 바꾸는 네 가지 요청 설정

Amazon Bedrock에서는 프롬프트와 애플리케이션 로직을 조정한 뒤에도 요청별 설정에 따라 처리 토큰 수와 적용 요율이 달라져 비용이 계속 늘어날 수 있다. 원문은 모델이나 프롬프트를 변경하지 않고도 영향을 줄 수 있는 선택으로 캐시 유지 시간, 서비스 티어, 추론 노력, maxTokens를 제시하며, 각 효과는 모델과 워크로드에 따라 검증해야 한다고 설명한다. 응답에는 사용량 메타데이터가 포함되고, 입력·출력 토큰은 요청을 처리한 모델과 티어의 요율을 적용받으며 캐시 읽기·쓰기는 별도 카운터로 집계되고 추론 토큰은 출력 토큰에 포함된다. 실습 자료로는 Amazon Bedrock Samples의 Mixed TTL Caching과 Tenant Isolation with Prompt Caching, 그리고 sample-code-for-genai-cost-management-workshop 저장소의 01-low-effort 폴더가 제시된다. 각 예제의 모델 ID와 추론 매개변수는 실제 호출 모델에 맞게 바꿔야 하며, 효과는 응답 메타데이터와 로그, 청구 데이터로 확인하는 것이 글의 공통 접근법이다.

2. 캐시 TTL의 지원 범위와 손익분기점

명시적 프롬프트 캐싱에서는 지원되는 Anthropic 모델에 5분·1시간 TTL을 사용할 수 있고, 지원되는 GPT-5.6 모델에는 최소 30분 TTL이 안내되어 있지만 실제 지원 여부와 API 필드는 모델별로 확인해야 한다. 암시적 캐싱도 지원 모델에서 적격 프롬프트 접두부의 재사용을 시도하지만 캐시 적중을 보장하지 않으므로, 원문의 유지 시간 비교는 명시적 캐싱을 대상으로 한다. 지원 모델의 Converse API에서는 cachePoint에 type을 default, ttl을 1h로 지정하며, 지원되는 Anthropic 모델의 InvokeModel에서는 같은 ttl 값을 cache_control에 둔다. Claude Sonnet 5와 Claude Opus 5의 공개 요율은 5분 쓰기가 일반 입력 요율의 1.25배, 1시간 쓰기가 2배, 읽기가 0.1배여서 긴 TTL이 항상 저렴한 것은 아니다. 동일한 접두부를 정확히 재사용하고 읽기마다 TTL이 갱신된다는 가정에서 5분 캐시는 5분 안의 첫 재사용으로 비용을 회수하지만, 요청 간격이 5분을 넘으면 매번 1.25배 요율로 다시 쓰게 되어 1시간 캐시가 시간 내 두 번째 요청부터 더 저렴하다. 다만 1시간 캐시가 캐시 미사용보다 저렴하려면 시간당 세 번의 요청이 필요하므로, 잦은 재사용에는 5분 기본값을 유지하고 모델별 요율과 체크포인트 최소 조건을 반영해 비교한 뒤 실제 읽기·쓰기 토큰으로 확인해야 한다.

3. 캐시 무효화와 테넌트별 경계

캐시를 활용하려면 안정적인 내용을 동적 내용 앞에 배치하고 모델의 체크포인트 최소 조건을 충족해야 하며, 프롬프트 캐싱이 배치 추론에서는 동작하지 않으므로 온디맨드 추론을 사용해야 한다. 캐시된 시스템 지시나 도구 정의를 바꾸면 캐시 적중이 사라지고 새 쓰기가 발생하며, 체크포인트는 tools, system, messages 순으로 평가되어 앞부분의 변경이 뒤쪽 체크포인트도 무효화한다. 원문은 자주 바뀌는 프롬프트에 버전을 부여해 버전별 캐시 항목을 갖도록 제안하고, Claude Sonnet 5의 1시간 체크포인트로 여섯 번 호출하면서 시스템 프롬프트와 도구 정의를 각각 한 번 변경했을 때 각 변경에서 캐시 읽기가 0이 되고 새 쓰기가 발생했다고 보고한다. AWS가 설명하는 캐시 범위는 테넌트가 아니라 계정과 Region이므로, 멀티테넌트 애플리케이션에서는 캐시 가능한 접두부 앞에 테넌트별 SHA-256 해시를 붙이는 패턴을 제시한다. 테넌트 권한 검사는 프롬프트를 만들기 전에 수행해야 하고, 해시는 한 계정 내부의 캐시 항목을 나누는 역할을 하므로 규제 워크로드에 강한 데이터 경계가 필요하다면 테넌트마다 별도의 AWS 계정을 사용해야 한다.

4. 지연을 허용할 수 있는 작업의 Flex 선택

백그라운드 작업, 평가, 야간 요약, 백필은 대화형 요청과 같은 지연 특성이 필요하지 않을 수 있어 지원 모델에서는 serviceTier의 type을 flex로 지정할 수 있고, Standard 요청에는 standard가 아니라 default를 쓰거나 serviceTier를 생략한다. Amazon Nova 2 Lite와 OpenAI gpt-oss-120b의 모델 카드에는 Flex 지원이 표시되지만, Amazon Bedrock의 Claude Sonnet 5와 Claude Opus 5에는 미지원으로 표시되며 실제 Sonnet 5 요청도 ValidationException으로 실패했다. 정책상 Standard 대체가 허용된다면 미지원 티어 오류에 한해 default로 한 번 재시도할 수 있지만, 잘못된 요청도 같은 예외를 발생시키므로 모든 ValidationException을 재시도해서는 안 되고 애플리케이션 재시도 횟수도 제한해야 한다. 원문은 Flex에 자체 처리 기한을 설정하고 응답의 실제 적용 티어와 CloudWatch의 ResolvedServiceTier를 확인하도록 하며, 제한된 AWS SDK 재시도 전략은 스로틀링과 일시적 오류를 처리한다고 설명한다. Amazon Nova 2 Lite에서 default와 flex를 교차한 쌍으로 각각 200회 호출한 결과 입력·출력 토큰 수는 같았고 400회 모두 요청한 티어로 처리되었으며, 지연 중앙값 차이는 잡음과 구분하기 어려웠다. 작성 당시 us-west-2의 Flex 공개 요율은 Standard의 절반이었고 실제 청구도 일치했지만, 현재 요율을 다시 확인하고 지연에 민감한 트래픽은 default에 유지하라는 것이 권고다.

5. 적응형 사고의 기본값과 요청 구성

Claude Sonnet 5와 Claude Opus 5는 요청에서 thinking 필드를 생략해도 기본적으로 high 노력의 적응형 사고를 사용하며, 이때 발생하는 추론 토큰은 출력 토큰으로 과금된다. 따라서 Claude Sonnet 4.6에서 애플리케이션을 변경 없이 옮기더라도 사고 토큰에 대한 과금이 시작되고, maxTokens는 응답 텍스트뿐 아니라 사고 토큰까지 합쳐 제한하는 값이 된다. Claude Haiku 5.5의 기본 노력은 medium이며, 이 세 모델은 모두 low, medium, high, xhigh, max를 지원한다. 노력을 낮추려면 thinking의 type을 adaptive로 설정하고 output_config의 effort에 low를 지정해야 하며, effort를 thinking 내부에 넣어서는 안 된다. 원문은 모델을 바꿀 때 Adaptive thinking 문서를 확인하고, 일상적이고 범위가 명확한 작업은 high보다 낮은 수준에서 시작하되 품질 시험에서 필요성이 확인된 작업에는 high를 유지하도록 제안한다. 판단에는 요청별 출력 토큰, CloudWatch의 AWS/Bedrock OutputTokenCount, 호출 로그와 작업 통과율을 함께 사용해야 하며, 작업을 실패하게 만드는 토큰 감소는 절감으로 볼 수 없다고 강조한다.

6. 추론 노력 실험에서 드러난 작업별 차이

Claude Opus 5 도구 호출 에이전트 실험은 Build long-horizon agents with Grok 4.7 on Amazon Bedrock의 설계를 따른 세 작업으로 구성되었고, 각 작업에는 정답이 하나씩 있으며 모든 노력 수준에서 작업별로 여덟 번씩 실행했다. 각 수준은 24회 모두 정답이었지만 출력 토큰 중앙값은 low 936개, medium 1,484개, high 2,521개, xhigh 2,964개, max 3,762개로 증가했다. low 대비 증가율과 95% 구간은 medium이 59%와 50~78%, 기본값 high가 169%와 112~190%, xhigh가 217%와 170~260%, max가 302%와 180~402%였다. 이 결과는 해당 에이전트 작업에서 낮은 노력으로도 정답을 유지하며 토큰을 줄일 수 있었음을 보여주지만, 낮은 노력의 정확도는 모델과 작업에 따라 달라지므로 자기 작업과 유사한 조건에서 측정해야 한다. 별도로 Amazon Bedrock Samples의 Invoke Bedrock model for code generation 워크로드에서는 출력 토큰 중앙값이 low 676개, high 743개였고, 그 차이는 실행 간 변동 범위 안이었으며 채점한 프로그램은 각 노력 수준에서 통과했다. 따라서 노력 수준을 낮추면 항상 큰 절감이 생긴다고 일반화할 수 없고, 에이전트 실험의 증가율과 코드 생성 실험의 작은 차이를 구분해 해석해야 한다.

7. maxTokens의 비용 상한과 응답 잘림

maxTokens는 잘못된 프롬프트, 회귀 또는 반복이 만들어낼 수 있는 출력량을 제한하는 애플리케이션 상한이며, Amazon Bedrock은 요청 시작 시 입력 토큰과 maxTokens를 할당량에서 차감하므로 지나치게 큰 값은 동시 처리량을 줄인다. 이 상한 자체는 안전 제어가 아니며, 원문은 운영 생성형 AI 워크로드에서 Amazon Bedrock Guardrails를 표준적인 책임 있는 AI 제어로 사용해 지원되는 입력·응답의 콘텐츠 필터링, 프롬프트 공격 탐지와 근거 확인을 수행하도록 권고한다. Claude Sonnet 5 실험에서는 정상 출력 다섯 개의 최댓값이 103토큰이어서 여유를 둔 예시 상한으로 155토큰을 선택했다. 이후 적응형 사고를 끄고 의도적으로 장황한 동일 프롬프트를 2,048토큰 상한과 155토큰 상한으로 각각 호출하자 실제 출력도 각각 2,048개와 155개여서 낮은 상한이 출력 토큰 1,893개를 피했다. 그러나 두 요청 모두 max_tokens로 종료되어 응답이 잘렸으므로, 이 결과는 지출 제한 효과를 보여줄 뿐 부적절한 프롬프트가 유용해졌다는 뜻은 아니며 여러 턴이나 에이전트 체인에서는 잘린 응답이 다음 단계를 망가뜨릴 수 있다.

8. 운영 보정과 설정별 검증 절차

운영 환경의 maxTokens는 작업 유형별로 대표성 있는 출력 토큰 분포를 관찰한 뒤 P95와 P99를 비교하고 선택한 백분위에 여유분을 더해 정해야 한다. P95는 비용 노출을 더 적극적으로 제한하는 대신 응답 잘림 위험을 더 많이 받아들이고, P99는 상한을 높이는 대신 유효한 긴 응답을 더 많이 보존하므로 비용과 완료 가능성 사이의 선택이 필요하다. 적응형 사고를 켜면 maxTokens가 사고 토큰도 제한하므로 같은 상태에서 보정해야 하며, max_tokens 종료를 관찰하고 작업 상한을 올리기 전에 해당 요청을 조사해야 한다. 네 설정에 공통으로 적용할 절차는 모델 지원 여부를 확인하고 요청 선택 하나를 바꾼 다음 토큰이나 비용을 측정하면서 품질 또는 완료 여부를 추적하는 것이다. 여러 모델로 라우팅한다면 모델 버전·Region·API별로 지원 캐시 유지 시간, 서비스 티어, 추론 수준과 출력 상한을 기록하고, 요청을 보내기 전에 그 지원 정보에 맞는지 검증해야 한다. 요청 이후에는 실제 적용 티어와 캐시 카운터를 응답에서 확인해야 하며, 공개 요율과 제한된 실험 결과만으로 전체 워크로드의 절감이나 품질 유지를 단정해서는 안 된다는 것이 원문의 검증 방식이 갖는 함의다.

🧾 핵심 주장 / 시사점

  • 캐시 TTL은 길수록 유리한 설정이 아니라 재사용 간격과 쓰기 요율의 조합이다. 1시간 캐시가 5분 캐시보다 유리해지는 조건과 캐시 미사용보다 유리해지는 조건을 구분해야 한다.
  • Flex의 가격 이점과 추론 노력 하향의 토큰 절감은 서로 다른 방식으로 발생한다. 전자는 지원 티어의 요율에, 후자는 작업별 출력량과 품질 유지 여부에 달려 있어 같은 실험 결과로 일반화할 수 없다.
  • maxTokens를 낮춰 출력 토큰을 줄였더라도 응답이 잘려 후속 작업이 실패하면 유용한 완료를 얻었다고 볼 수 없다. 비용 측정에는 토큰 수와 함께 통과율·완료 여부를 연결해야 한다.

✅ 액션 아이템

  • 동일한 접두부의 재사용 간격과 시간당 요청 수를 기준으로 5분·1시간 캐시 비용을 비교하고, 테넌트 분리와 캐시 읽기·쓰기 토큰을 확인한다.
  • Flex 지원 여부를 모델·버전·Region·API별로 확인하고, Amazon Nova 2 Lite의 default·flex 비용과 지연을 실제 워크로드에서 비교한다.
  • 추론 노력 low의 작업 통과율을 평가하고, 적응형 사고를 포함한 출력 분포의 P95·P99와 max_tokens 종료를 근거로 maxTokens를 보정한다.

❓ 열린 질문

  • 동일한 접두부의 요청 간격이 5분을 넘는 경우, 1시간 캐시가 캐시 미사용보다 저렴해지는 시간당 세 번의 요청 조건을 충족하는가?
  • Flex를 지원하는 모델·버전·Region·API에서 실제 비용과 지연은 default와 어떻게 달라지며, 해당 작업의 지연 허용도에 부합하는가?
  • 추론 노력 low와 P95·P99 기반 maxTokens를 적용했을 때 작업 통과율과 응답 잘림 위험은 어떻게 달라지는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.