Introducing usage-based pricing for Amazon SageMaker AI bidirectional streaming

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon SageMaker AI 양방향 스트리밍에 실제 사용량을 AWS Marketplace 소프트웨어 요금에 반영하는 계량 기능이 도입되며, 엔드포인트 인프라 요금은 별도로 계속 부과된다.

📌 핵심 요약

• AWS는 Amazon SageMaker AI 양방향 스트리밍 추론에서 모델 제공업체가 실제 사용량을 보고하는 기능을 발표했다. 출시 파트너 Deepgram은 AWS Marketplace에서 Speech-to-Text(STT)와 Text-to-Speech(TTS)의 사용량 기반 과금을 제공한다.
• 기존 응답 헤더 방식은 세션 중 사용량이 누적되는 스트리밍에 한계가 있어, 추론 데이터 연결과 별도의 메타데이터 WebSocket으로 계량 정보를 전송한다. 두 연결은 X-Amzn-SageMaker-Request-Id로 연결되며, 사용량은 점진적으로 보고하는 것이 권장된다.
• 과금 차원은 inference.count이고 ConsumedUnits는 이전 기록 이후 소비한 단위를 나타낸다. 단위와 계량 대상 오디오는 제공업체가 정의하며, 오디오 초 단위 상품에서 계량된 12분은 720단위다. 연결이 12분 열려 있었다는 사실만으로 과금량이 결정되지는 않으며, 엔드포인트 인프라 요금은 별도다.
• 계량 메시지는 텍스트 프레임당 정확히 1개이며 최대 512바이트, 연결당 초당 1개로 제한된다. X-Amzn-SageMaker-Metadata-Stream-Required는 기본값 false에서 메타데이터 연결 장애에도 추론을 계속하고, true에서는 추론을 중단한다. 어느 설정도 잘못되거나 누락된 기록의 과금을 보장하지 않는다.
• 고객은 AWS Marketplace를 통한 통합 AWS 청구와 비공개 오퍼의 협상 조건을 이용할 수 있다. 제공업체는 보고한 사용량을 AWS Marketplace 보고서 및 구매자 청구액과 대조하고, 세션 중단 상황을 포함해 실제 과금 여부를 검증해야 한다.

🧩 주요 포인트

1. 장시간 세션에서는 최종 사용량을 응답 시점에 확정하기 어려움 → 별도 메타데이터 WebSocket과 점진적 보고가 스트리밍 소프트웨어 과금의 기반이 된다.
2. inference.count라는 이름이나 연결 시간만으로 과금 단위를 해석할 수 없음 → 제공업체의 단위 정의와 계량 규칙이 요금을 좌우하며, 사용량 기반 소프트웨어 요금과 엔드포인트 인프라 요금을 구분해야 한다.
3. 메타데이터 연결 장애 시 추론 지속 여부를 선택할 수 있지만 전송 성공이 과금 성공을 뜻하지는 않음 → 추론 가용성과 계량 연속성의 우선순위를 정하고 AWS Marketplace 청구 결과로 검증해야 한다.

🧠 상세 정리

1. 사용량 기반 계량 도입과 Deepgram의 참여

AWS는 실시간 음성 AI의 소프트웨어 과금 문제를 해결하기 위해 Amazon SageMaker AI 양방향 스트리밍 추론에 사용량 기반 계량 기능을 도입한다고 발표했다. 이 기능은 AWS Marketplace에 모델을 등록한 제공업체가 실제 소비량을 보고해 소프트웨어 요금에 반영하도록 하며, 모델을 호스팅하는 엔드포인트 인프라 요금은 별도로 계속 적용된다. 출시 파트너인 Deepgram은 이를 통해 Speech-to-Text(STT)와 Text-to-Speech(TTS)의 사용량 기반 과금을 AWS Marketplace에 제공한다. 양사의 협력은 장시간 양방향 추론 스트림 지원에서 시작해 AWS Identity and Access Management(AWS IAM) 임시 위임을 통한 인증 간소화와 향상된 지표를 통한 관측성 확대로 이어졌다. 이번 계량 기능은 이러한 흐름을 바탕으로 스트리밍과 실시간 AI의 실제 소비 방식에 과금을 맞추려는 추가 단계로 설명된다.

2. 기존 요청·응답 과금 방식의 한계

기존 SageMaker AI 실시간 요청·응답 추론에서는 모델 제공업체가 HTTP 응답 헤더에 단위 수를 보고하면 AWS Marketplace가 이를 소프트웨어 과금에 사용한다. 이 방식은 응답을 보낼 때 청구할 사용량을 알 수 있는 API에 적합하지만, 세션이 진행되는 동안 사용량이 계속 누적되는 양방향 스트리밍에는 한계가 있다. 클라이언트는 HTTP/2 이벤트 스트림으로 오디오를 보내고 전사 결과를 받으며, SageMaker AI는 모델 서버와 WebSocket으로 연결된다. 세션은 30초 또는 30분 동안 지속될 수 있어 최종 합계는 종료 시점에야 확정되고, 응답 헤더만으로는 진행 중 사용량을 주기적으로 보고할 수 없다. 시간당 소프트웨어 과금은 모델이 사용 가능한 동안 조용한 시간까지 비용을 부과할 수 있지만, 새 기능은 보고된 사용량에 소프트웨어 요금을 맞추며 프로비저닝된 엔드포인트의 인프라 요금은 계속 별도로 발생한다.

3. 추론 연결과 병행하는 메타데이터 WebSocket

새 방식은 기존 추론 데이터 연결 옆에 계량 전용 메타데이터 WebSocket을 추가하며, 데이터 연결은 종전처럼 추론 요청과 응답을 전달한다. 모델 서버는 데이터 WebSocket의 업그레이드 응답에 X-Amzn-SageMaker-Metadata-Stream-Supported: true를 포함해 이 기능 사용을 선택한다. 이 헤더가 없거나 true가 아니면 메타데이터 연결을 시도하지 않으며, 해당 세션은 이 메타데이터 스트림을 통한 제공업체 소프트웨어 사용량 계량이 이뤄지지 않는다. 지원이 선언되면 SageMaker AI는 기본 경로 /invocations-bidirectional-stream-metadata로 두 번째 연결을 열고, 제공업체는 X-Amzn-SageMaker-Metadata-Invocation-Path로 경로를 바꿀 수 있다. 모델 서버는 메타데이터 경로의 WebSocket 업그레이드를 수락한 뒤 양쪽 핸드셰이크에 포함된 동일한 X-Amzn-SageMaker-Request-Id를 사용해 계량 연결과 해당 추론 세션을 연결해야 한다.

4. 계량 기록과 과금 단위의 해석

모델 서버는 메타데이터 연결의 JSON 텍스트 프레임으로 계량 기록을 보내며, 필수 Metering 객체 안에 Dimension과 ConsumedUnits를 포함한다. Dimension은 반드시 inference.count여야 하고, ConsumedUnits는 이전 기록 이후 소비한 단위 수로서 0 이상의 숫자여야 하며 각 기록은 별도로 과금되고 0은 수락되지만 과금되지 않는다. inference.count라는 이름이 요청 한 번을 한 단위로 뜻하는 것은 아니며, 제공업체가 계량 대상 오디오와 단위를 정의하고 AWS Marketplace 오퍼가 해당 단위의 가격을 정한다. 예를 들어 오디오 초 단위 상품에서 계량된 오디오 12분은 ConsumedUnits: 720으로 보고하지만, 연결이 12분 유지됐다는 사실만으로 같은 과금량이 성립하지는 않는다. 상품 목록에는 요청당으로 표시되는 단위 가격 하나가 소수점 이하 최대 세 자리로 제시되며, 선택 필드 ClientToken은 같은 연결에서 동일 토큰이 다시 들어오면 첫 기록만 남기고 중복 메시지를 조용히 버리는 멱등성을 지원한다.

5. 점진적 보고와 연결 장애 시의 선택

AWS는 세션이 예기치 않게 끝났을 때 미보고 사용량을 줄이도록, 사용량이 발생하는 동안 계량 기록을 점진적으로 보내는 방식을 권장한다. 전송 제한 안에서 소비 단위마다 보고하거나 이전 기록 이후 소비한 단위를 주기적으로 합산해 보낼 수 있으며, 마지막 기록은 세션 종료 직후 전송해야 한다. 메타데이터 연결은 TCP의 순서 보장과 신뢰성 있는 전송을 이용하지만, 전송 계층에서 전달됐다는 사실만으로 실제 과금이 이뤄졌다고 판단할 수는 없다. X-Amzn-SageMaker-Metadata-Stream-Required는 메타데이터 스트림 지원이 활성화된 경우에만 적용되며, 기본값 false에서는 메타데이터 연결 수립 실패나 세션 중 연결 단절에도 추론이 데이터 전용 모드로 계속된다. true로 설정하면 이러한 장애에서 데이터 스트림을 종료하므로 계량 연속성과 추론 가용성 사이의 선택이 되지만, 어느 설정에서도 잘못된 형식이나 누락된 기록의 과금을 보장하지는 않는다.

6. 고객의 청구 방식과 계약 조건

전사, 컨택 센터, 음성 에이전트, 자막 생성 등에 실시간 AI 모델을 배포하는 고객에게 이번 변화는 AWS Marketplace 소프트웨어 요금의 계산 방식을 바꾼다. 사용량은 상품이 정의한 단위에 따라 AWS 청구서에 반영되며, 고객은 통합 AWS 청구를 이용하고 모델 제공업체와 별도의 청구 관계를 관리할 필요가 없다. 비공개 오퍼를 통해 협상된 요율을 적용할 수 있고, 모델 제공업체는 AWS Marketplace에서 협상된 단위당 요율이나 고정 가격 계약을 제안할 수 있다. 다만 사용량 기반 소프트웨어 과금이 엔드포인트 인프라 요금을 대체하지는 않으며, 엔드포인트가 프로비저닝된 동안 해당 인프라 비용은 계속 별도로 적용된다. 따라서 고객은 연결 유지 시간과 계량 대상 오디오의 차이를 제공업체의 집계 규칙에 따라 해석해야 하며, 원문은 계약 조건을 AWS 계정 담당자나 파트너 담당자와 직접 논의할 것을 권장한다.

7. 모델 제공업체의 도입 절차

AWS Marketplace에 모델을 등록하는 제공업체는 모델 서버를 수정해 스트리밍 추론 세션 도중 사용량을 보고할 수 있으며, 먼저 한 단위가 무엇을 뜻하는지 가격 모델에 맞게 정의해야 한다. SageMaker Marketplace Onboarding Agent Skill은 선택적으로 사용하는 추론 계량 경로를 제공하고, 시작용 템플릿은 메타데이터 스트림 지원을 알리며 검증된 점진적 ConsumedUnits 프레임을 구성하지만 제출 전 코드 검토와 운영 환경에 맞춘 보강이 필요하다. 통합의 첫 단계는 데이터 WebSocket의 101 업그레이드 응답에 지원 헤더를 넣고, 필요에 따라 연결 장애 시 추론 중단 여부와 사용자 지정 메타데이터 경로를 설정하는 것이다. 두 번째 단계는 메타데이터 WebSocket 연결을 수락하고 X-Amzn-SageMaker-Request-Id로 데이터 연결과 연결하는 것이며, 세 번째 단계는 사용량을 JSON 객체로 전송하는 것이다. AWS Marketplace는 실시간 추론에 단위당 가격 하나를 적용하므로, 제공업체는 세션 진행 중 보고하는 수량과 자신이 정의한 과금 단위가 일치하도록 구현해야 한다.

8. 메시지 제약과 실제 과금 검증

메타데이터 메시지는 전체 JSON 텍스트 프레임 기준 최대 512바이트이고, 전송 속도는 연결당 초당 1개로 제한되며 이를 초과하면 메시지가 버려질 수 있다. 프레임마다 정확히 하나의 계량 기록을 담아야 하므로 여러 기록을 배열로 묶어 보낼 수 없고, 텍스트 프레임만 지원하며 바이너리 프레임은 계량에 사용할 수 없다. Dimension 필드의 최대 길이는 128자이고 값은 inference.count로 고정되며, 선택적인 ClientToken은 최대 64자이고 중복 제거 범위는 같은 연결이다. 메타데이터 연결이 세션 도중 끊겼을 때 Required가 false이면 추론은 계속되지만 계량은 중단되고, 잘못된 형식의 계량 메시지는 Required 설정과 관계없이 버려질 수 있다. 따라서 제공업체는 기록을 보냈다는 사실만으로 청구를 확정하지 말고, 세션 중단 테스트를 포함해 보고 수량을 AWS Marketplace 보고서 및 구매자 청구액과 대조하여 실제 과금 결과를 검증해야 한다.

🧾 핵심 주장 / 시사점

• 사용량 기반 과금의 도입 범위는 AWS Marketplace 소프트웨어 요금이므로, 사용량 감소에 따른 비용 효과를 해석할 때 별도로 지속되는 엔드포인트 인프라 요금을 함께 고려해야 한다.
• 계량 정확성은 메시지 전송뿐 아니라 제공업체의 단위 정의, 점진적 수량 보고, 같은 연결 내 중복 제거, 실제 청구 결과의 대조에 걸쳐 확보해야 한다.
• Required를 true로 설정하는 것은 메타데이터 연결 장애 시 추론을 중단하는 정책 선택이며, 잘못된 기록까지 과금되도록 보장하는 장치는 아니다.

✅ 액션 아이템

• inference.count와 ConsumedUnits에 적용할 단위 및 계량 대상 오디오를 정의하고, 엔드포인트 인프라 요금과 소프트웨어 요금을 구분한다.
• 별도 메타데이터 WebSocket의 점진적 보고를 최대 512바이트와 연결당 초당 1개 제한에 맞추고, X-Amzn-SageMaker-Metadata-Stream-Required를 추론 가용성과 계량 연속성의 우선순위에 따라 설정한다.
• 세션 중단 상황을 포함해 보고한 사용량을 AWS Marketplace 보고서 및 구매자 청구액과 대조하여 실제 과금 여부를 검증한다.

❓ 열린 질문

• 제공업체는 inference.count의 한 단위와 계량 대상 오디오를 어떻게 정의하는가?
• X-Amzn-SageMaker-Metadata-Stream-Required 설정에서 추론 가용성과 계량 연속성 중 어느 쪽을 우선할 것인가?
• 세션 중단 상황에서 보고한 ConsumedUnits가 AWS Marketplace 보고서 및 구매자 청구액에 어떻게 반영되는가?