Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
Quick Summary
Amazon SageMaker HyperPod Inference가 NVIDIA Dynamo를 지원하면서, 단일 인스턴스의 GPU 메모리를 넘는 모델을 여러 노드에 배치하고 입력 처리(prefill)와 토큰 생성(decode)을 부하에 맞춰 독립적으로 확장할 수 있게 됐다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon SageMaker HyperPod Inference가 NVIDIA Dynamo를 지원하면서, 단일 인스턴스의 GPU 메모리를 넘는 모델을 여러 노드에 배치하고 입력 처리(prefill)와 토큰 생성(decode)을 부하에 맞춰 독립적으로 확장할 수 있게 됐다.
📌 핵심 요약
- GLM-5.3의 FP8 가중치만으로도 ml.p5.48xlarge 한 대의 GPU 메모리 640 GB를 초과한다. HyperPod는 여러 노드에 걸친 워커에 GPU를 함께 할당하고, EFA 통신과 노드 상태 감시·교체를 지원한다.
- NVIDIA Dynamo는 prefill과 decode를 한 워커에서 실행하는 통합형과 별도 워커 풀에서 실행하는 분리형을 지원한다. 두 방식 모두 KV 캐시 인식 라우팅을 통해 재사용 가능한 접두부 캐시와 현재 워커 부하를 고려한다.
- 기존 DynamoGraphDeployment(DGD)를 가져오면 팀이 서빙 구성을 직접 제어한다. InferenceEndpointConfig(IEC)의 dynamoSpec을 사용하면 HyperPod Inference Operator가 가중치 준비와 엔드포인트·TLS·등록을 관리한다.
- AWS의 Qwen3-235B-A22B-FP8 시험에서 P90 첫 토큰 도달 시간 1초 미만과 사용자당 생성 속도 중앙값 초당 50토큰 이상을 모두 충족한 최고 처리량은 분리형 207, 통합형 101 출력 토큰/GPU/초였다. 분리형이 2.05배였고, 이때 동시 요청 수는 각각 80과 32였다.
- Qwen3.5-397B-A17B-FP8은 한 인스턴스에 들어가는 모델이다. AWS가 활성 H200 GPU 8개를 두 노드에 나눠 배치한 통합형 시험에서는 접두부 재사용률이 높은 동시 요청 수 32 조건에서 GPU당 초당 126.4개 출력 토큰을 생성해 단일 노드 처리량의 99.1%를 유지했다.
🧩 주요 포인트
- 가중치·KV 캐시·런타임이 워커 메모리 규모를 결정하며, 긴 입력이 토큰 생성을 지연시키는 정도가 prefill과 decode를 분리할 때의 판단 근거가 된다.
- DGD와 IEC 모두 다중 노드를 지원하므로, 배포 경로는 기존 서빙 구성을 얼마나 재사용할지와 엔드포인트 운영을 어디까지 위임할지에 따라 선택할 수 있다.
- 배는 지연 시간과 생성 속도 기준을 통과한 각 구성의 최고 처리량을 비교한 값이고, 99.1%는 활성 GPU 수를 고정한 비교 결과다. 실제 구성 선택에는 대표 트래픽을 사용한 AIPerf 측정이 필요하다.
🧠 상세 정리
1. 단일 인스턴스의 메모리 한계와 긴 입력의 영향
대규모 언어 모델을 서빙하려면 모델 가중치를 올릴 GPU 메모리 외에도 요청을 처리하는 동안 KV 캐시와 런타임이 사용할 공간을 확보해야 한다. GLM-5.3은 FP8 가중치만으로도 ml.p5.48xlarge 한 대의 GPU 메모리 640 GB를 초과하므로, 이 인스턴스를 사용하려면 하나의 모델 워커를 여러 노드에 걸쳐 배치해야 한다. 메모리에 모델이 들어가더라도 입력 처리와 출력 토큰 생성이 같은 GPU를 쓰면 긴 입력을 처리하는 동안 토큰 생성이 느려질 수 있다. Amazon SageMaker HyperPod Inference는 오픈 소스 분산 추론 프레임워크인 NVIDIA Dynamo를 통합해, 모델을 여러 노드에 나누는 구성과 두 처리 단계를 독립적으로 확장하는 구성을 모두 지원한다.
2. 애드온의 배포·스케줄링·복구 역할
HyperPod Inference 애드온은 Dynamo의 사용자 정의 리소스 정의와 서빙·스케줄링 구성 요소를 설치한다. HyperPod Inference Operator는 InferenceEndpointConfig에 담긴 dynamoSpec을 바탕으로 엔드포인트 배포를 관리하고, Dynamo operator는 DynamoGraphDeployment에 정의된 프런트엔드와 모델 워커, 복제본 수와 리소스 요구량을 관리한다. Grove는 함께 동작하는 파드 그룹과 그룹 간 확장 관계를 조정하고, KAI Scheduler는 갱 스케줄링을 사용해 다중 노드 워커에 필요한 파드를 함께 배치한다. AWS Deep Learning Containers가 Dynamo 런타임을 제공하며, 지원되는 Dynamo 릴리스로 전환할 때는 통합 구성 요소의 버전을 관리하는 애드온을 업데이트한다. 운영 중에는 HyperPod가 노드·GPU·EFA 상태를 감시하고 장애 노드를 교체하며, 오케스트레이션 구성 요소가 영향을 받은 워커를 다시 생성한다.
3. 통합형·분리형 서빙과 KV 캐시 재사용
통합형에서는 하나의 워커가 입력을 처리하는 prefill과 출력 토큰을 생성하는 decode를 모두 수행한다. 분리형에서는 Dynamo 프런트엔드가 요청을 단계별 워커로 보내므로, 입력 처리 수요와 토큰 생성 수요에 맞춰 각 풀의 규모와 설정을 독립적으로 조정할 수 있다. 분리형의 두 풀은 각각 전체 모델 가중치를 로드하며, prefill에서 계산한 KV 캐시는 Elastic Fabric Adapter(EFA)를 통해 decode 워커로 전달된다. 두 방식 모두 워커를 한 인스턴스에 배치하거나 텐서 병렬화와 파이프라인 병렬화로 여러 인스턴스에 걸쳐 실행할 수 있다. KV 캐시 인식 라우터는 재사용할 수 있는 접두부 캐시와 현재 워커 부하를 함께 고려해, 반복되는 입력 계산을 줄이고 첫 토큰 도달 시간을 단축하면서 특정 워커에 요청이 몰리는 것을 피할 수 있다.
4. DGD와 IEC에서 달라지는 운영 책임
기존 Dynamo 구성을 재사용하려는 팀은 완전한 DynamoGraphDeployment(DGD) 매니페스트를 가져와 서빙 구조를 직접 제어할 수 있다. 이 경로에서는 팀이 지원되는 컨테이너 이미지를 선택하고 클러스터에 맞춰 스토리지·네트워크·파드 배치를 설정하며, 가중치 다운로드 또는 마운트와 엔드포인트·TLS·등록·자동 확장을 관리한다. InferenceEndpointConfig(IEC)의 dynamoSpec을 쓰는 경로에서는 HyperPod Inference Operator가 Amazon S3 또는 Amazon FSx에서 가중치를 준비하고 엔드포인트·TLS·등록을 관리한다. IEC는 vLLM을 기본 엔진으로 사용하고 SGLang과 TensorRT-LLM도 지원하며, 라우팅과 복제본 수에 기본값을 제공한다. IEC의 autoScalingSpec을 사용하면 통합형과 분리형 모두 KEDA로 자동 확장할 수 있고, 어느 배포 경로에서든 HyperPod가 노드 상태 감시와 교체를 담당한다.
5. GLM-5.3 배포 예시에서 복제본 수를 읽는 법
AWS는 IEC와 vLLM을 사용하는 GLM-5.3 예시에서 모델 워커 복제본과 요청을 받는 프런트엔드 복제본을 별도로 구성했다. 통합형은 ml.p5.48xlarge 두 대의 GPU 16개를 텐서 병렬화에 사용해 모델 워커 복제본 하나를 실행하며, 프런트엔드 복제본 두 개에는 KV 캐시 인식 라우팅을 설정한다. 분리형 예시는 같은 프런트엔드 구성을 유지하면서 prefill 복제본 하나와 decode 복제본 두 개를 두고, 각 복제본을 인스턴스 두 대에 걸쳐 실행하므로 총 여섯 대를 사용한다. IEC 구성을 적용하면 HyperPod Inference Operator가 워커에 가중치를 제공하고 DGD를 생성하며, Grove와 KAI Scheduler가 각 워커에 필요한 파드의 배치를 조정한다. 채팅 완성용 엔드포인트가 준비되면 클라이언트는 SageMaker Runtime API를 통해 OpenAI 호환 형식으로 요청할 수 있다.
6. Qwen3-235B에서 서비스 기준을 충족한 최고 처리량
AWS는 Qwen3-235B-A22B-FP8에 Dynamo와 TensorRT-LLM을 사용하고, p5en.48xlarge 두 대의 H200 GPU 16개에서 AIPerf로 통합형과 분리형을 비교했다. 요청당 입력은 4,000토큰, 출력은 200토큰이었으며, 첫 토큰 도달 시간의 90백분위수(P90)가 1초 미만이고 사용자당 생성 속도 중앙값이 초당 50토큰 이상인 측정점만 남겼다. 이 기준에서 통합형의 최고 처리량은 동시 요청 수 32에서 GPU당 초당 101개 출력 토큰이었고, 분리형은 동시 요청 수 80에서 GPU당 초당 207개 출력 토큰을 기록했다. 따라서 2.05배라는 값은 각 구성이 두 가지 서비스 기준을 지키면서 달성한 최고 처리량의 비율이며, 두 최고점에 해당하는 동시 요청 수는 서로 다르다.
7. Qwen3.5-397B로 측정한 노드 간 배치의 영향
AWS는 Qwen3.5-397B-A17B-FP8이 한 인스턴스에 들어가므로 실제로는 나눌 필요가 없지만, 노드 경계를 넘는 배치의 영향을 측정하기 위한 대조 조건으로 이 모델을 선택했다. Dynamo와 vLLM을 사용하는 통합형에서 텐서 병렬도 4와 파이프라인 병렬도 2, 워크로드를 고정하고 p5en.48xlarge 한 대의 H200 GPU 8개를 쓴 경우와 두 대에서 각각 4개씩 쓴 경우를 비교했다. 접두부 재사용률이 높은 에이전트형 워크로드를 동시 요청 수 32로 실행하자, 두 노드 구성은 GPU당 초당 126.4개 출력 토큰을 생성해 단일 노드 처리량의 99.1%를 유지했다. AWS는 활성 GPU 수와 병렬화 설정을 같게 둔 이 조건에서 워커가 노드 경계를 넘는 데 따른 처리량 손실이 작았다고 해석했다.
8. 대표 트래픽을 사용한 구성 선택과 튜닝
AWS는 모델·추론 엔진·GPU 유형에 맞는 Dynamo 레시피에서 시작해 가중치와 KV 캐시, 런타임 메모리를 합산한 뒤 워커 규모를 정하도록 권한다. 지원되는 구성에서는 AISimulate로 통합형과 분리형, 병렬화 방식, prefill·decode 풀 규모를 GPU 시험 전에 비교할 수 있다. 여러 인스턴스를 사용하는 경우에는 성능 측정에 앞서 워커 간 통신과 분리형의 KV 캐시 전송에 의도한 EFA 경로가 사용되는지 확인한다. AIPerf로 실제 트래픽을 재생하거나 입력·출력 길이와 접두부 재사용 특성을 반영한 에이전트형 트래픽을 사용해, 구성별 동시 요청 수를 바꿔 가며 서비스 수준 목표를 충족하는 측정점을 비교한다. 비용과 지연 시간의 우선순위에 따라 후보를 고른 뒤에는 측정된 병목을 근거로 엔진 설정보다 워커 배치와 할당을 먼저 조정하고, 한 번에 한 변수씩 바꿔 대상 HyperPod 환경에서 검증한다.
🧾 핵심 주장 / 시사점
- 한 워커를 여러 노드에 나누는 결정은 모델의 메모리 요구량과 관련되고, prefill과 decode를 분리하는 결정은 두 단계의 부하와 확장 수요에 달려 있다. GLM-5.3 예시처럼 두 구성을 함께 사용할 수 있다.
- 분리형에서는 각 풀이 전체 가중치를 로드하고 풀 사이에 KV 캐시를 전송한다. 독립 확장의 효과를 판단하려면 풀별 메모리 요구량과 EFA 통신을 함께 고려해야 한다.
- Qwen3-235B 시험은 서비스 기준을 지키면서 처리할 수 있는 출력량을, Qwen3.5-397B 시험은 동일한 GPU 수를 두 노드에 나눴을 때 유지되는 처리량을 보여준다. 두 수치는 서로 다른 배치 결정을 뒷받침한다.
✅ 액션 아이템
- GLM-5.3 워커 규모를 정할 때 FP8 가중치와 KV 캐시·런타임 메모리를 합산해 필요한 노드 수를 산정한다.
- 기존 서빙 구성의 재사용 필요성과 가중치·엔드포인트·TLS 관리 책임을 기준으로 DGD와 IEC 중 배포 경로를 선택한다.
- 대표 트래픽을 AIPerf로 측정해 첫 토큰 도달 시간과 사용자당 생성 속도 기준을 함께 충족하는 통합형·분리형 처리량을 비교한다.
❓ 열린 질문
- GLM-5.3의 FP8 가중치에 실제 요청의 KV 캐시와 런타임 메모리를 더하면 워커당 GPU 메모리는 얼마나 필요한가?
- 대표 트래픽에서는 통합형과 분리형이 첫 토큰 도달 시간과 사용자당 생성 속도 기준을 충족하면서 각각 어느 동시 요청 수에서 최고 처리량을 내는가?
- Qwen3.5-397B-A17B-FP8의 접두부 재사용률이나 동시 요청 수가 달라지면 두 노드에서 유지되는 단일 노드 대비 처리량은 어떻게 변하는가?