🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon SageMaker HyperPod 추론은 3단계 데이터 캡처, Hugging Face Hub 직접 배포, 노드 로컬 NVMe 기반 가중치 로딩, Route 53 DNS 자동화와 세분화된 IAM 제어를 통해 대규모 모델 운영의 관찰성·성능·보안·배포 편의성을 강화한다.

📌 핵심 요약

• 추론 요청이 SageMaker AI 엔드포인트, Application Load Balancer, 모델 파드를 통과하는 각 지점에서 데이터 캡처를 독립적으로 설정해 모니터링, 디버깅, 감사와 모델 개선에 활용할 수 있다.
• 캡처 데이터는 S3에 저장되며 단계별 활성화, 입력·출력 선택, 샘플링 비율, KMS 암호화, 버퍼링, 콘텐츠 유형과 최대 페이로드 크기를 CRD에서 선언적으로 구성할 수 있다.
• Hugging Face Hub의 모델을 S3나 FSx에 미리 옮기지 않고 직접 배포할 수 있으며, 게이트 모델용 토큰 Secret, 커밋 기반 리비전 고정, 토큰 격리와 vLLM·TGI·SGLang 호환성을 지원한다.
• 노드 로컬 NVMe에서 모델 가중치를 불러와 콜드 스타트 지연을 줄이고 필요할 때 클라우드 스토리지로 대체하며, 파드 단위 IAM 권한으로 보안 경계를 세밀하게 관리할 수 있다.
• ACM 인증서와 Route 53 호스팅 영역을 준비하고 CRD에 인증서 및 DNS 설정을 추가하면 운영자가 사용자 지정 도메인의 DNS 레코드 생성, 갱신과 정리를 자동으로 처리한다.

🧩 주요 포인트

1. 추론 요청이 SageMaker AI 엔드포인트, Application Load Balancer, 모델 파드를 통과하는 각 지점에서 데이터 캡처를 독립적으로 설정해 모니터링, 디버깅, 감사와 모델 개선에 활용할 수 있다.
2. 캡처 데이터는 S3에 저장되며 단계별 활성화, 입력·출력 선택, 샘플링 비율, KMS 암호화, 버퍼링, 콘텐츠 유형과 최대 페이로드 크기를 CRD에서 선언적으로 구성할 수 있다.
3. Hugging Face Hub의 모델을 S3나 FSx에 미리 옮기지 않고 직접 배포할 수 있으며, 게이트 모델용 토큰 Secret, 커밋 기반 리비전 고정, 토큰 격리와 vLLM·TGI·SGLang 호환성을 지원한다.
4. 노드 로컬 NVMe에서 모델 가중치를 불러와 콜드 스타트 지연을 줄이고 필요할 때 클라우드 스토리지로 대체하며, 파드 단위 IAM 권한으로 보안 경계를 세밀하게 관리할 수 있다.
5. ACM 인증서와 Route 53 호스팅 영역을 준비하고 CRD에 인증서 및 DNS 설정을 추가하면 운영자가 사용자 지정 도메인의 DNS 레코드 생성, 갱신과 정리를 자동으로 처리한다.

🧠 상세 정리

1. 기업용 대규모 추론 운영을 위한 기능 확장

기업이 생성형 AI 워크로드를 확장하면서 추론 인프라에는 더 빠른 처리뿐 아니라 높은 관찰성과 유연한 운영 방식이 요구되고 있다. SageMaker HyperPod는 대규모 모델을 프로덕션에 배포하고 운영하는 과정을 단순화하기 위해 데이터 캡처, Hugging Face 모델 소스, 로컬 NVMe 로딩, 사용자 지정 도메인 관리와 세분화된 권한 제어를 제공한다. 요청과 응답을 엔드포인트부터 로드 밸런서, 모델 파드까지 여러 지점에서 기록할 수 있어 감사와 문제 분석에 필요한 근거를 확보할 수 있다. 또한 커뮤니티 허브의 모델을 별도 스토리지에 미리 준비하지 않고 배포할 수 있으며, 게이트 접근과 리비전 고정, 토큰 격리를 지원한다. 이러한 기능은 배포 속도를 높이는 동시에 거버넌스와 운영 가시성을 유지하는 데 초점을 둔다.

2. 세 단계로 구성된 추론 데이터 캡처

HyperPod의 추론 데이터 캡처는 모델 모니터링, 디버깅과 개선을 위해 요청 및 응답 데이터를 기록하는 기능이다. 요청은 SageMaker AI 엔드포인트에서 Application Load Balancer를 거쳐 모델 파드로 전달되며, 사용자는 세 지점의 캡처를 서로 독립적으로 활성화할 수 있다. 1단계는 SageMaker AI Runtime API 경계에서 전체 입력과 출력을 기록하고 SageMaker AI Model Monitor와의 호환성이 필요할 때 사용하지만, 엔드포인트 등록이 요구된다. 2단계는 ALB 액세스 로그를 통해 클라이언트 IP, 요청 경로와 지연 시간 같은 메타데이터를 수집한다. 3단계는 추론 컨테이너에서 전체 입력과 출력을 포착하며, 엔드포인트 등록 없이 모델에 가장 가까운 지점의 상세한 가시성을 제공한다.

3. 데이터 캡처의 사전 조건과 CRD 구성

데이터 캡처를 사용하려면 운영자가 기록할 수 있는 S3 버킷 또는 접두사 URI와 적절한 IAM 권한이 필요하며, URI를 지정하지 않으면 TLS 인증서 버킷이 기본 저장소로 사용된다. SageMaker 엔드포인트 단계에서는 기능 활성화, 대상 S3 URI, 입력·출력 중 최소 하나의 캡처 옵션과 샘플링 비율을 설정해야 한다. 로드 밸런서 단계는 활성화와 S3 URI가 필요하고, 모델 파드 단계는 활성화하면 기본적으로 입력과 출력 모두를 100% 샘플링한다. 설정은 InferenceEndpointConfig 또는 JumpStartModel CRD의 dataCapture 영역에 선언한다. 필요에 따라 Tier 1과 Tier 3에 KMS 키를 지정하고, 모델 파드 캡처에는 배치 크기, 플러시 간격, 콘텐츠 유형과 최대 페이로드 크기도 설정할 수 있다.

4. S3 저장 구조와 필요한 IAM·KMS 권한

세 캡처 단계의 결과는 모두 S3에 기록되며, 별도의 s3Uri가 없으면 TLS 인증서 버킷의 data-capture 접두사 아래에 저장된다. 각 배포의 경로는 클러스터 ARN, 네임스페이스, CRD 유형과 배포 이름에서 파생한 해시를 기준으로 만들어진다. 동일한 배포는 항상 같은 접두사를 생성하므로, 같은 대상을 향한 여러 CRD 제출의 캡처 결과가 동일한 S3 하위 폴더에 누적된다. 기존 클러스터에서 기능을 활성화하려면 Inference Operator Execution Role에 대상 경로에 대한 s3:PutObject 권한을 추가해야 한다. 고객 관리형 KMS 키를 사용하는 경우에는 S3 서비스를 통한 사용과 암호화 컨텍스트를 조건으로 kms:Decrypt 및 kms:GenerateDataKey 권한도 부여해야 한다.

5. 비용·보안·운영 효율을 위한 캡처 지침

프로덕션에서는 initialSamplingPercentage를 낮게 시작한 뒤 필요한 수준까지 올려 캡처 데이터의 양을 통제하는 것이 권장된다. 모델 파드 단계에서는 payloadConfig.maxPayloadSizeKB로 기록할 페이로드의 최대 크기를 제한해 저장 비용의 급증을 방지할 수 있다. 자체 키를 이용한 저장 데이터 암호화가 필요한 워크로드는 Tier 1과 Tier 3에 kmsKeyId를 지정해야 한다. ALB 액세스 로그에는 URL과 쿼리 매개변수가 포함될 수 있으므로 민감한 입력은 쿼리 문자열 대신 POST 요청 본문에 넣는 것이 권장된다. 특정 단계만 중단하려면 해당 enabled 값을 false로 바꾸거나 그 영역을 제거하고, 모든 캡처를 중단하려면 CRD에서 dataCapture 영역 전체를 삭제한다.

6. Hugging Face Hub 모델의 직접 배포

HyperPod는 모델 가중치를 S3나 FSx에 미리 옮기지 않고 Hugging Face Hub에서 직접 배포하는 모델 소스를 지원한다. 유효한 modelId, 가중치 다운로드용 볼륨이 연결된 GPU 작업자, 그리고 게이트 모델에 필요한 Hugging Face 토큰을 담은 Kubernetes Secret이 사전 조건이다. modelSourceType을 huggingface로 지정하고 modelId와 tokenSecretRef를 설정하며, 필요하면 commitSHA를 이용해 특정 리비전에 고정할 수 있다. 이 방식은 토큰 격리를 제공하고 vLLM, TGI와 SGLang 추론 런타임에서 사용할 수 있으며, Inference Operator는 배포 성공과 실패 상태를 Kubernetes 이벤트로 남긴다. 모델 소스 설정에는 다운로드 사전 수행을 위한 prefetchEnabled와 사용할 인스턴스 유형도 포함할 수 있다.

7. 배포 상태 확인과 엔드포인트 검증 절차

Hugging Face 모델 배포는 먼저 토큰을 담은 Kubernetes Secret을 대상 네임스페이스에 만든 뒤, 엔드포인트 이름과 모델 소스 구성이 포함된 YAML을 준비하는 순서로 진행된다. 작성한 리소스는 kubectl apply로 제출하며, InferenceEndpointConfig와 SageMakerEndpointRegistration을 describe해 모델 배포 및 엔드포인트 생성 상태를 확인한다. 오류 원인이나 진행 상태가 필요할 때는 같은 네임스페이스의 Kubernetes 이벤트를 조회할 수 있다. 배포가 완료됐다는 상태 확인만으로 절차를 끝내지 않고, SageMaker Runtime의 invoke-endpoint 명령으로 JSON 입력을 보내 실제 추론 요청이 처리되는지 검사한다. 이 검증은 모델 다운로드, 런타임 기동, 엔드포인트 등록과 요청 처리 경로가 함께 정상 동작하는지를 확인하는 단계다.

8. Route 53 기반 사용자 지정 도메인 자동 관리

HyperPod 추론은 Route 53과 연동해 사용자 지정 도메인에 필요한 DNS 레코드의 생성, 변경과 정리를 자동화한다. 사용자는 먼저 대상 도메인을 포함하며 Issued 상태인 ACM 인증서와 해당 도메인의 Route 53 호스팅 영역을 준비해야 한다. Inference Operator 실행 역할에는 ACM 인증서 조회, 인증서 출력물을 저장할 S3 객체 쓰기, 호스팅 영역 조회와 레코드 목록 및 변경 권한이 필요하다. TLS 버킷 이름이 hyperpod-tls로 시작하면 S3 관련 권한은 관리형 정책에 이미 포함될 수 있어 ACM과 Route 53 권한만 추가하면 된다. 배포 YAML의 tlsConfig에 ACM ARN, 도메인 이름과 인증서 출력 S3 URI를 지정하고 dnsConfig에 hostedZoneId를 넣으면 운영자가 해당 엔드포인트의 DNS 수명주기를 관리한다.

🧾 핵심 주장 / 시사점

• 캡처 지점을 하나로 고정하지 않고 API 경계, 네트워크 계층, 모델 컨테이너로 분리함으로써 Model Monitor 호환성, 접근 메타데이터 분석, 모델 직전의 전체 페이로드 조사 중 필요한 수준을 선택하거나 조합할 수 있다.
• Hugging Face Hub 직접 배포는 모델 사전 복사를 없애지만, 토큰 Secret과 GPU 볼륨, 배포 이벤트 확인 및 실제 엔드포인트 호출 검증까지 포함해야 완전한 운영 절차가 된다.
• 자동 DNS 관리와 세분화된 IAM, KMS 암호화, 샘플링 및 페이로드 제한은 편의 기능을 넘어 추론 서비스의 보안 경계, 감사 가능성, 저장 비용을 선언적 설정으로 통제하게 한다.

✅ 액션 아이템

• SageMaker AI 엔드포인트·ALB·모델 파드 구간별로 데이터 캡처를 분리해 입력·출력 선택, 샘플링 비율, 버퍼링, 페이로드 상한을 CRD에 선언한다.
• Hugging Face Hub 모델을 사전 스토리지 복사 없이 직접 배포하고, 게이트 토큰 Secret·커밋 리비전 고정, 토큰 격리를 전제해 vLLM·TGI·SGLang 호환을 점검한다.
• 노드 로컬 NVMe에서 가중치 로딩과 클라우드 스토리지 대체 흐름을 맞춰 콜드 스타트 지연 완화 효과를 측정하고, 파드 단위 IAM으로 권한 경계를 최소화한다.

❓ 열린 질문

• 어떤 요청 구간에서 어떤 캡처 항목을 먼저 활성화할 때 모니터링·디버깅·감사 신뢰도를 가장 높일 수 있는가?
• Direct HF Hub 배포 시 토큰 Secret 분리와 커밋 리비전 고정이 동작할 수 있는 안정적 정책은 무엇인가?
• Route 53 자동화에서 ACM 갱신과 DNS 레코드 갱신·정리 충돌이 발생했을 때 복구 기준은 어디에 둘 것인가?