Build a model improvement flywheel with Amazon SageMaker HyperPod Data Capture
Quick Summary
Amazon SageMaker HyperPod Data Capture는 운영 추론 데이터를 Amazon S3에 수집해 모델 개선에 활용하도록 지원하며, 제공된 예시는 수집 설정과 확인까지 설명하지만 원문이 중간에 끊겨 정확도 개선 결과는 확인할 수 없다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon SageMaker HyperPod Data Capture는 운영 추론 데이터를 Amazon S3에 수집해 모델 개선에 활용하도록 지원하며, 제공된 예시는 수집 설정과 확인까지 설명하지만 원문이 중간에 끊겨 정확도 개선 결과는 확인할 수 없다.
📌 핵심 요약
- Amazon SageMaker HyperPod Data Capture는 실제 추론 입력과 출력을 Amazon S3에 기록하며, AWS는 지연 시간에 미치는 영향이 최소이고 모델 가용성에는 영향이 없다고 설명한다.
- 수집 계층은 SageMaker 엔드포인트의 Tier 1, 로드 밸런서의 Tier 2, 모델 파드의 Tier 3으로 독립 구성된다. Tier 1과 Tier 3은 전체 페이로드를 저장하므로 함께 활성화하면 중복 저장되며, 예제는 Tier 3만 사용한다.
- 합성 데이터를 사용하는 가전제품 지원 라우터 예제는 수집, Amazon Athena 분석, SQL 정책 라벨링, 미세 조정, 병렬 재배포를 제시한다. Qwen2.5-3B-Instruct를 사용하고, 서빙과 학습에 각각 NVIDIA GPU 1개가 필요하다.
- Tier 3은 전체 페이로드에 개인정보가 포함될 수 있어 샘플링, AWS KMS 암호화, S3 수명 주기 규칙, PII 삭제가 필요하다. 수집 파일을 쓰는 Mountpoint-S3 CSI 드라이버 역할의 권한이 빠지면 추론 요청은 성공해도 수집 파일이 생성되지 않을 수 있다.
- 배포 예제는 샘플링 100%, 배치 크기 50, 플러시 간격 60초, 최대 페이로드 1024KB를 설정한다. 요청은 수집 프록시의 8081 포트를 통과해야 하며 8000 포트로 직접 보내면 수집되지 않는다. S3의 JSONL 레코드는 입력과 출력을 base64로 저장하지만, 제공된 원문에는 후속 분석·학습 실행과 정확도 측정 결과가 없다.
🧩 주요 포인트
- Tier 1·Tier 2·Tier 3의 수집 범위가 다르므로 규정 준수, 트래픽 관찰, 학습 데이터 확보라는 목적에 따라 구성을 선택해야 하며, 전체 페이로드를 저장하는 계층의 중복 사용은 저장량을 늘린다.
- 서빙과 학습에 각각 NVIDIA GPU 1개가 필요하고 Mountpoint-S3 CSI 드라이버가 별도 권한으로 수집 파일을 쓰므로, 모델 개선 흐름의 성립 여부는 추론 성공뿐 아니라 학습 자원과 S3 기록 여부에도 달려 있다.
- Amazon Athena 분석과 SQL 정책 라벨링을 통한 개선 흐름은 제시되어 있지만 제공된 원문에 정확도 측정 결과가 없어, 데이터 수집 기능의 구현 설명과 모델 품질 개선의 입증을 구분해 해석해야 한다.
🧠 상세 정리
1. 운영 데이터에서 시작하는 모델 개선
Amazon SageMaker HyperPod에 배포된 기반 모델은 사전에 구성한 데이터셋이 모두 포괄하지 못하는 도메인 전문용어, 예상 밖의 형식, 신제품, 사용자 행동 변화에 노출된다. 원문은 운영 추론 데이터의 기록이 없으면 드리프트와 실패 패턴을 발견하거나 실제 상호작용을 모델 개선에 활용하기 어렵다고 설명한다. Data Capture는 실제 추론 입력과 출력을 Amazon S3에 기록하는 내장 기능이며, AWS는 지연 시간 영향이 최소이고 모델 가용성에는 영향이 없다고 주장한다. 예제는 합성 데이터로 가전제품 지원 라우터를 운영하면서 수집, Amazon Athena 분석, SQL 정책 라벨링, 미세 조정, 병렬 재배포로 이어지는 다섯 단계를 제시한다. 다만 제공된 본문은 수집 레코드 설명 도중 끝나므로, 도입부에서 예고한 신제품 인식 개선이나 전후 정확도 측정의 실제 결과까지 확인할 수는 없다.
2. 세 가지 독립적인 수집 계층
Data Capture는 요청 경로의 서로 다른 위치에서 작동하는 세 계층을 제공하며, 같은 dataCapture 블록에서 원하는 조합을 활성화할 수 있다. Tier 1은 SageMaker 기본 데이터 수집 기능으로 전체 요청·응답 페이로드를 저장하며, 규정 준수, Model Monitor, 감사 용도에 적합하다고 설명한다. Tier 2는 Application Load Balancer 접근 로그를 통해 요청 행, 상태 코드, 처리 시간, 클라이언트 IP, 사용자 에이전트 등을 기록하므로 저비용 트래픽·오류율 관찰에 초점을 둔다. Tier 3은 HyperPod 추론 운영자가 관리하며 전체 요청·응답 페이로드와 이벤트 메타데이터를 수집해 디버깅, 분석, 학습 데이터 확보에 활용한다. Tier 1과 Tier 3을 함께 켜면 같은 레코드가 두 번 저장되므로 목적에 맞게 선택해야 하며, 이 예제에서는 페이로드 활용을 위해 Tier 3만 활성화한다.
3. 전체 페이로드 수집에 따른 데이터 보호
Tier 3은 전체 페이로드를 기록하므로 이름, 주소, 주문번호처럼 학습에 그대로 사용하기 곤란한 개인정보까지 수집할 수 있다. 원문은 이러한 데이터를 학습 데이터로 전환하기 전에 보호해야 한다고 강조하며, 샘플링과 AWS Key Management Service 암호화, S3 수명 주기 규칙, 개인 식별 정보 삭제를 제시한다. 암호화는 kmsKeyId로 설정할 수 있고, 개인정보 삭제에 사용할 수 있는 예로 Amazon Comprehend가 언급된다. Tier 3 설정에는 입력·출력 수집, 샘플링 비율, 버퍼, 최대 페이로드 크기, 콘텐츠 유형 등을 조정하는 항목도 포함된다. 따라서 운영 데이터를 확보하는 기능뿐 아니라 어떤 범위의 데이터를 남기고 어떻게 보호할지까지 함께 고려해야 하며, 제공된 본문에는 이 예제에서 개인정보 삭제를 실제로 실행한 결과는 제시되지 않는다.
4. 클러스터 전제 조건과 모델 준비
실습에는 Amazon EKS로 오케스트레이션되는 SageMaker HyperPod 클러스터와 설치된 추론 운영자, 그리고 amazon-sagemaker-hyperpod-training-operator 학습 운영자 애드온이 필요하다. 서빙과 학습에 사용할 NVIDIA GPU가 각각 하나씩 있어야 하며, 원문에서는 서빙에 ml.g6e.8xlarge, 학습에 ml.g6e.xlarge를 사용했고 두 인스턴스 모두 48GB NVIDIA L40S를 하나씩 갖췄다고 설명한다. 서빙 파드는 엔드포인트가 유지되는 동안 GPU를 점유하므로 GPU가 하나뿐이면 학습 파드는 Pending 상태에 머문다. 클러스터용 kubectl 설정과 같은 리전의 S3 버킷도 필요하며, 두 운영자의 사용자 정의 리소스 정의가 존재하는지 확인하는 명령이 제공된다. 기반 모델로는 단일 L40S에 들어가고 약 1분 만에 미세 조정할 수 있다는 이유로 Qwen2.5-3B-Instruct를 선택하며, 모델을 다운로드한 뒤 S3에 올려 배포를 준비한다.
5. 수집과 학습을 위한 네 가지 권한 주체
권한 설정에서는 Mountpoint-S3 CSI 드라이버 역할, 추론 운영자 실행 역할, 학습 파드의 서비스 계정, Athena라는 네 주체를 구분한다. Tier 3 파일은 Mountpoint-S3 볼륨을 통해 기록되며, 드라이버는 파드 서비스 계정이 아니라 자체 IRSA 역할로 인증하므로 해당 역할에 S3 쓰기, 멀티파트 업로드 중단, 객체 삭제 권한이 필요하다. kmsKeyId를 설정하면 드라이버에는 KMS 복호화·데이터 키 생성·키 설명 권한도 필요하고, 추론 운영자 실행 역할에도 S3 쓰기와 관련 KMS 권한이 요구된다. 원문은 드라이버 권한이 누락되어도 엔드포인트가 정상이고 요청이 성공할 수 있으므로, 수집 파일이 없을 때는 드라이버 역할부터 확인하라고 설명한다. 학습 서비스 계정은 EKS Pod Identity를 통해 기반 모델과 학습 데이터를 읽고 병합 모델을 써야 하며, Athena에는 수집 경로 읽기 권한과 쿼리 결과 저장 위치가 필요하다.
6. Tier 3 활성화와 배포 설정
배포 예제는 InferenceEndpointConfig에 dataCapture.modelPod.enabled를 true로 지정하는 것을 Tier 3 활성화의 핵심으로 제시하고, 나머지는 일반적인 vLLM 배포 설정이라고 설명한다. 수집 대상은 S3의 capture 경로이며, 예제에서는 샘플링 100%, 배치 크기 50, 최대 플러시 간격 60초, 최대 페이로드 크기 1024KB를 지정한다. 입력과 출력은 기본적으로 모두 수집되고 샘플링 기본값도 100%이지만, 배치 크기의 기본값은 10이며 최대 페이로드 크기는 기본적으로 제한이 없다. 별도 선택 설정 예시는 샘플링을 50%로 낮추거나 배치 크기를 100으로 바꾸고 kmsKeyId를 추가할 수 있음을 보여주며, 최대 크기를 넘는 페이로드는 잘린다고 명시한다. 모델 실행에는 vllm/vllm-openai:v0.10.0 이미지, 모델 포트 8000, 최대 모델 길이 2048, GPU 메모리 사용 비율 0.90, GPU 1개가 지정된다.
7. 수집 사이드카와 요청 경로 확인
Tier 3을 활성화한 파드는 모델 컨테이너 외에 NGINX 기반 sidecar-reverse-proxy, otel-collector, s3-uploader를 포함해 총 네 컨테이너를 실행한다. 프록시를 통과한 요청은 OpenTelemetry 수집기로 복사되고 배치 처리된 뒤 Mountpoint-S3 볼륨을 통해 S3에 기록되며, Athena는 저장된 파일을 그 위치에서 읽도록 구성된다. 원문의 실행에서는 배포 적용 후 파드 준비까지 약 5분이 걸렸고, 대부분은 모델 가중치 다운로드에 사용됐다. 수집 확인 요청은 프록시 포트 8081로 보내야 하며, 모델이 직접 수신하는 8000 포트로 보내면 프록시를 우회해 기록되지 않는다. 예제는 로컬 18081 포트를 파드의 8081에 연결해 냉장고 냉각 문제 요청을 전송하고, 버퍼가 비워지도록 75초를 기다린 뒤 S3에서 JSONL 파일이 생성됐는지 확인한다.
8. S3 레코드 형식과 확인 가능한 범위
수집 파일은 설정한 s3Uri 아래에 엔드포인트별 uniqueID, pod, variant, 연·월·일·시로 이어지는 경로의 JSONL 객체로 저장되며, 각 행은 추론 한 건에 해당한다. 제시된 SageMaker 데이터 수집 형식에는 captureData 아래 endpointInput과 endpointOutput이 있고, 각각 콘텐츠 유형, 입력·출력 모드, 데이터, BASE64 인코딩 표시를 포함한다. 따라서 페이로드를 읽으려면 base64 디코딩 후 JSON 파싱이 필요하며, eventMetadata에는 eventId와 inferenceTime이 포함되고 eventVersion은 0으로 표시된다. 본문은 디코딩한 endpointInput.data가 클라이언트가 보낸 요청 본문이라고 설명한 뒤 endpointOutput.data 설명 중간에서 끊긴다. 이에 따라 레코드 저장 방식과 읽기 준비 과정은 정리할 수 있지만, 이후 Athena 쿼리, SQL 라벨링, 미세 조정, 재배포의 구체적인 실행 내용과 정확도 수치는 제공된 자료만으로 확정할 수 없다.
🧾 핵심 주장 / 시사점
- 추론 요청의 성공과 데이터 수집의 성공은 별개다. Mountpoint-S3 CSI 드라이버 권한이 부족하거나 요청이 8000 포트로 직접 들어가면 모델은 응답하면서도 개선에 필요한 기록이 남지 않을 수 있다.
- 학습 데이터 확보가 목적이라면 Tier 3의 전체 페이로드가 유용하지만, Tier 1과의 중복 저장과 개인정보 포함 가능성까지 함께 고려해야 한다.
- 이 자료는 운영 데이터에서 모델 개선으로 이어지는 구성을 설명하지만, 합성 데이터 예제이며 제공된 본문에 평가 결과가 없어 실제 운영 환경에서의 정확도 향상 폭을 판단하기 어렵다.
✅ 액션 아이템
- 학습 데이터 확보 목적에 맞춰 Tier 3 사용과 Tier 1 중복 저장 여부를 검토하고, 샘플링·AWS KMS 암호화·S3 수명 주기 규칙·PII 삭제 적용 범위를 확인.
- 서빙과 학습에 각각 NVIDIA GPU 1개를 확보하고, Mountpoint-S3 CSI 드라이버 권한과 8081 프록시 경유 요청의 S3 기록 여부를 확인.
- Amazon Athena 분석과 SQL 정책 라벨링 이후의 정확도 측정 결과를 추가 확인해 모델 품질 개선 주장의 근거를 검토.
❓ 열린 질문
- Tier 3만 사용하는 구성과 Tier 1을 함께 사용하는 구성 중 규정 준수와 학습 데이터 확보 목적에 맞는 선택은 무엇인가?
- 샘플링 100%와 최대 페이로드 1024KB 설정은 학습 데이터 확보와 개인정보 보호 요구를 충족하는가?
- Amazon Athena 분석과 SQL 정책 라벨링 이후 Qwen2.5-3B-Instruct의 정확도는 실제로 얼마나 개선됐는가?