Monitor and debug generative AI inference with SageMaker detailed metrics and Insights dashboard on CloudWatch

🖼️ 인포그래픽

Monitor and debug generative AI inference with SageMaker detailed metrics and Insights dashboard on CloudWatch 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

SageMaker AI의 상세 추론 지표와 CloudWatch의 SageMaker Insights 대시보드는 대규모 생성형 AI 추론 엔드포인트의 지연, 용량, 안정성 문제를 더 빠르게 모니터링하고 진단하도록 돕는다.

📌 핵심 요약

원문은 대규모 LLM 추론 엔드포인트에서 P99 지연이 급증했을 때 원인이 GPU 메모리 압박, KV 캐시 포화, 가용 영역 간 트래픽 불균형, 자동 확장 미작동 중 무엇인지 빠르게 판단해야 하는 운영 문제에서 출발한다.
SageMaker AI는 실시간 추론 호스팅을 제공하며, 단일 모델 엔드포인트와 추론 컴포넌트 엔드포인트를 지원한다. 원문은 특히 여러 모델이 GPU 인프라를 공유하고 모델별 독립 확장과 가용 영역 기반 고가용성을 지원하는 추론 컴포넌트 구조를 생성형 AI 운영에 적합한 방식으로 설명한다.
SageMaker 엔드포인트는 기존에도 호출 수, 모델 지연, 오버헤드 지연 같은 집계 지표를 CloudWatch로 내보냈지만, 생성형 AI 운영에는 GPU 상태, 토큰 단위 지연, KV 캐시 압박, AZ별 트래픽, 컴포넌트 배치, 콜드 스타트 진단 같은 더 세밀한 신호가 필요하다고 강조한다.
새 엔드포인트에서는 상세 관측 지표가 기본적으로 켜지며, 기존 엔드포인트는 새 엔드포인트 구성을 만들어 MetricsConfig에서 상세 관측을 명시적으로 활성화한 뒤 업데이트해야 한다. 또한 기존 CloudWatch 지표를 SageMaker Insights와 PromQL에서 보려면 OTel 메트릭 보강과 텔레메트리용 리소스 태그 설정을 계정·리전 단위로 켜야 한다.
SageMaker Insights 대시보드는 CloudWatch 콘솔의 Infrastructure Monitoring 아래에서 접근하며 Performance, Capacity, Reliability 세 탭으로 구성된다. 특히 Performance 탭은 리소스 상태, TTFT와 ITL, 지연 분해, 트래픽 분산, 토큰 처리량, 엔진 압박을 함께 보여 주어 어느 모델·인스턴스·컴포넌트가 문제인지 좁혀 가는 흐름을 제공한다.

🧩 주요 포인트

원문은 대규모 LLM 추론 엔드포인트에서 P99 지연이 급증했을 때 원인이 GPU 메모리 압박, KV 캐시 포화, 가용 영역 간 트래픽 불균형, 자동 확장 미작동 중 무엇인지 빠르게 판단해야 하는 운영 문제에서 출발한다.
SageMaker AI는 실시간 추론 호스팅을 제공하며, 단일 모델 엔드포인트와 추론 컴포넌트 엔드포인트를 지원한다. 원문은 특히 여러 모델이 GPU 인프라를 공유하고 모델별 독립 확장과 가용 영역 기반 고가용성을 지원하는 추론 컴포넌트 구조를 생성형 AI 운영에 적합한 방식으로 설명한다.
SageMaker 엔드포인트는 기존에도 호출 수, 모델 지연, 오버헤드 지연 같은 집계 지표를 CloudWatch로 내보냈지만, 생성형 AI 운영에는 GPU 상태, 토큰 단위 지연, KV 캐시 압박, AZ별 트래픽, 컴포넌트 배치, 콜드 스타트 진단 같은 더 세밀한 신호가 필요하다고 강조한다.
새 엔드포인트에서는 상세 관측 지표가 기본적으로 켜지며, 기존 엔드포인트는 새 엔드포인트 구성을 만들어 MetricsConfig에서 상세 관측을 명시적으로 활성화한 뒤 업데이트해야 한다. 또한 기존 CloudWatch 지표를 SageMaker Insights와 PromQL에서 보려면 OTel 메트릭 보강과 텔레메트리용 리소스 태그 설정을 계정·리전 단위로 켜야 한다.
SageMaker Insights 대시보드는 CloudWatch 콘솔의 Infrastructure Monitoring 아래에서 접근하며 Performance, Capacity, Reliability 세 탭으로 구성된다. 특히 Performance 탭은 리소스 상태, TTFT와 ITL, 지연 분해, 트래픽 분산, 토큰 처리량, 엔진 압박을 함께 보여 주어 어느 모델·인스턴스·컴포넌트가 문제인지 좁혀 가는 흐름을 제공한다.

🧠 상세 정리

1. 대규모 생성형 AI 추론 운영의 문제의식

원문은 생성형 AI 추론 엔드포인트를 규모 있게 운영할 때 모니터링과 장애 분석이 어렵다는 점에서 시작한다. LLM 엔드포인트의 P99 지연이 갑자기 높아지면 운영자는 몇 분 안에 원인이 GPU 메모리 압박인지, KV 캐시 포화인지, 가용 영역 간 트래픽 불균형인지, 자동 확장 정책이 아직 동작하지 않은 것인지 판단해야 한다. 학습 중심에서 서빙 중심으로 운영 초점이 이동하면서 ML 플랫폼 엔지니어, MLOps 팀, SRE는 수십 개 모델과 수백 개 GPU 인스턴스에 걸쳐 엔드포인트를 건강하고 빠르며 비용 효율적으로 유지해야 한다. 따라서 단순한 호출 수나 평균 지연보다 더 깊은 추론 런타임 관측성이 필요하다는 것이 글의 출발점이다.

2. SageMaker 실시간 추론과 두 가지 엔드포인트 구조

SageMaker AI는 머신러닝 모델을 위한 완전관리형 실시간 추론 호스팅을 제공하며, 사용자는 모델을 SageMaker 엔드포인트에 배포하고 하나 이상의 컴퓨팅 인스턴스로 뒷받침한다. 원문은 생성형 AI 관측성과 관련해 단일 모델 엔드포인트와 추론 컴포넌트 엔드포인트를 구분한다. 단일 모델 엔드포인트는 하나의 엔드포인트가 전용 인스턴스에서 하나의 모델을 호스팅하기 때문에 설정과 이해가 단순하지만, 모델마다 별도의 GPU 인스턴스 플릿이 필요하다. 반면 추론 컴포넌트 엔드포인트는 여러 모델이 같은 인스턴스 집합을 공유하고, 각 컴포넌트가 모델·CPU·GPU·메모리 요구사항·확장 정책을 정의한다는 점에서 생산 환경의 생성형 AI 워크로드에 더 적합한 구조로 제시된다.

3. 상세 추론 지표와 SageMaker Insights의 역할

SageMaker 엔드포인트는 호출 수, 모델 지연, 오버헤드 지연 같은 지표를 CloudWatch로 내보내며, 이러한 집계 지표는 전체 엔드포인트 상태를 파악하는 데 유용하다. 하지만 여러 모델을 GPU 플릿 위에서 운영하는 상황에서는 집계 지표만으로 문제 원인을 찾기 어렵다. 원문은 SageMaker AI가 100개 이상의 상세 추론 지표를 내보내며, 이 지표들이 GPU 상태, 토큰 수준 지연, KV 캐시 압박, 가용 영역별 트래픽 분포, 추론 컴포넌트 배치, 콜드 스타트 진단까지 포함한다고 설명한다. 이 지표들은 CloudWatch의 내장 SageMaker Insights 대시보드로 흘러가며, 별도 Grafana 대시보드나 Prometheus 구성을 만들지 않고도 관리형 관측성을 제공한다.

4. OpenTelemetry, PromQL, 세 가지 관측 탭

SageMaker 추론 엔드포인트는 네이티브 OpenTelemetry 지표를 CloudWatch로 내보내고, SageMaker Insights 대시보드는 CloudWatch 콘솔의 Infrastructure Monitoring 아래에서 확인할 수 있다. 대시보드는 PromQL을 사용해 지표를 질의하고, 플릿·엔드포인트·추론 컴포넌트 수준에서 시각화를 제공한다. 원문은 대시보드가 Performance, Capacity, Reliability 세 탭으로 나뉜다고 설명한다. Performance는 플릿 상태, 토큰 지연, 처리량, 오류, 엔진 압박을 다루고, Capacity는 GPU·CPU·메모리 사용률을 보여 주며, Reliability는 가용 영역 분포, 확장 이벤트, 콜드 스타트 구조, 용량 부족 오류를 다룬다.

5. 상세 지표 활성화와 기존 지표 보강

새 엔드포인트 구성에서는 상세 지표가 기본적으로 켜져 있으며, EnableDetailedObservability 파라미터의 기본값이 true이므로 추가 코드가 필요하지 않다고 설명한다. 지표 게시 주기는 MetricsConfig의 MetricsPublishFrequencyInSeconds로 명시할 수 있고 기본값은 60초이며, 거의 실시간에 가까운 모니터링이 필요한 워크로드에서는 1분보다 짧게 설정할 수 있다. 기존 엔드포인트는 자동으로 전환되지 않으며, 상세 관측을 켠 새 엔드포인트 구성을 만든 뒤 기존 엔드포인트를 업데이트해야 한다. 또한 Invocations, ModelLatency, OverheadLatency 같은 기존 CloudWatch 지표를 SageMaker Insights에서 보거나 PromQL로 질의하려면 CloudWatch 설정에서 OTel metric enrichment와 Resource tags for telemetry를 계정 및 리전 단위로 한 번 활성화해야 한다.

6. 대시보드 접근 경로와 사전 필터링

SageMaker Insights 대시보드는 SageMaker 콘솔과 CloudWatch 콘솔 양쪽에서 접근할 수 있으며, SageMaker 안에서는 세 가지 진입점이 제공된다. 엔드포인트 목록 페이지의 Open SageMaker Insights는 전체 엔드포인트를 대상으로 한 플릿 수준 보기에 적합하고, 엔드포인트 상세 페이지의 View in SageMaker Insights는 특정 엔드포인트로 필터링된 상태에서 문제를 깊게 볼 때 사용된다. 추론 컴포넌트 탭의 개별 Metrics 링크는 엔드포인트와 해당 컴포넌트까지 필터가 걸린 상태로 들어가므로 특정 모델 또는 컴포넌트 디버깅에 맞춰져 있다. 원문은 모든 경로가 필터를 미리 적용한 딥링크로 연결되기 때문에 사용자가 빈 대시보드에 들어가 리소스를 다시 찾아야 하는 상황을 줄인다고 설명한다.

7. Performance 탭의 플릿 상태와 지연 분석

Performance 탭은 원문에서 고객이 가장 많은 시간을 보내는 곳으로 설명되며, 전체 시스템이 정상인지와 문제가 있다면 어느 구성요소가 원인인지 판단하는 데 초점을 둔다. 색상으로 구분된 육각형은 플릿의 각 리소스를 시각화하고, 사용자는 Instances, IC Copies, Endpoints 보기 사이를 전환할 수 있다. 색상은 초록색 OK, 흰색 알람 없음, 빨간색 알람 상태를 나타내며, 육각형에 마우스를 올리면 인스턴스 유형, TTFT, 출력 TPS, 동시 요청 수, KV 캐시 사용률, CloudWatch 알람 상태를 확인할 수 있다. 특정 인스턴스로 필터링하면 페이지의 모든 패널이 해당 인스턴스 데이터만 보여 주므로, TTFT·출력 TPS·동시 요청의 이상치를 표와 함께 좁혀 볼 수 있다.

8. 토큰 지연, 트래픽 분포, 엔진 압박의 연결

Token streaming 패널은 Time to First Token과 Inter-Token Latency를 시간에 따라 보여 주며 P50과 P99 전환을 지원한다. TTFT는 사용자가 첫 응답 문자를 보기까지 기다리는 시간을 의미하고, ITL은 연속 토큰 사이의 시간으로 스트리밍 응답의 부드러움에 직접 연결된다. 지연이 발생하면 Latency breakdown 패널에서 전체 지연을 모델 처리 시간인 Model Latency와 플랫폼 라우팅·스케줄링 시간인 Overhead Latency로 나눠 볼 수 있다. 두 값이 정상인데 TTFT가 높다면 추론 엔진 내부 큐에서 요청이 대기하고 있을 가능성이 있으므로 Engine and request pressure 패널에서 KV 캐시나 요청 압박을 확인해야 한다. 또한 Traffic distribution 패널은 인스턴스나 추론 컴포넌트별 요청 흐름을 AZ 필터와 함께 보여 주어 특정 가용 영역에 트래픽이 없는 라우팅 또는 배치 문제를 발견하게 한다.

🧾 핵심 주장 / 시사점

생성형 AI 추론 운영에서는 평균 지연이나 호출 수보다 TTFT, ITL, KV 캐시, 토큰 처리량처럼 사용자 체감과 엔진 내부 상태를 직접 드러내는 지표가 중요하다.
추론 컴포넌트 엔드포인트는 여러 모델을 공유 GPU 인프라에서 운영하면서도 모델별 확장과 가용 영역 분산을 지원하므로, 관측성도 엔드포인트 단위뿐 아니라 컴포넌트 단위까지 내려가야 한다.
문제 해결 흐름은 단일 패널 확인이 아니라 플릿 상태, 지연 분해, 트래픽 분포, 토큰 처리량, 엔진 압박을 함께 보며 원인을 단계적으로 좁히는 방식으로 설계되어 있다.