Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod
Quick Summary
AWS는 Amazon SageMaker HyperPod에서 Amazon EKS와 Slurm 분산 학습 작업의 GPU를 서로 비교하고 알려진 장애 패턴을 탐지해, 처리량 저하의 원인과 영향을 받은 장비를 좁혀 볼 수 있는 기능을 발표했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
AWS는 Amazon SageMaker HyperPod에서 Amazon EKS와 Slurm 분산 학습 작업의 GPU를 서로 비교하고 알려진 장애 패턴을 탐지해, 처리량 저하의 원인과 영향을 받은 장비를 좁혀 볼 수 있는 기능을 발표했다.
📌 핵심 요약
- 진단 요약은 Amazon CloudWatch의 DetectGroupOutliers API로 같은 학습 작업에 속한 GPU의 사용률, 메모리 사용량, 온도, 전력 소비량, SM 클럭 주파수를 비교하고 다른 GPU와 현저히 다른 장치를 표시한다.
- 정적 진단 규칙은 GPU의 XID 오류와 ECC 메모리 오류, EFA 처리량 저하와 패킷 손실, 클럭 제한, 과열 등을 감지한다. 각 문제에는 영향을 받은 작업, 클러스터, 노드, 가속기, 랭크가 표시된다.
- 기본 지표는 클러스터 상태와 호스트·GPU·작업별 자원 사용량을 30초마다 수집한다. AWS가 밝힌 수집 부담은 CPU 약 1~2%, 메모리 250~300MB다.
- 고급 지표는 선택 사항이다. 전체 노드 내보내기 도구(node exporter) 지표, NVIDIA GPU DCGM 및 AWS Neuron 지표, EFA 네트워크 지표를 수집할 수 있으며, 수집량이 늘면 저장소 비용에도 영향을 준다.
- Amazon CloudWatch가 새 기본 지표 저장소가 됐으며 기존의 Amazon Managed Service for Prometheus도 선택할 수 있다. 관측 기능은 Amazon EKS에서는 애드온, Slurm에서는 클러스터 확장으로 제공된다.
🧩 주요 포인트
- 클러스터 평균에서 개별 GPU로 조사 범위를 좁힐 수 있다. 같은 작업 안에서 발견한 이상치와 정적 진단 규칙이 잡아낸 오류 유형은 서로 다른 진단 단서를 제공한다.
- 지표 수집 범위는 작업 규모와 실행 기간에 따라 선택할 수 있다. AWS는 소규모 단기 작업에서는 기본 지표로 충분할 수 있고, 대규모 장기 학습에서는 시간에 따른 패턴을 파악하는 데 고급 지표가 중요하다고 설명한다.
- 저장소 선택은 지표를 조회하는 방식과 연결된다. Amazon CloudWatch는 SageMaker 콘솔과 통합되며, Amazon Managed Service for Prometheus는 Prometheus와 Grafana를 표준으로 쓰는 팀의 기존 도구에 맞는다.
🧠 상세 정리
1. 가속기 하나가 분산 학습 전체를 늦추는 문제
대규모 모델의 분산 학습에서는 가속기 하나에 문제가 생겨도 전체 작업이 멈출 수 있어, 작은 비효율이 누적되면 값비싼 GPU 시간을 상당히 낭비하게 된다. 처리량이 떨어진 사실은 알아차리기 쉽지만, 같은 현상이 GPU 클럭 제한이나 네트워크 링크 포화, 호스트의 데이터 파이프라인 정체 가운데 어디에서 비롯됐는지 가려내기는 어렵다. AWS에 따르면 운영팀은 흩어진 로그와 대시보드를 대조하면서 원인을 찾는 데 몇 시간에서 며칠을 쓰기도 했다. AWS가 발표한 HyperPod 관측 기능은 Amazon EKS와 Slurm에서 실행되는 학습 작업에 진단과 프로파일링을 결합해, 수백·수천 개의 GPU 중 어느 장치에서 조사를 시작할지 판단하도록 돕는다.
2. 기본 지표와 선택형 고급 지표의 수집 범위
관측 기능이 켜지면 기본 지표는 클러스터 상태, CPU·디스크·운영체제 수준의 사용량, GPU 사용률과 온도, 작업별 자원 사용량을 30초마다 수집해 선택한 저장소로 보낸다. AWS가 제시한 CPU 약 1~2%와 메모리 250~300MB는 이 기본 수집에 드는 자원이다. 고급 지표를 선택하면 전체 node exporter 지표로 호스트를 자세히 살피고, NVIDIA GPU DCGM 및 AWS Neuron 지표로 가속기의 클럭 속도, 전력, PCIe 활동, 오류 신호를 확인할 수 있다. Elastic Fabric Adapter(EFA) 지표는 인터페이스 처리량, 패킷 손실, 재전송, 오류를 보여 준다. AWS는 작은 클러스터의 소규모 작업에서는 이 정도의 세부 정보가 필요하지 않을 수 있지만, 대규모 장기 학습에서는 시간에 걸쳐 나타나는 패턴을 파악하는 데 중요하다고 설명한다.
3. CloudWatch와 Prometheus 사이의 저장소 선택
기존 HyperPod 관측 기능은 Amazon Managed Service for Prometheus만 지원했지만, 이번 발표로 Amazon CloudWatch가 기본 지표 저장소가 됐다. CloudWatch를 선택하면 AWS Management Console 안에서 CloudWatch SageMaker Insights를 열어 수집한 지표를 시각화할 수 있다. AWS는 기본값을 바꾼 배경으로 Amazon Managed Service for Prometheus에 비해 낮은 가격과 SageMaker 콘솔과의 긴밀한 통합을 든다. 이미 Prometheus와 Grafana를 표준 관측 도구로 사용하는 팀은 기존 저장소를 계속 선택할 수 있다. 어느 저장소를 선택하든 고급 지표를 켜면 전송되는 데이터가 늘어나므로, 저장소 가격과 함께 실제로 수집할 지표의 범위도 비용에 영향을 준다.
4. GPU 간 편차와 알려진 장애 패턴을 함께 보는 진단
진단 요약은 같은 학습 작업을 수행하는 GPU들을 비교 대상으로 삼는다. CloudWatch의 DetectGroupOutliers API가 사용률, 메모리 사용량, 온도, 전력 소비량, SM 클럭 주파수를 비교해 동료 GPU와 현저히 다른 장치를 찾으면, 해당 장치가 이상치 카드에 나타난다. 이와 별도로 정적 규칙은 ECC 메모리 오류와 XID 결함 같은 하드웨어 문제, EFA 처리량 저하와 패킷 손실·재전송 같은 네트워크 문제를 분류한다. 열이나 보드·신뢰성 한계로 GPU 클럭이 제한되는 현상과 GPU 온도가 설정 한계를 넘는 과열도 구분한다. 각 문제에는 작업, 클러스터, 노드, 가속기, 랭크가 함께 표시되므로 운영자는 장애 유형과 그 영향을 받은 위치를 연결해 볼 수 있다.
5. 클러스터 설정 방식에 따른 선택 범위
관측 기능은 기존 HyperPod 클러스터에 설치하거나 새 클러스터를 만들 때 구성할 수 있으며, 설치와 변경 권한은 AWS Identity and Access Management(IAM)로 관리한다. 새 클러스터의 Quick setup에서는 관측 기능이 기본으로 켜지고 해제할 수 없다. Custom setup에서도 기본값은 켜짐이지만, 사용자가 기능 자체를 끄거나 기본 지표에 추가할 고급 지표 범주를 고를 수 있다. 이 화면에서 지표 저장소를 선택하고 컨테이너와 포드 로그용 CloudWatch 로그 그룹을 생성하도록 로깅을 켤 수 있다. Grafana 작업 공간은 새로 만들거나 기존 공간을 사용하거나 지정하지 않을 수 있으며, IAM 역할은 직접 구성하거나 콘솔에서 자동으로 생성하게 할 수 있다.
6. Amazon EKS 애드온과 Slurm 확장의 관리 방식
Amazon EKS에서는 관측 기능을 애드온으로 관리한다. AWS가 소개한 설치 예시는 노드와 가속기의 기본 지표를 30초 간격으로 수집해 CloudWatch로 보내고, 선택 사항인 호스트 프로파일링은 꺼 둔다. 설치 후에는 애드온 상태가 ACTIVE인지 확인할 수 있고, 이후 콘솔이나 AWS CLI에서 기존 설정을 바꿔 EFA 네트워크 지표를 추가할 수 있다. Slurm에서는 같은 기능을 클러스터 확장으로 제공하며, 클러스터 상세 화면의 Extensions 탭에서 범주별 수집 수준, 호스트 프로파일링, 지표 저장소를 편집할 수 있다. Slurm 확장도 콘솔이나 API로 설치할 수 있고 AWS CLI로 구성을 변경하거나 상태를 조회할 수 있어, 필요한 지표가 달라질 때 기존 클러스터에서 수집 범위를 조정할 수 있다.
7. 지표 수신 확인과 클러스터 현황 조회
클러스터가 준비되면 상세 화면의 Observability 탭에서 지표가 들어오는지 확인할 수 있다. 이 화면에는 노드와 가속기 수, 실행 중이거나 최근에 실행된 학습 작업, 클러스터 전체의 평균 GPU·vCPU·메모리 사용률과 현재 감지된 문제가 함께 표시된다. 원문에 나온 노드 128개, 가속기 1,024개, 평균 GPU 사용률 87.3%, vCPU 사용률 76.8%, 메모리 사용률 83.5%는 화면에 표시될 값을 설명하기 위한 예시다. CloudWatch를 사용하는 경우 이 탭에서 CloudWatch SageMaker Insights 대시보드를 열 수 있다. 대시보드의 진단 요약은 여러 HyperPod 클러스터에서 감지된 사건을 모아 보여 주므로, 전체 사용률을 살핀 뒤 하드웨어 결함, 네트워크 문제, 클럭 제한, 과열 등 개별 문제를 조사할 수 있다.
🧾 핵심 주장 / 시사점
- GPU 평균 사용률은 클러스터 전반의 상태를 보여 주고, 같은 작업의 GPU끼리 비교한 결과는 그 평균에 가려질 수 있는 개별 장치의 편차를 드러낸다.
- 이상치 카드는 어떤 GPU가 동료 장치와 다르게 동작하는지 알려 준다. XID 오류, ECC 메모리 오류, EFA 패킷 손실 같은 구체적인 신호는 그 차이가 생긴 원인을 조사할 단서가 된다.
- 기본 수집의 CPU·메모리 부담과 고급 지표 추가에 따른 저장소 비용은 따로 판단할 수 있다. 장시간 실행되는 작업일수록 더 세밀한 기록에서 시간에 따른 패턴을 읽을 여지가 커진다.
✅ 액션 아이템
- 처리량이 떨어진 작업에서는 DetectGroupOutliers API가 표시한 GPU와 정적 진단 규칙이 식별한 오류 유형·노드·랭크를 함께 확인한다.
- 작업 규모와 실행 기간을 기준으로 30초 간격의 기본 지표가 충분한지 판단하고, 필요한 고급 지표의 수집 범위와 저장소 비용을 검토한다.
- SageMaker 콘솔에서 지표를 조회할지, 기존 Prometheus와 Grafana를 사용할지에 따라 Amazon CloudWatch와 Amazon Managed Service for Prometheus 중 저장소를 선택한다.
❓ 열린 질문
- 같은 학습 작업에서 DetectGroupOutliers API가 표시한 GPU에는 어떤 정적 진단 규칙의 오류가 함께 나타나는가?
- 대규모 장기 학습에서 30초 간격의 기본 지표만으로 파악하기 어려운 패턴은 무엇이며, 이를 확인하는 데 어떤 고급 지표가 필요한가?
- Amazon CloudWatch의 SageMaker 콘솔 통합과 Amazon Managed Service for Prometheus의 기존 Grafana 환경 지원 중 어느 쪽이 팀의 지표 조회 방식에 더 잘 맞는가?