Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod
Quick Summary
AWS는 Amazon SageMaker HyperPod에 실제 학습으로 GPU를 검증하는 검사, EKS 장애에 관련된 파드·노드 모니터링, Slurm에서 진행이 멈춘 작업을 탐지하고 재대기열에 넣을 수 있는 복구 기능을 추가했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
AWS는 Amazon SageMaker HyperPod에 실제 학습으로 GPU를 검증하는 검사, EKS 장애에 관련된 파드·노드 모니터링, Slurm에서 진행이 멈춘 작업을 탐지하고 재대기열에 넣을 수 있는 복구 기능을 추가했다.
📌 핵심 요약
- 기존 노드 상태 검사에 합격한 GPU도 잘못된 계산값을 낼 수 있다. Meta는 Llama 3 405B의 54일간 사전 학습에서 발생한 예기치 않은 중단 419건 중 6건의 원인을 조용한 데이터 손상으로 판단했다.
- MultiNodeTrainingValidation은 EKS에서 지원되는 EFA 탑재 NVIDIA GPU 인스턴스를 생성·갱신할 때 또는 요청할 때 실행한다. 단일 인스턴스와 동일 유형 인스턴스 간 학습에서 손실값이 NaN이나 무한대가 되거나 제한 시간 안에 학습이 끝나지 않으면 실패로 판정한다.
- HyperPod Kubernetes Resource Monitoring Agent는 EKS의 노드 상태 변화, 디바이스 플러그인의 반복 종료, DaemonSet 누락 등을 상시 감시한다. 작업이 실패하면 관련 파드와 노드를 Kubernetes 이벤트와 Amazon CloudWatch 로그에 기록한다.
- Slurm의 새 정체 탐지 기능은 작업 출력과 GPU 활동 또는 사용자가 정의한 로그 패턴으로 진행 중단을 감지한다. CloudWatch에 이벤트를 남기며, 설정에 따라 작업을 취소해 Slurm이 재대기열에 넣게 할 수 있다.
- AWS의 가정 사례에서 ml.p5.48xlarge 32대의 NVIDIA H100 GPU 256개가 8시간 정체되면 비용은 약 16,900달러다. 미국 동부(버지니아 북부)의 온디맨드 요금과 15분 탐지 규칙을 적용한 추산에서는 정체 비용이 약 530달러로 줄어든다.
🧩 주요 포인트
- 고정된 학습으로 기존 하드웨어·통신 검사를 보완한다. MultiNodeTrainingValidation에서 실패한 인스턴스는 표시되며, 자동 노드 복구가 켜져 있으면 재부팅되거나 교체된다.
- EKS의 장애 신호를 파드·노드와 연결하면 용량을 잃은 위치를 파악하고 실패한 작업의 원인을 좁혀 재시작하기까지의 시간을 줄일 수 있다.
- Slurm이 작업을 실행 중으로 표시해도 GPU를 점유한 채 학습이 멈출 수 있다. 정체 탐지와 재대기열 처리는 실제로 학습이 진전되는 시간의 비율인 런타임 굿풋에 영향을 준다.
🧠 상세 정리
1. 노드가 정상이어도 학습이 실패하는 이유
대규모 학습에서는 모든 노드가 정상으로 보이는 동안에도 계산이 틀어지거나 작업이 멈출 수 있다. 기존 HyperPod의 상태 모니터링 에이전트(HMA)는 노드별 GPU 오류와 NVLink·EFA·커널 오류를 감시하고, InstanceStress는 GPU와 메모리, 연결 장치를 진단한다. InstanceConnectivity는 GPU 인스턴스 간 NCCL 통신을 검사하고 AWS Trainium에서는 NCCOM을 사용한다. 이런 검사를 통과한 GPU가 실제 학습에서 잘못된 값을 내면 운영팀은 이미 연산 시간을 쓰고 손실값이 발산한 뒤에야 문제를 발견할 수 있다. AWS가 인용한 Meta의 보고에 따르면 Llama 3 405B의 54일간 사전 학습에서 발생한 예기치 않은 중단 419건 중 6건이 조용한 데이터 손상에 기인했다.
2. 학습 전 검증과 실행 중 감시의 적용 범위
세 기능은 장애를 관찰할 수 있는 시점과 클러스터 환경에 따라 적용 범위가 다르다. EKS에서는 인스턴스를 프로비저닝할 때 MultiNodeTrainingValidation으로 짧은 학습을 실행할 수 있어 운영 작업이 자원을 배정받기 전에 수치 이상을 발견할 기회가 생긴다. 같은 EKS 환경에서 Kubernetes 리소스 모니터링 에이전트는 클러스터를 계속 관찰하며, 작업이 실패했을 때 조사할 파드와 노드를 알려 준다. Slurm에 새로 추가된 정체 탐지는 개별 작업이 실행되는 동안 진행 상태를 살핀다. EKS에는 기존에도 HyperPod training operator를 통해 실행한 작업의 정체를 탐지하는 기능이 있었으며, Ray Train 작업에는 정체 탐지가 기본 적용된다.
3. EKS 장애를 관련 파드와 노드까지 추적
한 노드에서 디바이스 플러그인이 반복해서 종료되거나 새 노드에 필요한 DaemonSet이 시작되지 않으면 학습 작업이 실패할 수 있다. 이때 작업의 오류 메시지에는 문제를 일으킨 플러그인이나 노드 이름이 나타나지 않을 수 있어, 작업 로그만 읽어서는 조사 범위를 좁히기 어렵다. HyperPod Kubernetes Resource Monitoring Agent는 파드·DaemonSet 장애, 노드 상태 변화와 테인트를 감시하며 GPU나 EFA 장치를 잃은 노드도 보고한다. 작업 실패와 관련된 파드와 노드는 Kubernetes 이벤트와 Amazon CloudWatch 로그에서 확인할 수 있고, 해당 기능을 선택한 작업에서는 NCCL 통신 상태도 볼 수 있다. AWS는 이 정보가 영향을 받은 용량을 복구하고 실패한 작업을 재시작하기까지 걸리는 시간을 줄이는 데 쓰인다고 설명한다.
4. 종료되지 않은 Slurm 작업의 정체 탐지
NCCL 시간 초과, 데이터 파이프라인 정체 또는 교착 상태가 발생하면 학습이 더 진행되지 않아도 작업 자체는 종료되지 않을 수 있다. 작업은 GPU와 메모리를 계속 점유하고 Slurm은 실행 중으로 표시하므로, 사람이 손실 곡선이나 로그를 확인할 때까지 자원이 묶일 수 있다. 새 정체 탐지 기능은 각 노드의 에이전트가 작업 출력과 GPU 활동을 관찰하거나 사용자가 정의한 로그 패턴을 추적해 이런 상태를 찾는다. 정체를 감지하면 에이전트가 CloudWatch에 이벤트를 기록하고, 취소하도록 설정한 경우 Slurm이 작업을 다시 대기열에 넣을 수 있다. AWS는 이 기능의 직접적인 효과를 작업이 진전 없이 GPU를 점유하는 시간의 단축으로 설명한다.
5. 굿풋의 세 지표와 15분 탐지 규칙의 비용 효과
AWS는 작업에 필요한 모든 자원을 쓸 수 있는 시간의 비율을 스케줄링 굿풋, 그중 학습이 실제로 진전되는 시간의 비율을 런타임 굿풋, 하드웨어의 최대 성능 중 작업이 활용하는 비율을 프로그램 굿풋으로 구분한다. 학습 검증은 잘못된 값을 내는 장비와 시간 안에 학습을 마치지 못하는 장비를 가려내고, Kubernetes 모니터링은 용량 복구와 작업 재시작을 돕는다. Slurm 정체 탐지가 런타임에 미치는 영향을 설명하기 위해 AWS는 ml.p5.48xlarge 32대에서 오전 1시에 멈춘 작업을 오전 9시에 발견하는 상황을 가정했다. 이때 낭비되는 연산량은 256 인스턴스시간, 즉 2,048 GPU시간으로, 미국 동부(버지니아 북부)의 인스턴스당 시간 요금 약 66달러를 적용하면 약 16,900달러다. 같은 조건에서 15분 만에 정체를 감지해 취소하고 재대기열에 넣으면 정체 비용은 약 530달러, 추산 절감액은 약 16,400달러다.
6. 고정된 Megatron-LM 학습으로 GPU 검증
MultiNodeTrainingValidation은 정상 동작이 확인된 고정 워크로드를 두 단계로 실행한다. Tiny Megatron 검사는 인스턴스 한 대의 모든 GPU에서 짧은 Megatron-LM 학습을 수행하고, 이어지는 Megatron 검사는 같은 유형의 여러 인스턴스에서 EFA로 통신하며 동일한 워크로드를 실행한다. 어느 단계에서든 학습 손실값이 NaN이나 무한대가 되거나 제한 시간 안에 학습이 끝나지 않으면 인스턴스를 실패로 판정한다. 모델과 코드가 고정돼 있어 실패 결과는 하드웨어 문제를 의심할 근거가 된다. HyperPod는 실패한 인스턴스에 표시를 남기고 자동 노드 복구가 켜져 있으면 재부팅하거나 교체하며, 프로비저닝 중에 검사를 실행하면 운영 작업이 인스턴스를 사용하기 전에 이 처리가 이뤄진다.
7. 인스턴스 그룹 설정과 검사 결과 확인
학습 검증을 사용하려면 Amazon EKS가 오케스트레이션하는 HyperPod 클러스터와 ml.p5.48xlarge처럼 지원되는 EFA 탑재 NVIDIA GPU 인스턴스 그룹이 필요하다. 인스턴스 그룹의 OnStartDeepHealthChecks에 MultiNodeTrainingValidation을 포함하면 인스턴스 생성·갱신 시 실행되며, AWS의 예시에서는 InstanceStress와 InstanceConnectivity도 함께 설정했다. 이미 운영 중인 클러스터에서는 장시간 사전 학습을 시작하기 전에 StartClusterHealthCheck로 그룹 전체나 지정한 인스턴스만 검사할 수 있다. HyperPod는 CloudWatch의 DeepHealthCheckResults 로그 스트림에 검사별 결과를 기록한다. AWS가 제시한 ml.p5.48xlarge 두 대의 실행 로그에서는 두 노드 모두 단일 인스턴스 검사인 TINY_MEGATRON과 인스턴스 간 검사인 MEGATRON을 통과했다.
🧾 핵심 주장 / 시사점
- 하드웨어 진단과 연결 검사를 통과해도 분산 학습의 수치 오류가 남을 수 있다. 같은 워크로드를 한 인스턴스와 여러 인스턴스에서 차례로 실행하면 어느 범위에서 이상이 드러났는지 확인할 수 있다.
- 클러스터 장애를 조사할 때는 작업의 최종 오류와 같은 시점의 파드·노드 상태를 함께 볼 수 있어야 한다. 디바이스 플러그인 이름이 작업 오류에서 빠지는 사례가 그 필요성을 보여 준다.
- 정체 탐지의 비용 효과는 GPU 수와 발견 지연 시간에 좌우된다. AWS가 제시한 약 16,400달러는 H100 GPU 256개를 쓰는 작업의 발견 지연을 8시간에서 15분으로 줄인다는 가정에 따른 값이다.
✅ 액션 아이템
- 지원되는 EFA 탑재 NVIDIA GPU 인스턴스 그룹에서 MultiNodeTrainingValidation의 실행 시점과 자동 노드 복구 설정을 확인한다.
- EKS 작업이 실패하면 HyperPod Kubernetes Resource Monitoring Agent가 남긴 Kubernetes 이벤트와 Amazon CloudWatch 로그에서 관련 파드와 노드를 확인한다.
- Slurm 작업의 출력과 GPU 활동을 기준으로 정체 탐지 조건을 검토하고, 감지 시 작업 취소와 재대기열 처리를 적용할지 결정한다.
❓ 열린 질문
- MultiNodeTrainingValidation을 인스턴스 생성·갱신 시 실행할 그룹과 필요할 때 실행할 그룹은 각각 어디인가?
- EKS 작업 실패 시 Kubernetes 이벤트와 Amazon CloudWatch 로그가 공통으로 가리키는 파드나 노드는 무엇인가?
- 어떤 Slurm 작업에 AWS 사례의 15분 탐지 규칙과 작업 취소 후 재대기열 처리가 적합한가?