Introducing managed cluster extensions for observability and user management in Amazon SageMaker HyperPod Slurm
Quick Summary
AWS는 2026년 11월 Amazon SageMaker HyperPod Slurm에 관측성과 사용자 관리를 API·콘솔로 선언하고 노드 전반에 일관되게 유지하는 관리형 클러스터 확장을 출시했다고 밝혔다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
AWS는 2026년 11월 Amazon SageMaker HyperPod Slurm에 관측성과 사용자 관리를 API·콘솔로 선언하고 노드 전반에 일관되게 유지하는 관리형 클러스터 확장을 출시했다고 밝혔다.
📌 핵심 요약
- Amazon SageMaker HyperPod는 2026년 Slurm 클러스터의 정의, 노드 설정, 용량, 네트워크 토폴로지, 하드웨어 상태에 선언형 관리를 도입했으며, 클러스터 확장은 실행 중인 노드의 소프트웨어 관리로 이를 확대한다.
- 클러스터 확장은 제출 시 버전별 스키마로 설정을 검증하고, 확장·교체로 추가되는 노드에도 원하는 상태를 적용하며, 확장 상태와 노드별 건강 상태를 보고한다. API·콘솔을 사용하면서도 컨트롤러를 포함한 모든 노드의 SSH 접근과 직접 설정 권한은 유지된다.
- sagemaker-observability는 노드·GPU·EFA·Slurm 작업 및 클러스터 지표를 Amazon CloudWatch 또는 Amazon Managed Service for Prometheus로 전송한다. sagemaker-user-management는 노드 간 사용자·그룹 ID, SSH·sudo 권한, Slurm 회계 등록을 관리하고 Active Directory 연동을 지원한다.
- 확장은 배포 중 Creating·Updating, 모든 노드가 요청 상태로 정상 작동하면 Active, 일부 노드가 실패하거나 문제를 보고하면 Degraded가 된다. Health는 원인별 오류와 영향받는 노드 수를 제공하며, 내부 실패는 자동 재시도하고 그 밖의 문제는 원인 해결 후 설정 변경 없이 UpdateClusterExtension을 호출해 재시도한다.
- 조직별 소프트웨어에는 사용자 지정 AMI와 수명 주기 스크립트를 사용하고, 동일 구성요소를 스크립트와 확장에서 중복 관리하지 않아야 한다. 기존 환경의 이전에는 2026년 11월 HyperPod AMI 이상, 스크립트에서 해당 기능 비활성화, 계획된 유지보수 시간의 기존 에이전트 수동 제거, 확장 설치가 필요하며 사용자 관리 이전 시 기존 사용자 이름과 사용자 ID를 유지한다.
🧩 주요 포인트
- 프로비저닝 중심의 선언형 관리가 실행 중 소프트웨어까지 확대됨 → 설정 변경 때마다 스크립트를 다시 실행하거나 노드를 교체해야 하는 부담과 노드 간 설정 불일치를 줄이는 것이 AWS가 제시한 핵심 효과다.
- 사전 스키마 검증과 노드별 Health 보고를 결합함 → 제출 단계의 설정 오류와 실행 환경에서 발생하는 충돌을 구분해 파악할 수 있지만, 사전 검증만으로 모든 실행 문제를 막지는 못한다.
- 관리형 확장과 사용자 지정 AMI·수명 주기 스크립트가 공존함 → 구성요소별 관리 주체를 하나로 정하고 기능별로 이전해야 하며, 기존 에이전트를 제거하는 수동 작업과 유지보수 시간은 여전히 필요하다.
🧠 상세 정리
1. 분산된 설정과 실제 클러스터 상태의 불일치
원문은 기반 모델 개발에 사용하는 공유 Slurm 클러스터에서 여러 설정을 실제 노드 상태와 계속 맞추기 어렵다는 문제로 시작한다. 클러스터 구성은 여러 설정 파일에, 소프트웨어는 사용자 지정 스크립트에, 네트워크 토폴로지는 노드 변경에 따라 수정해야 하는 파일에, 사용자 정보는 관리자가 유지하고 다시 적용해야 하는 명부에 흩어져 있다. 시간이 지나면 이 설정들이 실제 실행 상태와 어긋나지만, 기존 방식에서는 그 차이를 알려주는 장치가 없다는 것이 AWS의 설명이다. AWS는 원하는 상태를 API나 콘솔로 선언하고 적용 전에 검증하며 이후에도 그 상태를 지속적으로 유지하고 작동 여부를 확인하는 방식을 제안한다. 다만 이러한 관리 기능을 사용해도 컨트롤러 노드를 포함한 모든 노드에 직접 접근하고 SSH 접속, 개별 설정, 자체 수명 주기 스크립트 실행을 할 수 있어 관리 자동화와 직접 제어의 비중을 사용자가 선택할 수 있다고 강조한다.
2. 2026년에 마련한 다섯 계층의 선언형 관리
AWS는 Slurm 클러스터 구성을 클러스터 정의, 노드 설정, 용량, 네트워크 토폴로지, 하드웨어 상태, 실행 중 소프트웨어의 여섯 계층으로 나누고, 앞의 다섯 계층에 2026년 선언형 관리를 도입했다고 설명한다. API 기반 Slurm 설정은 CreateCluster와 UpdateCluster에서 노드 역할, 파티션, Amazon FSx for Lustre·Amazon FSx for OpenZFS 마운트와 외부 회계 데이터베이스 연결을 정의하며, 다른 컨트롤러 노드 사용자 설정을 보존하면서 파티션 설정을 갱신한다. AMI 기반 구성은 Slurm, Docker, Enroot, Pyxis, 홈 디렉터리가 사전 구성된 이미지로 일상적인 설정 스크립트를 대체하고, 조직별 소프트웨어는 사용자 지정 AMI나 OnInitComplete 스크립트로 처리한다. 지속적 프로비저닝은 용량 요청을 백그라운드에서 재시도하며 AMI 기반 구성, MinInstanceCount 최소 용량 조건, 확장 요청을 추적하는 클러스터 작업과 함께 사용된다. 자동 토폴로지 관리는 노드 확장·교체에 맞춰 네트워크 구성을 유지하고 Slurm 25.11 이상에서는 파티션별 tree 또는 block 토폴로지를 지원한다. 심층 상태 점검은 GPU에 부하를 가하고 NVIDIA Collective Communications Library(NCCL) 연결을 시험하며 요청 시 또는 지속적 프로비저닝 과정에서 수행된다. 점검 중인 노드는 완료될 때까지 Slurm 유지보수 예약에 남아 작업이 배정되지 않는다.
3. 계속 바뀌는 소프트웨어를 위한 클러스터 확장
앞선 다섯 계층과 달리 노드에서 실행되는 소프트웨어는 연구자의 합류와 이탈, 일시적인 상세 GPU 지표 수요, exporter 수정 배포 등으로 클러스터 수명 내내 달라진다. 기존 수명 주기 스크립트는 노드 프로비저닝 때만 실행되므로 변경을 적용하려면 스크립트를 수정한 뒤 노드를 교체하거나 전체 노드에 다시 실행해야 하고, 오류도 실행 시점에 드러나며 설치 상태를 보고하지 않아 노드별 차이가 쌓일 수 있다. AWS는 이를 해결하기 위해 2026년 11월 클러스터 확장을 출시했으며, AWS가 관리하는 소프트웨어 패키지를 API 또는 Amazon SageMaker AI 콘솔에서 설치·설정·갱신·제거할 수 있다고 밝혔다. 확장 설정은 제출 단계에서 스키마 검증을 거치고, 확장이나 교체로 생긴 노드까지 동일한 상태를 적용받으며, 설정과 버전 변경도 API나 콘솔로 수행한다. 각 확장은 자체 상태와 노드별 건강 상태를 보고하고, 최초 제공 기능은 디렉터리 연동을 포함한 사용자 관리와 관측성이다.
4. 관측성 확장과 사용자 관리 확장의 범위
원문이 소개하는 관리형 확장은 sagemaker-observability와 sagemaker-user-management 두 가지다. sagemaker-observability는 노드, GPU, Elastic Fabric Adapter(EFA), Slurm 작업, Slurm 클러스터의 지표를 수집해 Amazon CloudWatch 또는 Amazon Managed Service for Prometheus로 보낸다. sagemaker-user-management는 모든 노드에서 동일한 ID를 갖는 사용자와 그룹을 만들고, 노드 유형별 SSH·sudo 사용 권한을 제어하며, 사용자를 Slurm 회계에 등록한다. 사용자 관리 확장은 AWS Directory Service for Microsoft Active Directory와 같은 Active Directory에 클러스터를 연결하는 기능도 제공한다. 콘솔의 클러스터 세부 정보에 있는 Extensions 탭은 확장별 상태·버전·ARN과 설치 기능을 제공하며, 관측성에는 지표 저장소와 Grafana 열기 기능, 사용자 관리에는 사용자·그룹 수와 Manage users 기능처럼 각 확장에 맞는 제어 항목이 추가된다.
5. API·콘솔에서 선언한 상태가 노드에 적용되는 과정
클러스터 확장은 SageMaker AI 콘솔뿐 아니라 AWS CLI나 SDK를 통한 API로도 관리할 수 있으며, 원문은 설치부터 업그레이드 가능한 버전 조회까지 여섯 개 API가 있다고 설명한다. API 사용은 설치 자동화, 설정의 버전 관리, 여러 클러스터에 같은 구성 적용, 자체 도구를 통한 상태·건강 상태 확인에 활용할 수 있다. 확장을 생성하거나 갱신하면 HyperPod가 해당 버전의 스키마로 설정을 검증하고 버전과 설정을 원하는 상태로 저장한 뒤 노드 에이전트를 통해 각 노드에 적용한다. 각 노드는 역할에 필요한 구성요소만 설치하므로 GPU exporter는 GPU 노드에만 배치되며, 새 노드와 교체 노드는 시작 후 몇 분 안에 같은 상태를 받는다고 원문은 설명한다. 설정을 갱신할 때는 바꿀 항목만 보내면 HyperPod가 기존 저장 설정에 병합하고, 각 노드는 확장 적용 여부와 정상 작동 여부를 보고한다.
6. 상태 표시와 실행 중 오류의 처리
사전 검증은 잘못된 설정 이름처럼 스키마에서 확인할 수 있는 오류를 즉시 거부하지만, 다른 프로그램이 이미 사용 중인 포트나 사용자 ID처럼 실제 노드에서만 드러나는 문제까지 모두 제거하지는 않는다. 이런 문제는 DescribeClusterExtension의 Health 필드에 원인별로 묶여 표시되며, 오류 코드, 메시지, 영향받는 노드 수가 함께 제공된다. HyperPod는 내부 실패를 자체적으로 재시도하고, 그 밖의 문제는 사용자가 원인을 해결한 뒤 변경 사항 없이 UpdateClusterExtension을 호출해 영향받은 노드에서 다시 시도하도록 한다. 확장은 변경 배포 중 Creating 또는 Updating으로 표시되고, 모든 노드가 요청된 버전과 설정으로 작동하며 문제를 보고하지 않을 때 Active가 된다. 일부 노드가 적용에 실패하거나 문제를 보고하면 Degraded가 되며, 각 건강 상태 문제에는 구성요소, 클러스터에 미치는 영향, 다음 조치, 영향받는 노드 수가 포함된다. 확장마다 별도 ARN이 있으므로 플랫폼 팀이 사용자 관리를 맡고 모니터링 팀이 관측성을 맡는 식으로 관리 책임을 나눌 수 있다는 설명도 제시된다.
7. 관리형 확장과 자체 스크립트의 역할 구분
원문은 어떤 방식을 선택할지 판단할 때 소프트웨어의 관리 주체와 변경 빈도를 보라고 제안한다. 보안 에이전트, 라이선스 서버, 데이터 파이프라인이 요구하는 스토리지 배치처럼 조직 고유의 요구가 있는 소프트웨어에는 해당 팀이 필요 조건을 알고 있으므로 수명 주기 스크립트와 사용자 지정 AMI가 적합하다고 설명한다. 반면 GPU·작업 지표나 일관된 ID와 접근 규칙을 갖춘 사용자 계정처럼 대부분의 클러스터에 필요하고 계속 바뀌는 기능에는 한 번 선언한 설정을 검증하고 노드 전체에 유지하며 건강 상태를 보고하는 확장이 더 적합하다는 것이 AWS의 주장이다. 두 방식은 함께 사용할 수 있고 클러스터 확장은 모든 수명 주기 구성 옵션과 호환되지만, 각 구성요소의 관리 주체는 하나여야 한다. 동일한 exporter, 사용자, 서비스를 스크립트와 확장에서 동시에 관리하면 서로 다른 설정이 경쟁해 설치 또는 실행 충돌이 생길 수 있으므로 기능별로 관리 범위를 분명히 해야 한다.
8. 기존 스크립트에서 확장으로 이전하는 절차와 자료 범위
기존에 스크립트로 관측성이나 사용자 관리를 운영하던 클러스터는 기능 하나씩 확장으로 이전할 수 있으며, 이전 과정에서 스크립트와 확장을 병행할 수 있다. 원문이 제시한 첫 단계는 UpdateClusterSoftware로 클러스터를 2026년 11월 HyperPod AMI 이상으로 갱신하는 것이고, 다음은 수명 주기 스크립트에서 해당 기능을 끄고 수정본을 S3 버킷에 올려 새 노드가 이를 설치하지 않도록 하는 것이다. 이어 계획된 유지보수 시간에 모든 노드에서 스크립트로 설치한 에이전트를 중지하고 제거하며, 원문은 이 작업을 유일한 수동 전체 노드 작업이라고 명시한다. 마지막으로 정리된 클러스터에 CreateClusterExtension을 호출해 확장을 설치하고, 잔여 구성 때문에 포트 사용 등의 충돌이 있으면 설치 과정과 DescribeClusterExtension의 Health에서 확인한다. 사용자 관리 이전에서는 기존 사용자 이름과 사용자 ID를 유지한다고 설명한다. 제공된 source_body는 시작에 필요한 조건을 소개하려는 제목 중간에서 끝나므로, 그 뒤의 추가 요구 사항이나 예고된 플랫폼 팀의 분기 운영 사례는 확인할 수 없다.
🧾 핵심 주장 / 시사점
- 클러스터 확장의 핵심은 설치 자동화뿐 아니라 실행 중 소프트웨어의 원하는 상태를 유지하고 실제 적용 상태를 드러내는 데 있다. 다만 운영 부담 감소는 AWS가 제시한 효과이며, 제공된 자료에는 이를 정량적으로 검증한 결과가 없다.
- 설정 검증과 실행 상태 보고는 서로 다른 문제를 다룬다. 스키마 검증을 통과하더라도 노드의 포트·사용자 ID 충돌은 남을 수 있어 Health 확인과 원인 해결이 필요하다.
- 관리형 확장을 도입해도 조직별 소프트웨어 관리와 기존 설치 정리 책임은 남는다. 기능별 이전과 단일 관리 주체 원칙은 자동 관리 기능을 기존 환경과 충돌 없이 결합하는 조건이다.
✅ 액션 아이템
- 관측성과 사용자 관리 요구를 sagemaker-observability 및 sagemaker-user-management의 제공 범위와 대조해 적용 대상 검토.
- Degraded 발생 시 Health의 원인과 영향받는 노드 수를 확인하고, 원인 해결 후 설정 변경 없는 UpdateClusterExtension 재시도 검토.
- 기존 기능 이전 시 2026년 11월 HyperPod AMI 이상 여부, 수명 주기 스크립트의 중복 관리 해소, 유지보수 시간의 기존 에이전트 수동 제거 필요성 확인.
❓ 열린 질문
- 현재 사용자 지정 AMI·수명 주기 스크립트로 관리하는 기능 중 sagemaker-observability 또는 sagemaker-user-management로 이전할 대상은 무엇인가?
- Degraded와 Health에 나타난 문제 중 HyperPod의 자동 재시도 대상과 사용자의 원인 해결이 필요한 대상은 각각 무엇인가?
- 2026년 11월 HyperPod AMI 이상으로 갱신하고 기존 에이전트를 수동 제거할 유지보수 시간은 언제 확보할 수 있는가?