Articleaws.amazon.com·2026년 11월 19일·0

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

Quick Summary

AWS는 Amazon EKS에서 NVIDIA Run:ai GPU Fractioning을 사용해 NVIDIA A10G 한 장에서 Pod 두 개를 동시에 실행하고, 각 Pod에 설정한 8 GiB GPU 메모리 한도가 적용되는지 검증했다.

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS 관련 대표 이미지

🖼️ 인포그래픽

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS의 핵심 내용을 4단계로 요약한 인포그래픽
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

AWS는 Amazon EKS에서 NVIDIA Run:ai GPU Fractioning을 사용해 NVIDIA A10G 한 장에서 Pod 두 개를 동시에 실행하고, 각 Pod에 설정한 8 GiB GPU 메모리 한도가 적용되는지 검증했다.

📌 핵심 요약

  • 공유를 끈 기준 구성에서는 NVIDIA 디바이스 플러그인이 GPU 한 장을 nvidia.com/gpu 리소스 한 개로 노출한다. GPU 한 장씩을 요청한 두 Pod는 실제 메모리 수요의 합이 장치 용량 안에 들어가도 같은 노드에서 동시에 실행될 수 없었다.
  • NVIDIA는 2026년 10월 13일 NVIDIA Run:ai의 오픈 소스 공개를 발표했다. AWS 예제는 네 구성 요소 중 KAI Scheduler와 GPU Fractioning Operator를 사용해 Kubernetes의 Pod 배치와 MPS 기반 GPU 메모리 공유를 연동했다.
  • AWS는 us-east-2의 Amazon EKS 1.36에서 g5.xlarge 한 대의 NVIDIA A10G(23,028 MiB)를 공유했다. 두 Pod에 각각 8 GiB 한도를 적용하고 6 GiB씩 할당되는지, Pod별 사용량이 관측되는지, 한도를 넘는 9 GiB 할당이 거부되는지 시험했다.
  • 검증 당시 EKS 최적화 AL2023 NVIDIA 이미지가 제공한 드라이버 계열은 R580과 R595였고, GPU Fractioning Operator v0.1.7은 R615 이상을 요구했다. AWS는 드라이버 615.71.10을 담은 사용자 지정 AL2023 이미지로 2026년 10월 22일 검증했고, 11월 18일에는 같은 드라이버의 이미지로 이미지 빌드를 제외한 단계를 반복해 같은 결과를 얻었다.
  • 검증 범위는 G5/A10G 구성의 동시 배치와 메모리 한도였다. 메모리 한도는 비례하는 연산 성능을 예약하지 않으며, 이 시험으로는 장애 격리, 처리량 향상이나 일반적인 비용 절감 효과를 판단할 수 없다.

🧩 주요 포인트

  1. GPU 한 장 단위의 요청을 Pod별 메모리 요청으로 바꾸면 남는 메모리를 다른 Pod가 쓸 수 있다. 적정 요청량은 각 워크로드의 최대 사용량과 실행 오버헤드에 따라 달라진다.
  2. MIG를 쓸 수 없는 GPU에서도 하드웨어·소프트웨어 요건을 충족하고 고정 크기 GPU 노드 그룹을 운영할 수 있다면, GPU Fractioning으로 Pod별 메모리 한도를 강제할 수 있다.
  3. A10G 한 장에 두 Pod를 배치한 결과가 보여 주는 것은 실행 밀도의 개선이다. 노트북·평가 작업·소규모 추론 서비스에 적용할 때는 동시 부하에서의 지연 시간을 별도로 확인해야 한다.

🧠 상세 정리

1. GPU 메모리가 남아도 두 번째 Pod가 기다리는 이유

노트북은 사용자 입력을 기다리는 시간이 있고, 짧은 모델 평가나 소규모 추론 서비스도 GPU 메모리 전체를 계속 사용하지는 않는다. AWS가 기준으로 삼은 Amazon EKS 구성에서는 공유 기능을 끈 NVIDIA 디바이스 플러그인이 물리 GPU 한 장을 nvidia.com/gpu 리소스 한 개로 Kubernetes에 노출했다. 먼저 배치된 Pod가 이 리소스 한 개를 요청하면, 두 Pod의 실제 메모리 수요를 합쳐도 한 장에 들어가는 상황에서 다음 Pod는 같은 노드에 배치될 수 없다. NVIDIA Run:ai GPU Fractioning은 MPS 기반 공유에 Kubernetes 스케줄링, Pod별 GPU 메모리 한도와 사용량 지표를 결합해 여러 팀이 한두 장의 GPU를 나눠 쓸 수 있게 한다.

2. GPU 공유 방식마다 다른 격리 범위

MIG는 지원 GPU를 하드웨어 단위로 분할하고, NVIDIA 디바이스 플러그인의 시간 분할은 여러 작업이 GPU를 번갈아 사용하게 하지만 복제본 간 메모리 격리나 장애 격리는 제공하지 않는다. MPS는 여러 CUDA 프로세스의 동시 실행을 허용하며, 한 작업의 장애가 다른 작업에 미치는 범위는 구성에 따라 달라진다. NVIDIA Run:ai GPU Fractioning은 컨테이너별 메모리 한도를 강제하며 기본 시간 분할 모드와 sm-sharing 연산 모드를 지원한다. NVIDIA 문서에 따르면 기본 모드는 워크로드별 오류 영역을 분리하고 sm-sharing은 오류 영역을 공유하지만, 이 구분이 보안 격리를 보장하지는 않는다. AWS의 시험 대상은 메모리 한도였으며, 장애 전파나 연산 성능은 측정하지 않았다.

3. GPU Fractioning이 적합한 조건

AWS는 MIG를 사용할 수 없는 GPU에서 Pod별 메모리 한도를 강제해야 하고 고정 크기 GPU 노드 그룹을 운영할 수 있을 때 GPU Fractioning을 선택지로 제시한다. Amazon EKS에는 MIG 외에도 NVIDIA 디바이스 플러그인의 시간 분할, NVIDIA DRA 드라이버와 Karpenter를 이용하는 시간 분할 방식이 있다. DRA는 장치를 요청하고 할당하는 Kubernetes API를 제공하며, 실제 공유 기능과 격리 수준은 드라이버 구현과 활성화한 기능에 달려 있다. KAI Scheduler와 GPU Operator는 DRA를 지원하지만 이 실습에서는 NvFractions 어노테이션을 사용했다. 유휴 시간이 있는 노트북이나 짧은 평가 작업에 적용할 때는 관측한 최대 메모리 사용량에 오버헤드를 더해 요청량을 정하고, 여러 작업을 함께 실행한 상태에서 지연 시간을 시험한다.

4. A10G 한 장에서 배치와 한도 집행을 나눈 구성

NVIDIA가 2026년 10월 13일 오픈 소스 공개를 발표한 NVIDIA Run:ai의 네 구성 요소 가운데, AWS는 이 예제에 KAI Scheduler와 GPU Fractioning Operator를 사용했다. us-east-2의 Amazon EKS 1.36 제어 영역은 AWS 관리형 VPC에서 고객 VPC의 프라이빗 서브넷에 있는 작업 노드와 연결됐다. m7i.large 시스템 노드가 컨트롤러와 KAI Scheduler를 실행했고, 스케줄러는 23,028 MiB 메모리의 NVIDIA A10G 한 장을 갖춘 g5.xlarge에 두 Pod를 배치했다. GPU 노드에서는 fractiond가 containerd의 NRI 연동과 MPS를 이용해 공유를 지원하고, metricsd가 Pod별 GPU 메모리 사용량을 내보냈다. 이 구성에서 각 Pod에는 8 GiB 한도가 주어졌고 두 Pod는 각각 6 GiB를 할당했다. 한도 집행은 9 GiB 할당 요청이 거부되는지 시험하는 방식으로 확인했다.

5. 다른 GPU로 옮길 때의 호환성과 메모리 여유

AWS가 검증한 조합은 G5/A10G이며, 이미지 빌드 대상 아키텍처는 x86_64다. 다른 GPU를 선택할 때는 NVIDIA GPU Operator의 하드웨어 목록, 선택한 드라이버가 지원하는 GPU, GPU Fractioning Operator의 선행 요건을 함께 확인해야 한다. 실습 설정에서 인스턴스 유형을 바꾸는 것만으로는 해당 장치에서 같은 방식으로 공유할 수 있는지 알 수 없다. CUDA 호환성과 메모리 여유도 별도 조건이다. 예제와 같은 크기의 한도를 적용하려면 두 개의 8 GiB 한도와 런타임 오버헤드가 모두 들어갈 공간이 있어야 하므로, 메모리가 더 작은 장치에서는 한도와 시험 할당량도 함께 줄여야 한다. 다른 리전에서 실행하려면 선택한 Amazon EKS 버전과 인스턴스 유형을 그 리전에서 사용할 수 있는지도 확인해야 한다.

6. 사용자 지정 AL2023 이미지가 필요했던 이유

검증 당시 EKS 최적화 AL2023 NVIDIA 이미지가 제공한 R580·R595 드라이버 계열은 GPU Fractioning Operator v0.1.7의 R615 이상 요건을 충족하지 못했다. AWS는 표준 Amazon EKS 1.36용 AL2023 이미지를 바탕으로 드라이버 615.71.10과 NVIDIA Container Toolkit 1.20.1-1을 이미지에 포함했다. 검증 조합에는 NRI를 사용하는 containerd 2.3.5, GPU Operator 26.7.1, 디바이스 플러그인 0.20.1, KAI Scheduler 0.18.5가 포함됐다. AWS는 2026년 10월 22일 전체 구성을 검증했고, 11월 18일에는 GPU 노드의 테인트를 수정한 뒤 같은 드라이버 버전의 이미지로 빌드를 제외한 모든 단계를 반복해 같은 결과를 얻었다. 이 버전 목록은 실험 당시 확인한 조합을 기록한 것으로, 공급업체 인증이나 향후 버전의 호환성까지 보증하지 않는다.

7. 일회용 클러스터의 구성과 비용 범위

실습은 AWS Samples 저장소의 로컬 설정 파일에 리전, 클러스터 이름, Amazon EKS 버전, GPU 인스턴스 유형과 드라이버 계열을 지정하는 데서 시작한다. 인증에는 기존 AWS 자격 증명 공급자를 사용하며, 원문은 임시 자격 증명을 우선하고 자원을 만들기 전에 현재 사용 중인 AWS 자격 증명의 주체를 확인하도록 안내한다. 클러스터 생성 단계에서는 Kubernetes 1.36 제어 영역, NAT 게이트웨이 한 개가 있는 전용 VPC, OIDC 연동, 프라이빗 m7i.large 관리형 시스템 노드를 준비한다. GPU 작업 노드 외에 이미지 빌드용 임시 m5.xlarge도 필요하므로 해당 인스턴스의 할당량과 가용 용량이 전제된다. EKS 제어 영역, NAT 게이트웨이, 인스턴스, 볼륨과 AMI 스냅샷에는 비용이 발생하며, 검증이 끝난 뒤 환경을 정리하는 작업은 실습 실행과 별도다.

8. 이미지 빌드와 GPU 작업 노드 추가

Packer는 해당 리전에서 Amazon EKS 1.36용 권장 표준 AL2023 이미지를 찾아 R615 계열의 당시 패치와 툴킷을 설치하고, NVIDIA 런타임 설정과 패키지 상태를 확인한 뒤 암호화된 이미지를 만든다. 설정의 NVIDIA_DRIVER_VERSION은 R615 계열을 선택하므로, 다시 빌드하면 검증에 사용한 615.71.10과 다른 패치가 설치될 수 있다. 워크플로는 실제 설치된 버전을 AMI ID와 함께 기록하고 이미지와 노드 그룹의 태그에도 반영한다. 기본 GPU 노드 그룹은 이 이미지를 사용하는 온디맨드 g5.xlarge 한 대를 유지하며, GPU 테인트로 일반 워크로드의 배치를 제한하고 디바이스 플러그인 관리는 GPU Operator가 맡는다. 앞으로 EKS 최적화 NVIDIA 이미지가 해당 GPU의 드라이버와 나머지 호스트 요건을 충족하면 그 이미지를 우선할 수 있지만, 현재 예제 스크립트는 R615와 자체 빌드 메타데이터를 사용하므로 그대로 전환하려면 수정이 필요하다.

🧾 핵심 주장 / 시사점

  • Pod별 8 GiB 한도와 실제 6 GiB 할당량은 서로 다른 정보를 준다. metricsd의 사용량 지표로 각 Pod가 실제로 쓴 메모리를 보고, 9 GiB 요청이 거부되는지로 한도 집행을 확인할 수 있다.
  • 메모리가 충분해 두 작업을 함께 배치할 수 있어도 각 작업이 확보하는 연산 성능은 메모리 한도에서 계산할 수 없다. 지연 시간이 중요한 워크로드는 동시 실행 상태에서 측정한 값이 필요하다.
  • 재검증 결과를 해석할 때는 실제 드라이버 패치가 중요하다. 11월 18일 시험은 같은 드라이버의 이미지를 재사용했고, R615 계열을 선택해 이미지를 새로 빌드할 때는 설치되는 패치가 달라질 수 있다.

✅ 액션 아이템

  • 워크로드별 최대 사용량과 실행 오버헤드를 기준으로 Pod별 메모리 요청량을 산정한다.
  • G5/A10G 이외의 구성에는 GPU Fractioning Operator의 하드웨어·소프트웨어 요건과 고정 크기 GPU 노드 그룹 운영 가능 여부를 확인한다.
  • 노트북·평가 작업·소규모 추론 서비스를 함께 배치할 때 동시 부하에서의 지연 시간을 측정한다.

❓ 열린 질문

  • 각 워크로드의 최대 사용량과 실행 오버헤드를 합치면 예제의 8 GiB 한도가 적절한가?
  • G5/A10G 이외의 후보 구성도 GPU Fractioning Operator의 하드웨어·소프트웨어 요건을 충족하는가?
  • A10G 한 장에서 두 Pod를 함께 실행할 때 소규모 추론 서비스의 지연 시간은 단독 실행 때와 얼마나 다른가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.