From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA는 DSX를 통해 AI 팩토리의 전력 배분과 전체 운영을 최적화하고 전력망 수요에 유연하게 대응함으로써, 같은 전력 예산에서 더 많은 토큰을 생산하는 방향을 제시한다.

📌 핵심 요약

• NVIDIA의 Eos AI 팩토리에서 Emerald AI Conductor는 Silicon Valley Power의 신호에 따라 고우선순위 작업을 유지하면서 전력을 4MW에서 3MW로 자동 조절했으며, 이후 200회가 넘는 수요 신호에도 매번 대응했다.
• Lambda는 NVIDIA HGX B200 GPU 서버로 구성된 5개 랙·19개 노드에서 DSX MaxLPS를 검증했다. 최대 전력으로 가동하는 16개 노드와 같은 전력 예산으로 19개 노드를 운영해 토큰 처리량을 약 초당 400만 개에서 500만 개로 24% 늘렸고, 와트당 성능은 23% 개선했다.
• NVIDIA는 적합한 배포 환경에서 DSX MaxLPS가 차세대 Vera Rubin NVL72 AI 팩토리의 GPU 수용 용량을 같은 MW 전력 예산 내에서 최대 40% 늘릴 수 있다고 전망했다.
• Eos의 사례는 DSX Flex 설치가 아닌 Emerald AI Conductor의 상용 운영 사례다. 첫 전용 DSX Flex 상용 배포는 버지니아주 Manassas의 NVIDIA AI Factory Research Center에 들어설 96MW Vera Rubin AI 팩토리로 예정돼 있다.
• NVIDIA DSX는 800V DC 전력 아키텍처를 참조 설계에 통합하고 있으며, 시뮬레이션·운영 소프트웨어·참조 설계를 통해 네트워크, 냉각, 전력 배분을 포함한 팩토리 전체의 MW당 유효 작업량을 높이는 데 초점을 맞춘다.

🧩 주요 포인트

1. DSX MaxLPS의 워크로드별 전력 재배분 → 정적 전력 할당에서 활용되지 못한 여유 용량을 회수해, 같은 전력 예산의 토큰 생산량과 컴퓨팅 밀도를 높인다.
2. Emerald AI Conductor의 작업 우선순위별 수요 대응 → 핵심 서비스를 유지하면서 전력망 부담을 줄일 수 있음을 보여주며, DSX Flex가 이를 일반화하려 한다.
3. Lambda의 실측 결과와 Vera Rubin NVL72의 최대 40% 전망은 근거 수준이 다름 → 현재 검증된 효과와 향후 환경에 따라 달라질 확장 가능성을 구분해 평가해야 한다.

🧠 상세 정리

1. 전력망 신호에 자동으로 대응한 AI 팩토리

8월의 무더운 저녁, 냉방 수요가 치솟자 Silicon Valley Power는 산타클라라의 AI 팩토리에 전력 소비 조절 신호를 보냈다. Emerald AI의 Varun Sivaram과 동료들, 데이터센터 엔지니어, 전력회사 관계자 등 약 40명이 지켜보는 가운데 Conductor는 운영자의 개입 없이 미리 정해진 작업 우선순위에 따라 대응했다. 지연 가능한 저우선순위 작업은 속도를 늦추거나 일정을 조정하고 고우선순위 추론은 계속 실행해, 소비 전력을 4MW에서 3MW로 낮췄다. 수천 개의 NVIDIA GPU에 처음 적용한 이 사례 이후에도 해당 팩토리는 200회가 넘는 수요 신호에 매번 대응했으며, 원문은 이를 새로운 송전선 건설에 10년을 기다리지 않고 AI 팩토리에 필요한 전력을 확보할 가능성을 보여주는 사례로 제시한다.

2. 고정된 전력 한도에서 전체 시스템 효율로

AI Infra Summit의 화요일 기조연설에서 NVIDIA의 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장 Ian Buck은 AI 팩토리 효율을 인프라 전략의 중심에 놓았다. 원문은 AI 팩토리 경제에서 전력이 제약이며, 기가와트당 작업량이 핵심 지표라고 설명한다. 데이터센터 업계가 시설 설계와 랙 수준 전력 변환의 효율을 개선해온 데 이어, DSX는 더 정교한 랙 전력 배분, 작업 스케줄링, 빠른 재시작, 효율적인 체크포인팅으로 GPU의 대기 시간을 줄이려 한다. Jensen Huang의 ‘1GW 팩토리가 2GW 팩토리가 될 수는 없다’는 발언은 이러한 물리적 한계를 강조하며, NVIDIA는 5월 GTC Taipei에서 소개한 DSX를 개별 부품을 넘어 네트워크·냉각·물 사용 효율·시설 설계를 함께 최적화하는 해법으로 제시한다.

3. Lambda가 검증한 DSX MaxLPS의 처리량 개선

DSX MaxLPS는 GPU와 랙 수준의 전력 소비를 관찰하고 워크로드 유형에 따라 노드 간 전력 여유분을 재배분해, 정적 할당으로는 활용되지 못하는 용량을 회수한다. 학습과 추론의 전력 사용 패턴이 다르다는 점을 활용하며, 1만 곳 이상의 고객을 보유한 GPU 클라우드 사업자 Lambda는 NVIDIA HGX B200 GPU 서버의 5개 랙·19개 노드 클러스터에서 이를 처음 검증했다. 최대 전력으로 작동하는 16개 노드와 같은 전력 예산에서 19개 노드를 운영한 결과, 클러스터 전체 토큰 처리량은 약 초당 400만 개에서 500만 개로 24% 증가했고 와트당 성능은 23% 개선됐다. 이와 별도로 NVIDIA는 적합한 배포 환경의 차세대 Vera Rubin NVL72 AI 팩토리에서 같은 MW 전력 예산으로 GPU 수용 용량을 최대 40% 확대할 수 있다고 전망했으며, 이는 Lambda의 실측 결과와 구분되는 예측이다.

4. Conductor의 상용 사례에서 DSX Flex로

산타클라라의 사례는 DSX Flex가 설치된 결과가 아니라, Emerald AI Conductor가 상업적 규모에서 전력망 유연성의 실현 가능성을 입증한 선행 사례다. NVIDIA의 Eos AI 팩토리는 AI 팩토리를 전력회사 지시에 따라 조절 가능한 자원으로 다루는 최초의 상용 전력회사 프로그램인 Silicon Valley Power의 Flexible Load Interconnect Program에 참여하고 있으며, Conductor는 신호를 받으면 1분 이내에 대응한다. DSX Flex는 이러한 운영 방식을 일반화하도록 설계됐고, 플랫폼이 성숙하면서 Conductor가 통합될 예정이다. 두 대륙에서 진행된 다섯 차례의 시연을 바탕으로, 첫 전용 DSX Flex 상용 배포는 버지니아주 Manassas의 NVIDIA AI Factory Research Center에 들어설 96MW Vera Rubin AI 팩토리에서 이뤄질 예정이다.

5. 고밀도 랙을 위한 800V DC 전력 전달

원문은 현재 AI 팩토리 내부에서 얻을 수 있는 운영 효율 개선에 이어, 더 높은 밀도의 가속 컴퓨팅 랙에 전력을 전달하는 구조를 다음 단계로 제시한다. AI 팩토리 규모가 커질수록 기존의 낮은 전압 기반 전력 경로는 전력 변환을 복잡하게 만들고 배전상의 제약을 더한다는 설명이다. NVIDIA의 800V DC 아키텍처는 이러한 변환 복잡성을 줄이고 전력 전달 효율을 높이며, 더 고밀도의 가속 컴퓨팅 랙을 지원하도록 설계됐다. NVIDIA DSX는 이를 참조 설계에 통합하고 있지만, 원문은 800V DC 자체의 정량적 개선 효과를 제시하지 않으므로 앞서 소개한 MaxLPS의 처리량 증가 수치와 연결해 해석할 근거는 없다.

6. MW당 유효 작업량을 높이는 통합 최적화

원문은 빠른 GPU도 네트워크를 기다릴 수 있고, 부적절한 전력 할당은 가용 용량을 묶어두며, 냉각에 쓰이는 전력은 GPU에 투입할 전력을 줄인다는 점을 들어 단일 부품만으로는 AI 팩토리를 최적화할 수 없다고 주장한다. 직접 액체 냉각을 사용하는 GB200 NVL72 랙도 약 120kW의 열을 처리해야 한다는 사례는 냉각과 컴퓨팅을 함께 고려해야 함을 보여준다. NVIDIA는 첫 랙 설치 전의 DSX Sim, 운영 단계의 DSX OS와 DSX Exchange, 검증된 아키텍처를 제공하는 DSX Reference Designs를 팩토리 전체 최적화의 수단으로 제시한다. 결론적으로 원문이 제안하는 경쟁 기준은 소비한 MW당 얼마나 많은 유효 작업을 생산하는지이며, 전력망의 부담을 덜어주면서 핵심 작업을 유지하는 능력을 AI 팩토리의 새로운 기본 요건으로 강조한다.

🧾 핵심 주장 / 시사점

• 고정된 전력 예산에서도 워크로드별 전력 사용 차이를 활용하면 생산량을 늘릴 수 있다는 점이 Lambda 검증의 핵심이며, 전력 할당 방식 자체가 성능을 좌우하는 운영 변수로 제시된다.
• 전력망 유연성은 작업을 모두 중단하는 방식이 아니라 우선순위에 따라 지연 가능한 작업을 조정하는 방식으로 구현되며, 핵심 서비스의 연속성과 전력 수요 조절을 함께 추구한다.
• DSX의 효과를 평가할 때는 Lambda의 실측치, Conductor의 상용 운영 사례, DSX Flex의 배포 예정, Vera Rubin NVL72에 대한 전망을 서로 다른 검증 단계로 구분할 필요가 있다.

✅ 액션 아이템

• DSX MaxLPS 적용 가능성을 검토할 때 Lambda의 토큰 처리량 24% 증가와 와트당 성능 23% 개선이 확인된 전력 예산 및 클러스터 조건을 함께 평가한다.
• 전력망 수요 대응을 검토할 때 Emerald AI Conductor 사례의 고우선순위 작업 유지와 지연 가능한 작업 조정을 핵심 조건으로 검토한다.
• Vera Rubin NVL72의 GPU 수용 용량 최대 40% 확대는 환경에 따른 전망으로 구분하고, DSX Flex의 배포 예정과 현재 상용 운영 사례를 분리해 판단한다.

❓ 열린 질문

• Lambda에서 확인된 DSX MaxLPS의 토큰 처리량 24% 증가와 와트당 성능 23% 개선은 다른 워크로드 구성에서도 재현될 수 있는가?
• Emerald AI Conductor가 고우선순위 작업을 유지하며 전력망 수요에 대응하려면 지연 가능한 작업의 비중은 어느 정도여야 하는가?
• Vera Rubin NVL72의 GPU 수용 용량을 같은 MW 전력 예산에서 최대 40% 늘릴 수 있는 적합한 배포 환경은 구체적으로 무엇인가?