NVIDIA NVLink Fusion Expands With NVHBM Custom High-Bandwidth Memory

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA는 메모리 컨트롤러를 HBM 내부로 옮겨 대역폭·전력 효율·XPU 연산 공간을 개선하는 NVHBM을 NVLink Fusion에 추가하고, Amazon의 Annapurna Labs와 협력한다.

📌 핵심 요약

• NVIDIA는 AI 에이전트와 조 단위 매개변수 워크로드에 대응하는 반맞춤형 AI 인프라를 지원하기 위해 NVLink Fusion을 NVHBM으로 확장했다.
• NVHBM은 NVIDIA의 맞춤형 메모리 컨트롤러를 XPU 다이 대신 HBM 베이스 다이에 통합하며, 향후 NVIDIA GPU에 사용할 기술을 기반으로 한다.
• NVIDIA에 따르면 NVHBM은 표준 HBM4E 대비 메모리 대역폭을 최대 30% 높이고 HBM 전력 소비를 15% 줄이며, XPU 연산 다이에서 최대 25%의 면적을 추가로 확보한다.
• NVIDIA는 여러 메모리 공급업체가 제공할 표준 NVHBM 구현을 마련하고 있으며, 공급업체별 메모리 통합과 검증에 필요한 엔지니어링 부담을 줄이는 것을 목표로 한다.
• Amazon의 Annapurna Labs는 NVHBM의 첫 협력 파트너이며, 기존 협력에 따라 Trainium4부터 NVLink Fusion을 지원할 예정이다. NVLink Fusion은 맞춤형 XPU·CPU를 NVIDIA의 랙 규모 플랫폼에 연결한다.

🧩 주요 포인트

1. 메모리 컨트롤러의 HBM 내부 통합 → 메모리 성능과 전력 효율 개선에 더해 XPU의 연산용 실리콘 공간 확보.
2. 여러 공급업체에 걸친 표준 NVHBM 구현 → 메모리 통합·검증 부담 감소와 맞춤형 AI 칩의 시장 출시 가속 지원.
3. Annapurna Labs 협력과 NVLink Fusion의 랙 규모 연결 → 공통 아키텍처에서 Amazon 칩과 NVIDIA GPU의 연동을 지원하고 파트너의 XPU 혁신 집중을 뒷받침.

🧠 상세 정리

1. AI 인프라의 통합 설계 요구와 NVHBM 도입

원문은 AI 에이전트와 조 단위 매개변수 워크로드의 보편화가 인프라에 새로운 요구를 제기한다는 배경에서 출발한다. 성능은 연산 능력뿐 아니라 메모리, 스토리지, 네트워킹, 소프트웨어를 하나의 시스템으로 함께 설계하는 방식에도 달려 있다는 설명이다. NVIDIA는 이러한 요구에 대응해 NVLink Fusion에 차세대 고대역폭 메모리 기술인 NVHBM을 추가했다. NVHBM은 하이퍼스케일러와 AI 혁신 기업의 반맞춤형 인프라 구축을 지원하며, 주요 메모리 파트너의 검증과 공급을 거쳐 NVLink Fusion 고객에게 제공될 예정이다.

2. 메모리 컨트롤러 이동과 성능·효율 개선

기존 HBM 구조는 메모리 컨트롤러를 XPU 다이에 배치하므로 연산에 사용할 수 있는 실리콘 면적 일부를 차지한다. NVHBM은 NVIDIA의 맞춤형 메모리 컨트롤러를 HBM 베이스 다이에 통합해 컨트롤러를 3차원 HBM 스택 내부로 옮긴다. 이 설계는 NVIDIA가 향후 GPU에 사용할 기술과 같은 기반을 활용한다. NVIDIA가 제시한 표준 HBM4E 대비 개선치는 메모리 대역폭 최대 30% 증가, HBM 전력 소비 15% 감소, XPU 연산 다이 면적 최대 25% 추가 확보다. 따라서 원문이 강조하는 변화는 메모리 성능뿐 아니라 전력 소비와 연산용 공간까지 포괄한다.

3. 여러 메모리 공급업체를 위한 표준 구현

NVIDIA는 여러 메모리 공급업체를 통해 제공할 수 있는 표준 NVHBM 구현을 마련하고 있다. 주요 메모리 파트너는 이 기술을 검증하고 공급해 NVLink Fusion 고객이 활용할 수 있도록 할 예정이다. 표준 구현의 목적은 여러 공급업체의 메모리를 통합하고 적합성을 검증하는 데 필요한 엔지니어링 노력을 줄이는 것이다. 원문은 이러한 부담 감소가 맞춤형 AI 칩의 시장 출시를 앞당기는 경로를 제공한다고 설명한다. 이는 앞서 제시한 대역폭·전력·면적 개선과 함께, 실제 칩 개발 과정에서 기술을 도입하는 부담을 낮추려는 접근이다.

4. Annapurna Labs와의 협력 및 Trainium4 연결

Amazon의 Annapurna Labs는 NVIDIA와 진행하는 NVLink Fusion 협력의 일환으로 NVHBM에 처음 협력할 파트너다. 양사는 AI 워크로드의 성능과 효율을 높이기 위해 NVHBM 기술과 NVLink 스케일업 아키텍처를 함께 다룰 예정이다. 이번 협력은 AWS가 앞서 발표한 NVLink Fusion 지원을 바탕으로 한다. Annapurna Labs는 Trainium4부터 차세대 Trainium 칩에 NVLink Fusion을 지원할 예정이며, 이를 통해 Amazon 칩과 NVIDIA GPU가 공통 랙 규모 아키텍처에서 함께 작동할 수 있게 된다. 원문은 NVHBM 협력과 Trainium4의 NVLink Fusion 지원을 설명하지만, Trainium4에 NVHBM이 탑재된다고 명시하지는 않는다.

5. 랙 규모 플랫폼과 파트너의 개발 집중

NVLink Fusion은 파트너의 맞춤형 XPU와 CPU를 NVIDIA의 랙 규모 플랫폼에 연결한다. 파트너는 NVLink 칩렛, NVLink-C2C, NVLink 스위치, NVIDIA MGX 시스템과 랙을 이용할 수 있으며, CPU 파트너와 ASIC 설계사, 시스템 제조사, 기술 제공업체의 생태계에도 접근한다. NVLink Fusion은 NVIDIA의 각 세대 랙 규모 시스템 아키텍처와 함께 제공된다. 원문은 하이퍼스케일러와 AI 중심 기업이 검증된 네트워킹·시스템·소프트웨어 기술을 활용하면서 엔지니어링 자원을 XPU 혁신에 집중할 수 있다고 설명한다. 이를 통해 반맞춤형 AI 인프라를 더 빠르고 낮은 위험으로 배치하는 경로를 제시한다.

🧾 핵심 주장 / 시사점

• NVHBM은 메모리 컨트롤러의 배치를 바꿔 메모리 대역폭, 전력 소비, XPU 연산 공간을 함께 개선하는 아키텍처 접근이다.
• 표준 NVHBM 구현은 여러 공급업체의 메모리 통합·검증 부담을 줄여, 성능 개선을 실제 맞춤형 칩 개발에 연결하는 역할을 한다.
• NVLink Fusion은 공통 랙 규모 플랫폼을 활용하면서 파트너가 자체 XPU 개발에 집중할 수 있도록 하는 협력 구조를 제시한다.

✅ 액션 아이템

• NVHBM 검토 시 표준 HBM4E 대비 대역폭 최대 30% 증가, HBM 전력 소비 15% 감소, XPU 연산 다이 면적 최대 25% 추가 확보를 주요 비교 항목으로 활용.
• 표준 NVHBM 구현이 여러 메모리 공급업체의 통합·검증 부담 감소에 미치는 영향 검토.
• Annapurna Labs의 NVHBM 협력과 Trainium4부터 예정된 NVLink Fusion 지원의 진행 상황 확인.

❓ 열린 질문

• NVHBM의 표준 HBM4E 대비 대역폭 최대 30% 증가와 HBM 전력 소비 15% 감소는 어떤 조건에서 달성되는가?
• 표준 NVHBM 구현은 여러 메모리 공급업체의 통합·검증 부담을 어느 정도 줄이는가?
• Trainium4부터 예정된 NVLink Fusion 지원에서 Amazon 칩과 NVIDIA GPU의 공통 랙 규모 연동은 어떻게 구현되는가?