🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA는 하드웨어와 공동 설계된 다층 추론 소프트웨어 및 오픈소스 생태계의 최적화를 결합해 처리량을 높이고 토큰당 비용을 지속적으로 낮춘다고 설명한다.

📌 핵심 요약

• AI 인프라의 핵심 평가 기준이 칩의 최고 사양에서 비용·전력·지연시간을 함께 고려한 유용한 토큰당 비용으로 이동하고 있다.
• NVIDIA는 GPU, CPU, 네트워킹, 시스템과 공동 설계된 추론 소프트웨어를 통해 Blackwell에서 DeepSeek V4의 토큰 비용을 약 한 달 만에 최대 5분의 1 수준으로 낮췄다고 제시한다.
• 프로덕션 운영, 애플리케이션 가속, 인프라 접근이라는 세 계층이 분산 서빙과 스케줄링, 런타임 최적화, 하드웨어 기능 활용을 하나의 체계로 연결한다.
• 분리형 서빙, 대규모 전문가 병렬화, NVFP4 정밀도, 다중 토큰 예측을 함께 적용하면 개별 최적화의 효과가 누적되어 GPU당 처리량이 기준 대비 최대 20배 증가할 수 있다.
• CUDA 기반 오픈소스 생태계는 새로운 모델과 연구 성과를 Blackwell에 빠르게 적용하고, 실제 배포 경험을 다시 최적화로 연결하는 순환 구조를 형성한다.

🧩 주요 포인트

1. AI 인프라의 핵심 평가 기준이 칩의 최고 사양에서 비용·전력·지연시간을 함께 고려한 유용한 토큰당 비용으로 이동하고 있다.
2. NVIDIA는 GPU, CPU, 네트워킹, 시스템과 공동 설계된 추론 소프트웨어를 통해 Blackwell에서 DeepSeek V4의 토큰 비용을 약 한 달 만에 최대 5분의 1 수준으로 낮췄다고 제시한다.
3. 프로덕션 운영, 애플리케이션 가속, 인프라 접근이라는 세 계층이 분산 서빙과 스케줄링, 런타임 최적화, 하드웨어 기능 활용을 하나의 체계로 연결한다.
4. 분리형 서빙, 대규모 전문가 병렬화, NVFP4 정밀도, 다중 토큰 예측을 함께 적용하면 개별 최적화의 효과가 누적되어 GPU당 처리량이 기준 대비 최대 20배 증가할 수 있다.
5. CUDA 기반 오픈소스 생태계는 새로운 모델과 연구 성과를 Blackwell에 빠르게 적용하고, 실제 배포 경험을 다시 최적화로 연결하는 순환 구조를 형성한다.

🧠 상세 정리

1. 칩 사양에서 토큰당 비용으로 이동한 평가 기준

글은 조직들이 AI 시범 운영을 넘어 실제 AI 팩토리를 구축하면서 인프라 선택 기준이 바뀌고 있다고 설명한다. 이제 중요한 것은 칩의 순간적인 최고 성능만이 아니라, 정해진 지연시간 안에서 비용과 전력 대비 얼마나 많은 유용한 토큰을 제공할 수 있는지다. NVIDIA는 GPU, CPU, 네트워킹, 시스템과 공동 설계된 전체 추론 소프트웨어가 하드웨어의 실사용 성능을 계속 개선한다고 주장한다. 그 사례로 Blackwell 플랫폼에서 SGLang, vLLM, NVIDIA Dynamo 등의 최적화를 통해 DeepSeek V4의 토큰 비용이 약 한 달 만에 최대 5분의 1 수준으로 감소한 결과를 제시한다.

2. Blackwell에서 확인된 기업별 적용 사례

NVIDIA는 여러 추론 제공업체와 AI 기업이 Blackwell에서 소프트웨어 스택의 누적 효과를 활용하고 있다고 소개한다. Baseten은 TensorRT-LLM과 자체 런타임 최적화를 결합해 추론·코딩·장문 맥락용 DeepSeek V4 Pro의 초당 토큰 수를 최대 50% 높였고, Cognition은 Dynamo로 추론 GPU를 관리해 강화학습 워크로드용 기반 시설을 처음부터 만들 필요를 줄였다. Deep Infra는 DeepSeek V4를 포함한 최신 오픈소스 모델을 출시 시점부터 Blackwell에서 제공했으며, DigitalOcean과 Hippocratic AI는 1,000만 건의 환자 통화에서 첫 응답 시간을 0.5초 미만으로 유지하면서 처리량을 30% 늘렸다고 밝혔다. Together AI 역시 TensorRT-LLM을 활용해 Cursor가 모델 최적화를 실시간 코딩용 프로덕션 엔드포인트로 전환하는 과정을 가속하도록 지원했다.

3. 에이전트형 AI가 추론 경제성을 복잡하게 만드는 이유

기존 웹, 검색, 서비스형 소프트웨어의 요청은 대체로 비슷한 경로를 따라 데이터베이스를 읽거나 쓰며, 동일한 서버를 추가하는 방식으로 비교적 예측 가능하게 확장할 수 있었다. 반면 에이전트형 AI는 대규모 언어 모델, 도구, 메모리, 보안, 네트워킹, 가속 컴퓨팅을 데이터센터 전반에서 연결하는 분산형·상태 유지형 작업 흐름을 실행한다. 하나의 요청도 추론과 계획, 도구 호출, 전문 하위 에이전트 생성, 다중 대화 맥락 관리로 확장되며 수백 개의 하위 에이전트와 수천 개의 작업, 여러 모델을 동원할 수 있다. 이 작업들은 GPU뿐 아니라 CPU, DPU, 저장장치까지 걸쳐 실행되므로, 소프트웨어가 자원을 제대로 조정하지 못하면 복잡성이 유휴 용량과 비용 증가로 이어지고 반대로 잘 조정하면 토큰당 비용을 낮출 수 있다.

4. 세 계층으로 연결되는 전체 추론 소프트웨어

NVIDIA는 개별 최적화를 시스템 수준의 성능으로 전환하기 위해 추론 소프트웨어를 세 계층으로 설명한다. 프로덕션 운영 계층은 분산 서빙, 오케스트레이션, 자동 확장, 메모리 관리를 조정해 적절한 컴퓨팅 및 저장 자원에서 추론이 실행되도록 한다. 애플리케이션 가속 계층은 연산과 통신의 중첩, 커널 융합 같은 런타임 최적화를 적용하면서 개발자가 모델 동작을 조정하고 맞춤화할 여지를 제공한다. 인프라 접근 계층은 개발자가 장치 명령어나 데이터 전송 프로토콜을 일일이 관리하지 않아도 GPU, 네트워킹, 메모리, 시스템 기능을 사용할 수 있게 하며, 이 세 계층은 모델 서빙부터 스케줄링, 커널, 통신 라이브러리, 하드웨어 인식 최적화까지 하나의 흐름으로 연결된다.

5. 여러 최적화를 결합해 만드는 최대 20배 처리량

글의 핵심 주장은 하나의 기법보다 서로 다른 계층의 최적화를 함께 적용할 때 성능 향상이 누적된다는 것이다. 분리형 서빙은 작업 단계를 적합한 자원에 나누고, NVIDIA NVLink를 활용한 대규모 전문가 병렬화는 여러 가속기 사이에서 전문가 모델 연산을 확장하며, NVFP4는 낮은 정밀도로 처리 효율을 높인다. 여기에 한 번에 여러 토큰을 예측하는 다중 토큰 예측을 더하면 각 기법을 단독으로 적용할 때보다 큰 결합 효과를 얻을 수 있다고 설명한다. NVIDIA가 제시한 결과에서는 이러한 최적화가 누적되며 Blackwell의 GPU당 토큰 처리량이 기준선 대비 최대 20배까지 증가하지만, 이를 실제 서비스에서 실현하려면 운영 계층부터 런타임, 커널, 통신 라이브러리, 하드웨어 접근까지 전체 스택의 조정이 필요하다.

6. CUDA 기반 오픈소스 생태계의 확산 효과

NVIDIA는 전체 스택의 이점이 CUDA를 중심으로 형성된 오픈소스 생태계를 통해 확대된다고 설명한다. 2016년부터 CUDA를 기본 지원한 PyTorch는 NVIDIA 아키텍처와 함께 발전하면서 개발자가 익숙한 프레임워크 안에서 Tensor Core, Transformer Engine, NVFP4 같은 기능을 사용할 수 있도록 했다. 기존 하드웨어에서 처리량을 최대 15배 높인다고 소개된 DFlash 추측 디코딩이나 1080p 영상을 5초 이내에 생성하는 FastVideo 같은 기술이 PyTorch에 반영되면 NVIDIA 환경에서 곧바로 실행될 수 있다는 것이 글의 주장이다. 또한 DeepSeek V4 같은 새로운 오픈 모델이 공개될 때 vLLM과 SGLang이 Blackwell용 초기 배포 방법을 제공함으로써 빠른 확산을 돕고, 실제 배포에서 나온 개선은 다시 생태계로 환류된다. NVIDIA는 더 많은 개발자가 CUDA 기반 추론 경로를 최적화하고 더 많은 운영 사례가 축적될수록 제공 가능한 토큰 수가 늘고 토큰당 비용은 시간이 지나며 낮아지는 오픈소스 순환 구조가 형성된다고 정리한다.

🧾 핵심 주장 / 시사점

• 추론 경제성은 단일 GPU의 최고 성능보다 처리량, 상호작용성, 전력, 지연시간, 자원 활용률을 함께 조정하는 전체 시스템의 성능에 좌우된다.
• 최대 20배 처리량과 최대 5배 비용 개선 사례는 하나의 기술이 아니라 분산 운영, 런타임, 수치 정밀도, 병렬화, 예측 기법을 계층적으로 결합한 결과로 제시된다.
• 오픈소스 프레임워크의 출시 초기 지원과 실제 배포 피드백은 새로운 모델을 빠르게 서비스하고 이후 최적화를 반복하는 핵심 경로로 설명된다.

✅ 액션 아이템

• DeepSeek V4에서 Blackwell 기준 토큰비용을 한 달 내 최대 5분의 1로 낮춘 전제조건과 산출 과정을 동일 조건으로 재현한다.
• AI 인프라의 핵심 비교 지표를 칩 최고사양이 아니라 비용·전력·지연시간을 반영한 유효 토큰당 비용으로 재정의해 선택 근거를 정렬한다.
• 분리형 서빙·대규모 전문가 병렬화·NVFP4·다중 토큰 예측의 조합이 GPU당 처리량 20배 가정과 연동되도록 운영·애플리케이션·인프라 층에서 적용범위를 점검한다.

❓ 열린 질문

• 토큰당 비용 지표로 전환할 때 비용·전력·지연시간의 가중치 비율은 어떤 방식으로 정하고 어떤 구간에서 점검할 것인가?
• Blackwell의 토큰비용 1/5·처리량 20배 주장이 프로덕션 운영, 애플리케이션 가속, 인프라 접근 각 층에서 동일하게 성립하려면 어떤 실증 항목이 필요한가?
• CUDA 기반 오픈소스 순환 구조에서 연구 성과가 배포 환경 최적화로 반영되는 속도는 얼마나 짧아야 하며 반영 경로는 어디까지 추적 가능한가?