Nvidia’s AI advantage is moving beyond the GPU

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

엔비디아의 AI 우위가 GPU 경쟁을 넘어 기가와트급 오케스트레이션·Vera Rubin 주변 시스템으로 이동하고 있다.

📌 핵심 요약

• 기존 서사는 AI 붐 초기에 엔비디아가 최신 GPU 공급을 독점해 큰 이익을 냈고, 최근 아마존·구글 등 하이퍼스케일러의 자체 칩으로 우위 지속성에 대한 투자자 우려가 커졌다는 것이다.
• 엔비디아 시가총액은 2023년 초부터 2025년 중반까지 10배 성장한 뒤, 지난 1년간은 GPU 경쟁 우려로 더 완만한 흐름을 보였다.
• 수요일 실적 이후 새 서사는 AI 연산이 기가와트 규모로 커지며 오케스트레이션이 복잡해졌고, 엔비디아가 GPU를 둘러싼 최신 하드웨어·시스템에서도 큰 우위를 갖는다는 쪽으로 바뀌고 있다.
• Vera Rubin 아키텍처는 Rubin GPU에 Vera CPU, Groq 3 LPX 추론 가속기, 스토리지·네트워킹 랙을 결합해 GPU 바깥 효율을 높이는 데 초점을 둔다.
• Jason Hardy에 따르면 Vera CPU는 데이터 오케스트레이션으로 관련 연산에서 최대 약 3배 개선을 내 flash 성능을 병목 없이 쓰게 하며, OpenAI Jalapeño는 데이터 이동 자체를 줄이는 다른 경로로 같은 효율 논리를 따른다.

🧩 주요 포인트

1. GPU 단독 독점 서사에서 기가와트급 데이터센터 오케스트레이션·주변 시스템 우위로 투자 논점이 이동한다.
2. Vera Rubin·Vera CPU·Groq 3 LPX는 토큰 연산보다 메모리·트래픽·스토리지 경로 효율을 특화한 제품 축이다.
3. tokens-per-watt와 데이터 이동 병목이 새 경쟁 층이 되며, Micron식 메모리 확장과 OpenAI Jalapeño식 통합이 같은 문제의 다른 해법으로 병치된다.
4. 우위가 자동 확정은 아니나 초기에는 엔비디아가 시스템 효율 층에서 강한 선두로 평가된다.

🧠 상세 정리

1. 기존 서사: GPU 독점과 경쟁 우려

기사 서두의 지배적 서사는 AI 붐 초기에 엔비디아가 최신 GPU의 사실상 유일 공급원이었다는 점이다. 산업이 확장되면서 그 GPU는 막대한 수익을 냈고, 시가총액도 2023년 초부터 2025년 중반까지 약 10배 커졌다. 이후 아마존과 구글 같은 하이퍼스케일러가 자체 칩을 만들기 시작하면서 엔비디아가 유일한 선택지는 아니게 되었다. 그 결과 투자자들은 우위가 얼마나 오래갈지 의문을 제기했고, 지난 1년 주가 흐름은 GPU 경쟁 우려 속에 더 완만해졌다. 기자는 이 서사가 설득력 있고 대체로 맞다고 전제한 뒤, 이번 주 실적을 기점으로 논의가 바뀌기 시작했다고 적는다.

2. 실적 이후 새 서사: GPU를 넘어선 우위

수요일 실적 이후 투자자들은 엔비디아 우위가 GPU를 훨씬 넘어선다는 인식을 키우고 있다. AI 연산이 기가와트 규모로 커지면서 오케스트레이션은 갈수록 복잡한 과제가 되었다. 엔비디아는 그 과제를 다룰 최신 하드웨어를 상당 부분 구축해, GPU 자체 경쟁이 늘어나도 GPU를 둘러싼 시스템에서 큰 이점을 갖는다. 연산을 상품처럼 보는 말과 달리, 메가스케일 데이터센터를 최대 효율로 돌리기는 여전히 매우 어렵다. 배포 규모가 커지고 빨라질수록 그 난이도는 더 커진다고 기사는 강조한다.

3. Vera Rubin 구성과 ‘엔진 밖의 차체’

엔비디아가 실제로 파는 구성을 보면 이 변화가 드러난다. 회사는 Vera Rubin 아키텍처를 롤아웃 중이며, Rubin GPU에 Vera CPU, Groq 3 LPX 추론 가속기, 스토리지·네트워킹용 유사 랙을 짝짓는다. 기자 가 지난 주 엔비디아 관계자들과 나눈 대화에서 이들 시스템의 역할은 예상보다 뚜렷했다. Rubin GPU처럼 고도로 특화되어 있지만, 토큰을 대량 처리하기보다 GPU 바깥이 최대한 효율적으로 돌아가게 만든다. 기자는 GPU를 엔진에, 이들 유닛을 나머지 차체에 비유한다. 즉 판매 단위 자체가 단일 가속기에서 랙·시스템 묶음으로 넓어지고 있다.

4. Vera CPU와 데이터 오케스트레이션

Vera CPU는 특히 데이터 오케스트레이션에 초점을 둔다. 스토리지 기술 부사장 Jason Hardy는 단일 서버나 컴퓨트 플랫폼에 넣을 수 있는 메모리에는 한계가 있어 Vera가 중요하다고 말했다. 데이터센터 연산력이 커지며 메모리 용량도 함께 늘었고, 그 두 번째 인프라 파동에서 Micron 같은 기업이 수혜를 봤다. 그러나 필요한 시점에 데이터를 GPU로 보내는 일은 단순하지 않다. 기업들이 tokens-per-watt를 낮추려 할수록 이런 트래픽 방향 제어의 중요성이 커진다. Hardy는 Vera CPU 가속으로 관련 연산에서 최대 약 3배 개선을 봤고, 병목 없이 flash 성능을 최대한 끌어쓸 수 있게 됐다고 전했다.

5. OpenAI Jalapeño와 같은 논리의 다른 해법

같은 문제는 엔비디아 밖에서도 나타난다. OpenAI가 Jalapeño 칩을 개발할 때 핵심 초점 중 하나는 데이터 이동을 최소화해 이런 과제를 아예 피하려는 것이었다. 회사 블로그는 Jalapeño가 데이터 이동과 통신 지연을 줄이도록 설계됐고, 큰 도메인 덕분에 전체 워크로드가 하나의 연결 시스템 안에 남아 요청 전체가 처음부터 끝까지 빠르고 효율적으로 유지된다고 밝혔다. 통합 칩 안에서 작업을 수행해 이동 자체를 줄이는 방식은 Vera식 트래픽 가속과 다르지만, 프로세서 사이클을 더 늘리기보다 똑똑한 트래픽·이동 제어로 효율을 높인다는 전체 논리는 같다. 그 결과 기업들이 다툴 새로운 인프라 층이 열린다.

6. 경쟁 층의 이동과 초기 선두

데이터 오케스트레이션 초점 전환이 엔비디아에 자동 승리를 주지는 않는다. 회사는 GPU 때와 마찬가지로 라이벌 칩 업체·하이퍼스케일러와 경쟁해야 한다. 다만 경쟁의 장은 옮겨 갔다. 라이벌 GPU를 만드는 일보다 전체 시스템을 효율적으로 돌리는 능력이 더 중요해졌다. 기사는 적어도 초기 단계에서는 엔비디아가 상당한 선두를 점한 것으로 보인다고 정리한다. 요약하면, 투자 논점은 ‘GPU 공급 독점 지속 여부’에서 ‘기가와트급 오케스트레이션과 주변 시스템 효율을 누가 잡느냐’로 확장되고 있다. Vera Rubin 제품군과 3배 개선 수치, Jalapeño의 이동 최소화는 그 전환을 뒷받침하는 구체 사례로 제시된다.

🧾 핵심 주장 / 시사점

• GPU 가격·공급 경쟁만 보면 엔비디아 모멘텀 둔화로 읽히지만, 기가와트급 운영에서는 주변 시스템 병목이 별도 해자 후보가 된다.
• Vera CPU의 데이터 경로 가속과 Jalapeño의 이동 최소화는 해법은 달라도 ‘사이클 추가’가 아닌 ‘이동·오케스트레이션’이 효율 핵심이라는 점을 공유한다.
• 메모리 용량 확대(Micron 수혜)만으로는 부족하고, 적시 공급·flash 활용·tokens-per-watt가 묶이면서 경쟁 지표가 시스템 단위로 바뀐다.

✅ 액션 아이템

• 수요일 실적 이후 서사 전환을 Vera Rubin·Vera CPU·Groq 3 LPX 구성과 GPU 바깥 효율 논점으로 구분해 정리한다.
• Jason Hardy가 말한 최대 약 3배 개선과 flash 병목 해소를 tokens-per-watt·데이터 오케스트레이션 지표와 대응해 기록한다.
• OpenAI Jalapeño의 데이터 이동 최소화와 엔비디아 시스템 효율 접근을 같은 인프라 경쟁 층의 대안 경로로 비교 요약한다.

❓ 열린 질문

• Vera Rubin 랙에서 Vera CPU·Groq 3 LPX·스토리지·네트워킹이 Rubin GPU 대비 실제 병목을 얼마나 줄이는가?
• tokens-per-watt를 낮추는 과정에서 엔비디아 오케스트레이션 하드웨어와 OpenAI Jalapeño식 통합 중 어떤 경로가 메가스케일 효율에 더 유리한가?
• 아마존·구글 등 하이퍼스케일러 자체 칩 경쟁이 초기 엔비디아 선두를 시스템 효율 층에서 얼마나 잠식할 수 있는가?