엔비디아만 보고 있다면 이미 늦었습니다

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

엔비디아만 바라보면 AI 경쟁의 다음 변화를 놓칠 수 있으며, 확보한 GPU를 효율적으로 쓰는 최적화 기술과 CPU·NPU·데이터까지 함께 살펴야 한다.

📌 핵심 요점

1. GPU 확보는 여전히 중요하지만 충분조건은 아니다. 출연자는 실험·학습·서비스에 필요한 인프라와 함께, 서비스 원가를 낮추는 활용 역량이 경쟁력을 결정한다고 설명한다.
2. 노타는 모델 성능을 유지하면서 다양한 하드웨어에서 효율적으로 구동하는 경량화·최적화 기업이다. 업스테이지 모델의 GPU 요구량을 8장에서 2장으로 줄였다는 사례를 제시하지만, 세부 검증 조건은 공개하지 않는다.
3. 에이전트의 자율적인 작업이 늘면 토큰 소비와 사용자 부담도 커진다. 인터뷰에서는 에이전트 토큰 사용량이 약 6개월 사이 14배 증가했다는 보고서 내용을 인용하며 효율화 필요성을 강조한다.
4. 한국의 제조업 데이터는 피지컬 AI와 VLA 모델 개발의 기회로 제시된다. GPU와 모델 확보를 실제 활용 사례로 연결하고, 데이터를 안전하게 수집·활용하는 기반이 필요하다는 주장이다.
5. 최적화의 범위는 개별 모델에서 여러 모델을 묶은 시스템, 나아가 여러 시스템의 연결로 확대된다. CPU의 에이전트 조율 역할과 NPU 활용을 포함하는 이기종 컴퓨팅이 이 변화와 맞물린다.

🧩 배경과 문제 정의

빅테크와 정부가 GPU 확보에 자금을 투입하는 가운데, 인터뷰는 AI 경쟁력을 보유량만으로 설명할 수 있는지 묻는다. 노타는 모델 성능을 유지하면서 비용·전력·속도 부담을 줄이는 경량화·최적화 기술을 소개하고, AI가 널리 쓰일수록 효율성과 수익성이 중요해진다고 설명한다.

논의는 국가의 GPU 활용과 한국 제조업의 데이터 강점에서 출발해 개인의 토큰 비용, 기업의 모델 운영비, 온디바이스 AI와 이기종 컴퓨팅으로 이어진다. 마지막에는 최적화 대상을 개별 모델에서 시스템과 시스템 간 연결로 확대하는 구상을 제시한다. 수치와 사업 성과는 인터뷰 발언을 기준으로 정리하며, 별도 검증 자료가 제시된 것으로 간주하지 않는다.

🕒 시간순 섹션별 상세정리

1. GPU 확보 경쟁에 던지는 효율화의 질문

• 도입부는 에이전트 토큰 소비 증가와 모델 경량화의 비용 절감 효과를 예고하고, 전 세계적인 GPU 확보 경쟁을 보여준다. [00:53]
• 노타는 다양한 하드웨어와 실제 환경에서 AI를 효율적으로 작동시키는 기업으로 등장한다. [01:20]

2. 노타가 해결하려는 비용·전력·속도 문제

• 노타는 AI 모델의 성능을 유지하면서 효율적으로 구동하게 만드는 경량화·최적화 기술을 보유한 회사라고 보여준다. [01:41]
• 모델 성능 향상 뒤에 따라오는 비용, 전력 사용량, 속도에 대한 우려를 줄이는 것이 사업의 목적이다. [02:07]

3. GPU가 중요한 이유와 보유량의 한계

• 좋은 모델을 만들고 서비스하려면 인프라가 필요하며, GPU가 현재 그 인프라의 큰 부분을 담당하기 때문에 확보 경쟁이 치열하다고 진단한다. [03:09]
• GPU가 많으면 실험·학습·서비스에 유리하지만, 많이 보유했다는 사실만으로 승리를 보장하기는 어려워지고 있다고 보여준다. [04:17]

4. AI 주권과 수익성을 잇는 활용 역량

• 서비스의 지속 가능성을 위해서는 성능뿐 아니라 원가를 낮추는 기술이 중요하며, GPU의 효율적 활용도 주권 논의에 포함해야 한다고 주장한다. [05:06]
• 한국의 GPU 수량이 적다는 이유로 포기할 필요는 없으며, 확보한 자원의 실질적 가치를 높이는 방향을 강조한다. [06:08]

5. 한국 제조업과 정부 지원의 가능성

• 한국은 전체 AI 경쟁에서 후발일 수 있지만, 제조업 기반과 데이터가 피지컬 AI 분야의 강점이 될 수 있다는 의견을 제시한다. [07:17]
• 정부가 GPU 확보와 기업·학교 배분을 지원하며 실제 사례를 만들려는 노력을 긍정적으로 평가한다. [08:00]

6. VLA의 데이터 과제와 실행으로의 전환

• 로봇의 행동까지 다루는 VLA 모델은 데이터 부족의 영향을 받으며, 한국 제조업의 데이터가 모델과 서비스 개발에 기여할 수 있다고 보여준다. [09:06]
• 모델을 만들고 GPU를 확보하는 단계를 넘어, 잘 쓰고 효율적으로 실행하는 사례를 늘려야 한다고 강조한다. [09:38]

7. 일상 속 에이전트와 토큰 비용

• 문서 작성, 번역, 요리 정보와 맛집 검색 등 여러 업무와 일상 활동에 AI가 쓰이면서 토큰 소비가 빠르게 늘어난다고 보여준다. [10:31]
• 효율화가 가능하면 같은 할당량으로 더 많은 일을 하거나 비용 부담을 낮출 수 있으며, 에이전트를 겨냥한 홍보 사례도 언급한다. [11:16]

8. 에이전트의 자율 작업이 키우는 소비량

• 출연자는 맥킨지 보고서를 언급하며, 2월과 비교한 8월 7일 데이터에서 에이전트 토큰 사용량이 약 14배 증가했다고 보여준다. [11:46]
• 에이전트가 스스로 수행하는 일이 늘어도 비용은 사용자가 부담하므로, 저렴하게 AI를 활용하도록 만드는 기술의 필요성이 커진다고 주장한다. [12:25]

9. GPU 8장을 2장으로 줄였다는 사례

• 노타는 국내 독자 파운데이션 모델 프로젝트에서 업스테이지가 만든 약 250빌리언 규모 모델의 최적화에 참여했다고 보여준다. [13:18]
• 성능을 유지하면서 구동에 필요한 GPU를 8장에서 2장으로 줄였으며, 장비 구매나 클라우드 대여 비용을 약 4분의 1 수준으로 낮출 수 있다는 설명을 제시한다. [14:28]

10. 최적화 난도와 축적된 경험

• 최적화 방식은 모델의 학습 과정, 구조와 실행 하드웨어에 따라 달라지므로 다양한 조건을 다뤄 본 경험이 중요하다고 보여준다. [15:21]
• 노타는 2015년 창업 이후 수백 개 이상의 모델과 반도체를 다루며 쌓은 경험이 빠른 해결책 제공의 기반이라고 주장한다. [16:41]

11. AI 소개에서 효율화 방법으로 바뀐 질문

• 초기에는 AI 자체를 설명해야 했지만, 대중적인 AI 서비스가 등장하면서 비용과 전력 효율에 대한 관심이 커졌다고 회고한다. [17:55]
• 시장의 질문이 AI의 의미, 경량화의 필요성을 거쳐 경량화를 잘하는 방법으로 이동한 것을 시장 성숙의 과정으로 해석한다. [18:42]

12. 온디바이스 AI와 연결된 생활 기기

• 경량화는 더 많은 사람이 AI 서비스를 쓰도록 돕고, 스마트폰의 음성 인식·번역·이미지 기능과 자동차의 대화형 기능을 기기 내부에서 실행하는 데 기여한다고 보여준다. [20:12]
• 연결된 가전과 에이전트가 생활·소비 패턴을 알게 되면, 사용자의 매번 지시 없이 필요한 일을 찾아 수행할 수 있다는 미래상을 제시한다. [21:01]

13. CPU·GPU·NPU의 역할 분담

• 출연자는 자체적인 용어 구분을 전제로 에이전틱 AI에서 자율적인 작업과 여러 에이전트의 조율이 중요해지며, CPU가 이 조율에 적합하다고 보여준다. [22:30]
• GPU의 확보·가격·전력 부담과 NPU의 발전을 배경으로, 각 하드웨어가 잘하는 일을 배분하는 이기종 컴퓨팅과 시스템 수준 최적화를 강조한다. [23:43]

14. 다음 기회로 제시한 데이터와 보안

• 모델과 인프라에 관심이 집중된 데 비해, 피지컬 AI와 로봇 학습에 필요한 데이터는 상대적으로 과소평가된 영역이라는 의견을 드러낸다. [25:07]
• 데이터 활용에는 개인정보와 보안 문제가 연결되므로, 안전하게 데이터를 수집하고 활용할 환경을 함께 마련해야 한다고 보여준다. [25:44]

15. 모델에서 시스템으로 넓어지는 최적화

• 노타는 AI 보편화에 기여하는 회사를 지향하며, 개별 모델 최적화에서 여러 모델이 결합한 하나의 AI 시스템 최적화로 확장하고 있다고 보여준다. [27:23]
• 장기적으로는 자동차와 도로 인프라처럼 여러 AI 시스템이 연결된 전체의 효율을 높이는 세 번째 단계를 구상하며, 현재는 첫 단계에서 두 번째 단계로 넘어가는 시기라고 평가한다. [28:20]

16. 통신 단절 대응과 자원 활용이라는 결론

• 연결된 시스템의 통신 단절 문제에 대해 스마트폰·자동차의 온디바이스 구동을 언급하며, 기기 안에서도 효율적인 실행이 중요하다고 답한다. [29:02]
• 진행자는 AI 경쟁의 승부가 자원의 양뿐 아니라 활용 능력에도 달려 있을 수 있다고 정리하고 인터뷰를 마친다. [29:29]

🧾 결론

• 영상은 GPU 확보 경쟁을 부정하지 않는다. 확보한 자원으로 더 많은 일을 수행하고 서비스 원가를 낮추는 능력을 추가적인 경쟁 조건으로 제시한다.
• 노타의 핵심 주장은 모델·학습 방식·하드웨어마다 다른 최적화 문제를 해결해 온 경험이 사업 자산이라는 것이다.
• 개인에게는 AI 이용 비용과 기기 내 기능 확대, 기업에는 서비스 수익성, 국가에는 제한된 인프라의 활용도가 주요 쟁점이다.
• 시스템 전체의 효율화와 데이터 활용은 향후 방향으로 제시되며, 영상 속 사례만으로 시장 전체의 성과를 확정할 수는 없다.

📈 투자·시사 포인트

• AI 산업을 살필 때 GPU 공급량뿐 아니라 모델 최적화가 실제 고객의 원가·전력·처리 성능을 얼마나 개선하는지 확인필요가 있다.
• 에이전트 확산은 연산 수요와 효율화 수요를 함께 키울 수 있다. 작업당 비용 감소와 전체 사용량 증가를 함께 관찰해야 한다.
• CPU의 조율 역할과 NPU 활용 확대는 AI 인프라를 여러 반도체와 소프트웨어의 조합으로 평가해야 한다는 시사점을 준다.
• 제조업·로봇 데이터와 보안 기반은 출연자가 제시한 후속 기회다. 데이터 보유가 실제 학습·서비스 활용으로 이어지는지 검증중요하다.
• 영상에는 기업 가치평가나 주가 전망을 판단할 재무 자료가 없다. 제목을 엔비디아의 경쟁력 약화나 특정 기업의 투자 수익을 입증하는 주장으로 읽기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• GPU 8장→2장과 비용 약 4분의 1이라는 설명에는 정확한 장비 구성, 평가 과제, 정확도 변화, 처리량·지연시간 조건이 없다. GPU 수 감소를 전체 서비스 비용 감소와 동일하게 볼 수 있는지 확인해야 한다.
• 에이전트 토큰 사용량 14배 증가 수치는 출연자가 맥킨지 보고서를 인용한 내용이다. 보고서 제목·연도·표본·집계 범위가 없어 산업 전체에 적용할 수 있는지 불분명하다.
• 한국의 GPU 2만 5,000장을 10만~100만 장처럼 활용한다는 발언은 효율화의 가치를 강조하는 가정이다. 실제 달성한 성능 배수로 제시된 것은 아니다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• GPU 8장→2장 사례의 원본·최적화 모델, 하드웨어 구성, 정확도·처리량·지연시간을 같은 조건에서 비교한 자료를 확인한다.
• 장비 구매비와 클라우드 대여비를 구분하고, 전력·운영비까지 포함했을 때도 비용 절감 주장이 성립하는지 계산한다.
• 토큰 사용량 14배 증가의 원보고서를 찾아 조사 시점과 비교 기준을 확인한다.
• 실제 에이전트 업무에서 작업별 토큰 소비, 완료 품질, 소요 시간과 비용을 기록해 효율화가 필요한 구간을 찾는다.

❓ 열린 질문

• 모델 경량화로 확보한 비용 여유보다 에이전트의 작업량이 더 빠르게 증가하면, 사용자의 총지출은 어떻게 달라질까?
• 특정 모델에서 확인한 GPU 절감 효과를 다른 모델·하드웨어·서비스 조건에서도 재현할 수 있을까?
• 한국의 제조업 데이터가 VLA 모델 학습에 바로 쓰일 수 있는 형태와 접근 조건을 갖추고 있을까?