The Open-Source AI Reality

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

The Open-Source AI Reality를 중심으로, 토큰 단가 하락만으로는 경제성을 판단할 수 없다. 모델마다 같은 업무에 필요한 토큰 수가 다르므로, 기업은 단가가 아니라 품질·속를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 토큰 단가 하락만으로는 경제성을 판단할 수 없다. 모델마다 같은 업무에 필요한 토큰 수가 다르므로, 기업은 단가가 아니라 품질·속도·토큰 수를 합친 과업당 총비용을 최적화해야 한다.
2. 오픈 가중치 모델의 핵심 가치는 무료에 가까운 모델 획득보다 통제권에 있다. 기업은 자체 데이터와 평가 지표로 모델을 조정하고, 워크로드별로 품질·속도·비용을 다르게 설계할 수 있다.
3. 범용 모델은 전력망과 같은 공통 인프라이지만 기업의 제품 철학, 고객 이해, 가드레일과 업무 지식까지 대신할 수 없다. 이런 차별화 요소가 축적된 특화 지능은 기업이 직접 소유해야 할 자산이 된다.
4. AI 시대에는 제품·시장 적합성과 사업 경제성이 분리된다. 수요가 커도 추론 비용이 더 빠르게 증가하면 사용량 확대가 손실 확대가 되는 ‘파산을 향한 확장’으로 이어질 수 있다.
5. 향후 비용 절감은 모델 튜닝, 추론 플랫폼 효율, 하드웨어 공급 확대가 함께 만들어야 한다. 비용이 10분의 1로 낮아지면 새로운 업무와 접근성이 열리며 사용량은 최대 100배 늘 수 있지만, 에너지·칩·부품·건설 인력의 공급 제약이 속도를 결정한다.

🧩 배경과 문제 정의

• 하나의 범용 AI가 모든 문제를 해결한다는 AGI 관점과, 기업별 데이터·가치관·업무에 맞춘 특화 지능이 확산할 것이라는 관점이 충돌한다.
• 기업 내부의 비공개 데이터는 범용 모델 학습에 활용되지 않으며, 이 데이터를 기업 고유의 지능으로 전환하는 능력이 새로운 경쟁력이 된다.
• AI 활용이 늘어날수록 높은 추론 비용과 제한된 모델 통제권이 확산을 가로막기 때문에, 오픈 모델의 맞춤화와 워크로드별 최적화가 중요해진다.

🕒 시간순 섹션별 상세정리

1. 지능의 독점과 추론 비용의 변화

• 한 회사가 지능을 독점하는 구조는 다양한 가치와 선택을 수용하지 못하며, 개방된 AI 생태계가 이를 견제해야 한다. [02:02]
• 향후 3년간 토큰 비용이 10분의 1로 감소하면 AI 사용량은 100배까지 증가할 수 있고, 데이터센터 확장은 가능하지만 애플리케이션 계층 진출은 배제한다. [02:07]

2. 48세 창업까지 축적한 기술과 조직 경험

• 분산 시스템과 데이터베이스 연구, LinkedIn의 제품 개발을 거치며 기술과 사업 아이디어를 갖췄지만, 회사를 만드는 데 필요한 사람 중심의 역량은 부족하다고 판단했다. [02:12]
• 조직과 사람을 배우기 위해 Facebook에 합류해 1~2년 뒤 창업하려던 계획과 달리 7년을 머물렀고, 그 경험이 뒤늦은 창업의 기반이 됐다. [03:11]

3. 비공개 데이터가 만드는 특화 지능

• 범용 모델은 주로 공개 인터넷과 라벨 데이터로 학습하지만, 실제 데이터의 대부분은 기업 애플리케이션 내부에 독점 자산으로 잠겨 있어 외부 학습에 쓰이지 않는다. [04:31]
• 활용되지 않는 사내 데이터를 활성화하면 기업별 특화 지능을 만들 수 있으며, 이 영역이 범용 지능 이후의 새로운 개척지가 된다. [05:09]

4. 단일 AGI와 인간 사회의 다양성

• 하나의 모델이 모든 문제를 가장 잘 해결한다는 AGI 전제는 별도 특화의 필요성을 부정하지만, 현실의 지역·정책·사업 방식과 가치 체계는 하나의 원칙으로 통일되지 않는다. [06:02]
• 한 회사가 취향과 기준을 결정하면 인간은 획일적인 로봇 집단에 가까워지고, 창의성과 새로운 삶의 방식을 추구하는 본성이 훼손된다. [07:14]

5. 기업의 존재 이유가 데이터와 제품에 축적되는 과정

• 모든 기업은 고유한 믿음과 방식이 있어야 존재할 이유가 생기며, ‘특화된 범용 기업’이란 성립하기 어렵다. [08:31]
• 기업의 차별성은 제품·소프트웨어·시스템 설계뿐 아니라 사용자 행동 데이터와 의도에 대한 이해에 축적되므로, 외부 기업이 그대로 학습하거나 공유하기 어렵다. [09:07]

6. 범용 모델은 전력망이고 애플리케이션은 가전제품이다

• 프런티어 모델 기업은 다양한 서비스가 사용할 수 있는 강력한 지능의 전력망을 구축하며, 이 기반 인프라가 있어야 수많은 특화 애플리케이션이 등장할 수 있다. [10:05]
• 공통 지능 인프라는 중요하지만 개별 제품의 취향과 기능까지 대체하지 못하므로, 전력망과 그 위의 특화 서비스는 별도 가치 영역으로 남는다. [10:38]

7. 오픈 모델이 제공하는 통제권

• Fireworks는 창업 초기 자체 모델과 오픈 모델 중 하나를 선택해야 했고, 사용자가 가중치를 소유하고 수정할 수 있다는 원칙을 근거로 당시 초기 단계였던 오픈 생태계에 베팅했다. [11:43]
• 오픈 모델과 폐쇄형 모델 모두 지난 2년간 실용성 임계점을 넘어섰고, 채용·후보자 발굴·피드백·재무·코딩 등 여러 내부 업무에 에이전트를 적용할 수 있게 됐다. [12:50]

8. 소량의 기업 데이터로 범용 모델을 추월하는 조건

• 오픈 모델은 소량의 고유 데이터만으로도 기업 평가 기준에 맞춰 조정할 수 있으며, 모델을 원하는 방향으로 유도하는 능력 자체가 지능의 일부가 된다. [13:48]
• 기업 데이터와 평가 지표를 따라 반복적으로 성능을 높이면 특정 문제에서는 범용 모델보다 우수해지고, 전체 성능보다 업무 적합성이 경쟁력을 결정한다. [14:05]

9. 제품·시장 적합성과 지속 가능한 사업의 분리

• SaaS 시대에는 제품·시장 적합성을 찾으면 범용화된 CPU와 인프라 위에서 빠르게 확장할 수 있었지만, AI 시대에는 고객 수요가 있어도 높은 추론 비용 때문에 지속 가능한 사업이 보장되지 않는다. [14:54]
• 사용량이 늘수록 손실이 커지는 ‘파산을 향한 확장’이 가능해졌고, 제품·시장 적합성과 장기적인 경제성은 서로 다른 문제가 됐다. [15:29]

10. 대규모 AI 배포가 직면하는 비용 장벽

• 기존 대형 서비스는 막대한 사용자 트래픽 때문에 AI 기능을 전체 고객에게 배포하는 순간 비용이 급증하며, CFO가 승인하기 어려운 비용 구조에 부딪힌다. [16:03]
• 프런티어 모델의 가격 인하만 기다리기보다 오픈 가중치 모델을 직접 통제하고 배포해야 비용을 관리하면서 AI 기능을 확장할 수 있다. [16:25]

11. 오픈 가중치와 워크로드별 추론 최적화

• 공개된 오픈 모델은 사용자의 모델 획득 비용이 사실상 없지만, 프런티어 연구소의 폐쇄형 모델은 막대한 연구개발비를 회수해야 하고 API 사용자는 모델을 직접 맞춤화할 수 없다. [17:18]
• 특화 모델은 특정 용도에 맞게 튜닝한 뒤 품질·속도·비용을 개별 워크로드에 최적화하며, 하나의 배포 설정을 모든 고객에게 적용하지 않는다. [18:15]

12. 모델의 출처보다 기업별 가드레일이 중요한 이유

• 오픈·폐쇄 여부나 개발 국가와 무관하게 모든 모델에는 기업 자체 가드레일이 필요하며, 모델 제공자의 판단과 취향이 사용 기업의 기준과 일치한다고 보장할 수 없다. [19:46]
• 기업마다 설계 원칙과 고객층이 다르기 때문에 외부 모델의 판단 체계는 필연적으로 어긋날 수 있고, 자체 데이터로 튜닝해 그 간극을 줄여야 한다. [20:34]

13. 오픈 생태계의 공급망 위험과 회복력

• 중국이 오픈 모델 접근을 제한하면 미국 기업은 단기적으로 큰 충격을 받지만, 개방형 생태계는 단일 공급자에 의존하지 않아 대체 참여자가 등장할 여지가 있다. [21:37]
• 미국의 인재 밀도와 자원을 활용하면 독자적인 오픈 생태계를 구축할 수 있으며, 다수의 개발 주체가 동시에 참여하는 구조가 공급망 회복력을 높인다. [22:03]

14. 코딩 자동화가 무너뜨린 소프트웨어 진입 장벽

• 과거에는 강한 엔지니어와 제품 인력이 여러 분기 또는 수년을 투입해야 아이디어를 상용 제품으로 만들 수 있었지만, 이제는 한 사람이 몇 주 만에 제품을 출시하고 확장할 수 있다. [23:05]
• 구현 비용과 시간이 급감하면서 애플리케이션 아이디어 자체는 방어력이 약해졌고, 비슷한 아이디어를 가진 경쟁자가 빠르게 제품을 재현할 수 있다. [23:57]

15. 법률 AI의 독점 지식과 모델 발전의 방향

• 법률 업무는 오류와 환각을 거의 허용하지 않고 기업 고객별 배포도 복잡하지만, 법률 AI 기업은 사례 연구·법률 조사·도구 선택 과정에서 독점 데이터와 업무 지식을 축적할 수 있다. [24:36]
• 여러 AI 도구를 선택하고 호출하는 맞춤형 실행 체계까지 기반 모델과 함께 학습해야 하므로, 워크플로 계층의 고유 지능을 직접 소유하는 것이 경쟁력이 된다. [26:00]

16. 업무별 모델 라우팅과 자체 진화 시스템

• 기업은 복잡한 판단을 고성능 폐쇄형 모델에 맡기고, 작은 하위 업무는 저렴한 오픈 모델로 분산해 비용과 전문성을 함께 최적화할 수 있다. [31:01]
• 자동 라우팅과 자동 튜닝을 결합하면 실제 제품 사용 흐름을 학습해 모델 선택과 기능을 계속 개선하는 자체 진화형 시스템으로 발전할 수 있다. [31:49]

17. 기술 도입 단계에 따라 달라지는 제어 수준

• 초기 도입자는 전문성이 높은 해커형 사용자라서 세부 요소를 직접 통제하려 하지만, 대중화 단계에서는 전문성이 낮은 사용자도 접근할 수 있도록 제어 부담이 줄어든다. [33:15]
• Cursor와의 긴밀한 협업은 미래의 간편한 시스템을 만들기 전에 선도 사용자가 요구하는 세밀한 제어와 아직 존재하지 않는 기술적 조건을 파악하기 위한 과정이다. [34:02]

18. 자본 효율적인 강화학습 훈련 구조

• Cursor와 함께한 후속 훈련은 모델 가중치를 갱신하는 트레이너와 새 모델을 코딩 환경에서 실행해 보상을 수집하는 롤아웃으로 나뉜다. [35:25]
• 두 작업을 분리하면 대규모 전용 클러스터 없이도 훈련 자원을 탄력적으로 구성할 수 있어, 연구 속도를 유지하면서 자본 지출을 줄일 수 있다. [36:09]

19. 여러 지역의 분산 GPU를 연결하는 방법

• 기존 초대형 사업자는 수만 개의 칩을 고속 네트워크로 묶지만, 분산형 구조는 세계 5~6개 데이터센터의 흩어진 GPU를 활용해 대규모 작업을 처리한다. [36:16]
• 지역 간 모델 가중치 전달이 늦으면 오래된 모델에서 나온 보상으로 학습하게 되므로, 수치적 안정성을 유지할 만큼 신선한 가중치를 빠르게 동기화하는 기술이 핵심이다. [36:47]

20. 소수 대형 고객 의존에서 다변화로

• AI 애플리케이션 시장에서는 성공 기업이 소수에 집중되면서 모델·인프라 기업도 Cursor 같은 선도 고객에 매출이 몰렸지만, 이후 고객 기반은 점차 분산됐다. [37:52]
• 코딩 중심이었던 전년과 달리 공동 작업형 AI는 범용 리서치부터 법률·금융·고객지원·채용·영업·마케팅·의료까지 확장돼 고객군 자체가 더 다양하다. [38:36]

21. 소비자 서비스와 추천 시스템의 변화

• 소비자 대상 기업들도 생성형 AI를 도입하면서 기존 추천 중심 사업을 재설계하기 시작했고, 이는 거대한 추천 시스템이 새로운 서비스 경제로 전환될 가능성을 만든다. [39:40]
• 불확실성이 큰 시장에서는 여러 추론 사업자를 함께 사용하는 전략이 안전하지만, 단순 공급자보다 고객별 모델 튜닝과 전문 지능을 제공하는 역량이 차별점이 된다. [40:16]

22. 맞춤형 모델이 이끄는 토큰 사용 폭증

• 하루 처리량은 40조 토큰을 넘으며, 대다수는 범용 기성 모델이 아니라 개별 업무에 맞게 조정된 모델에서 발생한다. [40:58]
• 토큰 처리량은 다음 해 말까지 20~100배 늘어날 가능성이 있으며, 현재 시장은 사용량이 급증하는 S자 성장곡선의 초기 구간에 있다. [41:18]

23. 컴퓨팅 수요와 물리적 공급망 병목

• 토큰 수요가 최대 100배 증가한다면 컴퓨팅 자본 지출은 과잉보다 부족에 가깝지만, 실제 공급 확대는 에너지와 칩 같은 하위 계층에 제약받는다. [41:36]
• 서버 생산은 트랜지스터 같은 작은 부품 하나에도 막힐 수 있으며, 기존 제조업은 100배 확장을 전제로 설계되지 않아 데이터센터용 장비 공급 속도를 제한한다. [42:21]

24. 전면 수직 통합보다 집중과 민첩성

• 모든 AI 계층을 직접 소유하기보다 가장 큰 가치를 더할 수 있는 영역에 집중하고, 다양한 제조사의 AI 칩과 외부 데이터센터를 활용하는 전략이 민첩성을 높인다. [43:22]
• 사업 규모가 충분히 커져 자체 구축으로 비용을 5배 절감할 수 있다면 수직 통합이 합리적이지만, 초기에는 제품과 연구에 집중하고 플랫폼은 전문 파트너에게 맡기는 편이 유리하다. [44:00]

25. Cursor의 성장과 전문화 전략

• Cursor는 연 매출이 수백만 달러 수준이던 시기부터 인프라를 직접 만들지 않고 제품 혁신에 집중했으며, 약 2년 동안 규모가 수백~수천 배 성장했다. [44:27]
• 플랫폼 연구개발을 전문 기업에 맡긴 선택은 각 회사가 강점에 집중해 더 빠르게 성장하는 기반이 됐고, 전체 기술 스택을 소유할 필요가 없다는 판단으로 계속된다. [44:48]

26. 엔비디아의 개방형 모델과 공급망 방어

• 엔비디아가 자체 클라우드를 만들지 않는 이유도 강점이 있는 계층에 집중하기 위해서이며, 모든 인프라 사업을 직접 잠식하는 전략과는 거리가 있다. [45:32]
• 미국산 개방형 모델이 없다면 AI 공급망에 공백이 생기므로 모델 개발에 관여할 수 있지만, 전문 지능 플랫폼이 해당 계층을 안정적으로 공급하면 직접 진입할 필요는 줄어든다. [45:56]

27. 경쟁이 만드는 토큰 비용 하락

• 현재 토큰 가격이 충분히 내려가지 않은 원인은 공급망 제약이며, 높은 가격은 신규 공급자와 경쟁을 불러들여 장기적으로 인프라 비용을 낮춘다. [47:19]
• 저렴해진 AI가 일상적인 공공재처럼 사용되기 시작하면 비용을 매번 의식하지 않아도 돼, 단가 하락보다 더 빠른 사용량 증가가 발생할 수 있다. [47:58]

28. 10배 비용 절감과 100배 사용 증가

• GPU·메모리 공급 제약은 향후 1년에서 1년 반 동안 지속될 수 있지만, 2~3년 범위에서는 공급 개선과 세 단계의 최적화가 비용을 압축할 가능성이 크다. [50:05]
• 3년 안에 전체 비용이 10분의 1로 낮아지면 접근성 확대와 신규 업무 창출이 맞물려 AI 사용량은 최대 100배 증가할 수 있다. [50:29]

29. 맞춤형 모델의 품질과 가격 차별화

• 범용 추론 가격만 비교하면 경쟁사가 저렴해 보일 수 있지만, 맞춤형 트래픽은 특정 애플리케이션의 성능과 결과 품질을 우선하므로 동일 상품 간 가격 비교가 아니다. [51:12]
• 훈련과 추론 사이에서 수치가 비트 단위로 일치하는 ‘제로 KLD’를 달성하면 모델 이전 과정의 정확도 손실을 막아 고객의 훈련 투자 효과를 보존할 수 있다. [51:50]

30. 배포 자동화와 성장기 수익률

• 응용 머신러닝 엔지니어링 조직은 고객별 모델 배포를 가속하고, 에이전트로 반복 배포 작업을 자동화해 맞춤형 서비스의 운영 부담을 낮춘다. [53:25]
• 현재의 낮은 수익률은 영구적인 산업 표준보다 초고속 성장기의 선택에 가깝고, 높은 마진을 먼저 고정하면 시스템 실험과 제품 혁신의 속도가 떨어진다. [54:07]

31. 확장 이후에 시작되는 최적화

• 빠르게 변하는 시스템을 초기에 과도하게 최적화하면 살아남지 않을 설계에 자원을 낭비하며, 확실한 구조를 천 배 규모로 키울 시점에 집중 최적화하는 편이 효과적이다. [54:44]
• 지역·사용 사례·제품군을 동시에 확장하는 단계에서는 마진 개선보다 성장 속도가 우선이며, 애플리케이션 계층에는 진입하지 않되 데이터센터 구축은 적절한 시점에 검토할 수 있다. [55:20]

32. GPU 데이터센터의 동질성과 이기종 설계

• 동일한 칩과 규격으로 대규모 설비를 구성하면 여러 작업을 쉽게 전환하고 장애 노드도 공통 절차로 관리할 수 있어 운영 효율이 높다. [56:46]
• 규모가 커지면 작은 효율 개선도 큰 경제적 수익을 만들기 때문에, 자체 데이터센터와 특수 가속기를 결합하는 설계가 새로운 최적화 영역이 된다. [57:12]

33. 연산 단계별 가속기 조합

• 연산량 중심 GPU는 프롬프트를 처리하는 프리필 단계에 유리하고, SRAM 중심 ASIC은 토큰 생성 단계에 유리해 두 장치를 결합하면 모델 처리 효율을 높일 수 있다. [57:46]
• 서로 다른 가속기를 한 시스템에 배치하면 단일 칩 기반 운영보다 복잡해지므로, 데이터센터 배치와 장애 대응까지 포함한 고유한 시스템 설계가 필요하다. [58:14]

34. 데이터센터 전문성과 중국의 건설 속도

• 데이터센터 경쟁력은 전력·광섬유·액체 냉각·부품 교체를 아우르는 깊은 운영 전문성에서 나오며, 구축 품질에 따라 같은 장비에서도 성능과 안정성이 달라진다. [58:47]
• 미국은 정책과 지역 법규가 데이터센터 건설 속도를 제한하는 반면, 중국은 물리적 인프라를 훨씬 빠르게 건설할 수 있어 대규모 AI 설비 확장에서 잠재적 우위를 가진다. [1:00:01]

35. 물리 인프라의 인력 부족과 빠른 경제적 노후화

• 높은 인구 밀도와 건설 전문 인력이 인프라 구축 속도를 높일 수 있지만, 미국에서는 전기 기술자까지 심각하게 부족해 데이터센터 공급망 확대를 제약한다. [1:00:30]
• 하드웨어의 회계상 수명은 6년이어도 단일 공급업체가 1년에 세 가지 신제품을 내놓고 최신 모델이 최신 장비를 선호하면서, 구형 장비의 경제적 가치는 훨씬 빠르게 떨어진다. [1:01:24]

36. 성장과 마진 사이의 동적 최적화

• 제품·시장 적합성이 있다는 전제에서 성장은 사업 계획의 문제이고, 매출총이익률은 제품 차별화의 문제이므로 두 목표를 동시에 지속적으로 관리해야 한다. [1:03:38]
• 마진을 높이려고 성장을 멈추면 수치 자체는 개선할 수 있어도 시장 기회를 잃는 재앙적 결과가 되므로, 빠른 성장을 감당할 수 있는 건강한 마진이 필요하다. [1:04:12]

37. AI 도입의 확장과 지능 소유 전환

• 기업들은 범용 AI를 단순 임대하는 단계에서 벗어나 특화된 지능을 구축하고, 외부 지능을 빌리는 것보다 자체 지능을 소유하는 방안을 진지하게 검토하기 시작했다. [1:05:50]
• AI가 프로덕션과 의미 있는 트래픽을 거쳐 확장 단계에 들어가면 비용과 성능 최적화가 필수가 되며, 이를 위해 모델과 데이터에 대한 통제권이 필요하다. [1:06:24]

38. 전용 칩 투자의 경제적 조건

• 메타는 2018년 무렵부터 MTIA를 포함한 자체 칩에 장기간 투자했고, 추천·랭킹처럼 규모가 큰 AI 워크로드가 일정 임계점을 넘자 기반 공급망을 직접 구축할 경제성이 생겼다. [1:09:20]
• 전용 칩은 특정 워크로드의 논리를 하드웨어에 새겨 높은 효율을 얻지만, 테이프아웃 이후 설계를 바꾸는 비용이 크기 때문에 수요 패턴의 안정성이 선행돼야 한다. [1:09:53]

39. 워크로드 성숙도와 AI 가속기의 성패

• 지속 가능한 애플리케이션 패턴이 확인되면 그 연산을 하드웨어에 반영하고 데이터센터에 배치할 수 있지만, 현재 AI 워크로드의 성숙도는 장기간 사용할 전용 칩을 보장하기에 이르다. [1:10:48]
• 기존 가속기 기업들은 생성형 AI 이전의 특정 연산을 목표로 출발했기 때문에, 새롭게 등장한 AI 워크로드와 우연히 잘 맞는지가 사업 성패를 좌우한다. [1:11:30]

40. 초대형 모델을 위한 통합 시스템 병목

• 하위 인프라 비용과 과업당 필요 토큰이 줄어들면 최고 성능 모델을 훨씬 광범위하게 실행할 수 있지만, 초대형 모델을 효율적으로 운영할 시스템은 아직 부족하다. [1:12:40]
• 10조 매개변수 규모의 모델에는 모델 설계부터 맞춤화·서빙 플랫폼과 칩 집합까지 공동 최적화한 통합 시스템이 필요하다. [1:13:18]

41. AI 수요가 만든 전례 없는 매출 성장

• 연환산 매출 8억 달러 수준에서 연말까지 최소 두 배 성장을 예상할 만큼 수요가 빠르게 증가하고 있다. [1:13:45]
• 과거에는 슬랙이 18개월 만에 매출 100만 달러에서 1,000만 달러로 성장한 사례가 이례적이었지만, AI 기업들은 수년 만에 수억 또는 수십억 달러 규모에 도달한다. [1:14:01]

42. 성장 단계에 맞춘 경영진 영입과 AI형 영업 조직

• 조직이 50명일 때는 사업 확장보다 제품 확장이 우선이어서 대형 운영 책임자를 영입하기 이르렀지만, 200명 규모와 빠른 성장세에 도달하면서 본격적인 협업 시점이 열렸다. [1:15:29]
• 초기에는 임원 면접과 팀 구축을 지원받으며 관계를 축적했고, 성장 속도가 가팔라진 뒤 그 신뢰가 정식 영입으로 이어졌다. [1:16:18]

43. 빠른 조직 확장과 극단적 오너십

• 조직이 너무 일찍 커지면 민첩성과 실행 속도가 떨어질 수 있다는 우려가 있었지만, 도구 활용과 채용 방식이 발전하면서 빠른 인원 확대에 대한 판단이 바뀌었다. [1:18:46]
• 높은 실행 속도, 강한 책임감, 적극적인 의사소통, 장애물을 끝까지 돌파하는 성향을 선별하면서 규모와 속도를 함께 키울 수 있다는 자신감이 생겼다. [1:19:25]

44. 현장 맥락을 장악하는 고속 리더십

• 젠슨 황은 이메일에 1분 만에 답할 정도로 세부 상황에 깊이 관여하며, 이런 즉각적인 맥락 확보가 조직 전체의 의사결정 속도를 높인다. [1:21:22]
• 리더십의 본질은 특권이 아니라 판단이며, 팀을 위한 올바른 결정을 내리려면 무엇이 작동하고 어디에 공백이 있는지 직접 파악해야 한다. [1:21:55]

45. 늦어진 마케팅과 ROI 중심 운영

• 제품이 스스로 가치를 증명할 것이라는 믿음 때문에 초기 자원을 제품 개발, 고객 협업, 제품·시장 적합성 검증에 집중했고 마케팅 투자는 뒤로 밀렸다. [1:23:36]
• 마케팅은 과장된 홍보보다 고객이 기술 흐름과 제품 가치를 올바르게 이해하도록 돕는 교육과 명료성의 기능을 맡아야 한다. [1:24:12]

46. 전통 기업 시장 확대와 속도를 유지하는 스케일링

• 전통적 엔터프라이즈 시장에 적극적으로 투자하지 않았는데도 가이코, 캐피털 원, 머큐리 인슈어런스, RBI 같은 기업이 고객으로 유입돼 대규모 잠재 시장을 확인했다. [1:25:52]
• 올해의 핵심 목표는 조직과 사업을 빠르게 키우면서도 기존 실행 속도를 유지할 수 있음을 입증하는 것이다. [1:26:39]

47. 모든 기업이 자체 지능을 보유하는 미래

• 앞으로 3년 안에 자체 지능은 선택 기능이 아니라 모든 기업의 필수 자산이 되며, 외부 범용 모델만으로는 기업별 고유 문제를 충분히 해결하기 어렵다. [1:27:12]
• 기업들이 완제품 소프트웨어만 사용하지 않고 자체 소프트웨어 스택을 구축해 통제권을 확보했듯이, AI에서도 공통 계층은 구매하고 차별화 계층은 직접 소유하게 된다. [1:27:29]

🧾 결론

• AI 시장은 소수의 범용 AGI만 남는 구조보다 공통 기반 모델 위에 수백만 개의 특화 모델이 존재하는 구조로 분화할 가능성이 크다.
• 기업의 장기적 방어력은 쉽게 복제되는 애플리케이션 아이디어보다 비공개 데이터, 평가 체계, 가드레일, 도구 선택과 실행 워크플로에 축적된다.
• 오픈 모델은 모든 업무를 단독 처리하는 해답이 아니라 폐쇄형 고성능 모델과 함께 라우팅되며 비용·성능·통제권을 조정하는 선택지가 된다.
• 규모가 커진 뒤에는 작은 효율 개선도 큰 경제적 가치가 되지만, 워크로드가 안정되기 전에 데이터센터나 전용 칩을 과도하게 내재화하면 빠른 기술 변화와 경제적 노후화 위험을 떠안게 된다.

📈 투자·시사 포인트

• 토큰 사용량이 단가보다 빠르게 증가한다면 GPU, 메모리, 전력, 냉각, 광섬유와 데이터센터 장비 수요는 구조적으로 확대될 수 있다. 다만 공급망 병목이 실제 매출 인식과 설비 확장 속도를 제한할 수 있다.
• 모델 자체뿐 아니라 기업별 튜닝, 자동 라우팅, 평가, 추론 최적화와 배포 자동화를 제공하는 플랫폼이 특화 지능 확산의 핵심 가치 계층이 될 수 있다.
• AI 애플리케이션은 매출 성장만으로 평가하기보다 과업당 비용, 고객별 수익성, 품질 우위와 사용량 증가에 따른 매출총이익률 변화를 함께 점검해야 한다.
• 전용 칩과 수직 통합의 경제성은 규모보다 안정적인 워크로드 패턴이 먼저 검증됐는지에 달려 있다. 초기 시장에서는 다양한 칩과 외부 데이터센터를 활용하는 민첩성이 더 유리할 수 있다.
• 국가와 기업 모두 단일 모델 공급자에 핵심 지능을 의존하는 위험을 인식할수록 오픈 생태계, 다중 공급자 전략과 자체 지능 인프라의 전략적 가치가 커질 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 3년 안의 10배 비용 절감과 최대 100배 사용량 증가는 공급 개선과 최적화가 동시에 진행된다는 전망이며, 확정된 실적이나 보장된 성장률이 아니다.
• 하루 40조 토큰과 다음 해 말 20~100배 증가 전망은 처리량의 집계 범위, 중복 여부, 고객 구성과 측정 기준이 제시되지 않아 비교 가능한 외부 지표인지 확인이 필요하다.
• 워크로드 최적화로 5~10배 비용을 절감할 수 있다는 수치는 적용 모델, 품질 기준, 지연 시간과 하드웨어 조건에 따라 크게 달라질 수 있다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 모델 API 단가 대신 품질 기준을 충족한 과업당 총토큰, 지연 시간, 오류율과 총비용을 함께 측정한다.
• 업무를 복잡한 판단과 반복적인 하위 작업으로 분해하고, 폐쇄형 고성능 모델과 저렴한 오픈 모델을 배치하는 라우팅 실험을 진행한다.
• 비공개 기업 데이터, 평가 지표, 가드레일과 사용자 피드백을 재사용 가능한 특화 지능 자산으로 정리한다.
• 사용량이 10배와 100배로 증가하는 시나리오별 매출총이익률, 인프라 비용과 공급자 의존도를 스트레스 테스트한다.

❓ 열린 질문

• 토큰 비용이 10분의 1로 낮아질 때 실제 수요 증가는 기존 업무의 사용 확대와 새롭게 생성되는 업무 중 어디에서 더 크게 발생할까?
• 기업이 반드시 소유해야 할 핵심 지능과 외부 플랫폼에서 구매해도 되는 공통 지능의 경계는 어떤 기준으로 정해야 할까?
• 오픈 모델의 통제권이 보안, 운영 복잡성, 인재 확보와 지속적인 튜닝 비용을 상쇄할 만큼 충분한 경제적 우위를 만들 수 있을까?