YouTube20VC with Harry Stebbings·2026년 11월 14일·0

The AI Compute Crisis: Why We Need Thousands of Times More Computing Power

Quick Summary

The AI Compute Crisis: Why We Need Thousands of Times More Computing Power를 중심으로, 장시간 추론과 에이전트가 연산 수요를 확대한다. 어려운 문제를 해결하려면 여러 에이전트가 병렬로 탐색하고 긴 시간 동안 토를 핵심 판단 포인트로 압축 정리한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

The AI Compute Crisis: Why We Need Thousands of Times More Computing Power 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

The AI Compute Crisis: Why We Need Thousands of Times More Computing Power의 핵심 내용을 4단계로 요약한 인포그래픽
The AI Compute Crisis: Why We Need Thousands of Times More Computing Power 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

The AI Compute Crisis: Why We Need Thousands of Times More Computing Power를 중심으로, 장시간 추론과 에이전트가 연산 수요를 확대한다. 어려운 문제를 해결하려면 여러 에이전트가 병렬로 탐색하고 긴 시간 동안 토를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

  1. 장시간 추론과 에이전트가 연산 수요를 확대한다. 어려운 문제를 해결하려면 여러 에이전트가 병렬로 탐색하고 긴 시간 동안 토큰을 생성해야 할 수 있다. 출연자는 필요한 연산량이 현재의 수천 배에 이를 가능성을 제시하며, 모델 효율과 하드웨어를 함께 개선해야 한다고 본다.
  2. LLM 생성 속도는 메모리에서 데이터를 읽는 속도에 묶인다. 토큰을 순차 생성할 때마다 가중치와 문맥 관련 상태를 읽어야 하므로, 연산 성능만 높여서는 충분하지 않다. 장기 실행 에이전트에는 높은 대역폭과 큰 문맥 용량이 동시에 필요하다.
  3. Fractile은 3D 메모리 적층으로 대역폭과 용량의 상충 관계를 줄이려 한다. 메모리를 로직 위에 쌓아 연결 면적을 넓히고, SRAM 수준의 대역폭과 DRAM의 용량·확장성을 결합하는 구상이다. 기반 연산 다이의 공간도 확보해 하나의 플랫폼에서 다양한 추론 요구를 처리하려 한다.
  4. 칩 설계의 차별화는 제조와 시스템 가동으로 검증해야 한다. Fractile은 실리콘을 확보했다고 설명하지만, 완제품 테이프아웃과 랙 전체의 실제 작업 실행, 수율·신뢰성 확보, 양산 확대는 각각 남아 있는 단계다. 제조사와의 직접 협력 및 공급망 확보도 사업 경쟁력의 일부다.
  5. AI 인프라 경쟁은 전력·부지 제약 안에서의 경제성으로 이어진다. 빠른 토큰 생성과 높은 총처리량을 함께 유지해야 제한된 데이터센터 전력에서 서비스를 확대할 수 있다. 자체 칩과 수직 통합, 특화 추론 서비스는 공급자의 높은 마진과 서비스 범용화 압력에 대응하는 선택지다.

🧩 배경과 문제 정의

  • 프런티어 AI의 추론 수요가 커지면서 칩의 연산량뿐 아니라 메모리 대역폭, 용량, 응답 속도가 핵심 경쟁 조건이 되고 있다.
  • 모델 개발사와 클라우드 사업자는 칩 공급자의 높은 마진과 자사 서비스의 범용화 압력에 대응하기 위해 수직 통합과 자체 하드웨어를 모색하고 있다.
  • Fractile은 칩과 랙 규모 시스템을 판매하면서, 모델과 작업 부하의 변화를 예측해 빠른 추론에 적합한 하드웨어를 설계하려 한다. 기술적 성능과 함께 실제 제품화 및 생산 규모 확보가 과제로 남는다.

🕒 시간순 섹션별 상세정리

1. Fractile의 사업은 칩 판매지만 설계 역량은 모델부터 시스템까지 포괄한다

  • Fractile은 프런티어 AI 성능 향상에 초점을 맞춘 칩과 랙 규모 시스템을 만든다. 팀에는 머신러닝 연구자부터 반도체 공정, 열 관리, 기계 설계 전문가까지 포함된다. [01:12]
  • 수익은 칩과 컴퓨팅 랙 판매에서 얻되, 모델 아키텍처의 변화를 연구하고 소규모 실험도 수행한다. 내부에 필요한 전문성의 범위와 실제 사업 모델은 구분하며, 자체 모델을 수익화해 고객과 경쟁할 계획은 없다. [02:40]

2. 수직 통합은 기존 칩 공급자의 높은 마진에 대응하는 수단이다

  • 프런티어 모델을 서비스하는 기업은 기존 칩 업체의 높은 마진 때문에 자사 이익이 압박받을 수 있다. 자체 칩이나 대체 공급자의 칩은 이런 압력에 대응하는 선택지가 된다. [04:23]
  • 프런티어 연구소와 하이퍼스케일러에는 공급망의 여러 계층에 대응할 수단이 중요해지고 있다. 다만 일부 계층의 범용화와 최첨단 영역의 경쟁력은 구분해야 한다. [04:49]

3. 일부 작업의 지능 포화가 프런티어 모델의 범용화를 뜻하지는 않는다

  • 일부 작업에서는 모델이 충분히 똑똑해져 추가 지능의 필요성이 줄어들고, 공개 모델만으로도 요구를 충족한다. 이런 영역에서는 모델의 범용화가 진행될 수 있다. [05:25]
  • 성능이 충분한 작업에서도 지능을 더 저렴하게 제공하려는 경쟁은 계속된다. 프런티어 모델은 여전히 큰 성능 격차와 높은 마진을 유지하고 있으며, 최첨단 연구의 성과는 더 작고 효율적인 모델 개발에도 이어진다는 판단이다. [06:06]

4. DeepSeek의 추론 소프트웨어는 공개 모델 서비스에도 차별화 여지가 있음을 보여준다

  • DeepSeek가 공개한 추론 소프트웨어 스택은 같은 모델을 GPU에서 서비스하던 다른 구현보다 높은 처리량과 빠른 응답 성능을 보였다는 평가다. [07:07]
  • 모델과 추론 서버를 함께 최적화하면 공개 모델을 서비스하는 사업에서도 효율성과 마진을 확보할 수 있다. 따라서 공개 모델 시장 전체가 이미 가격만으로 경쟁하는 단계에 도달했다고 보기는 어렵다. [07:33]

5. 네오클라우드는 컴퓨팅 공급의 범용화에 맞서 추론과 하드웨어로 확장한다

  • 역량이 검증된 네오클라우드끼리는 제공하는 컴퓨팅 자원의 차이가 작아질 수 있다. 현재는 어느 업체가 실제 운영 역량을 갖췄는지 불분명해 큰 승자와 패자가 나올 여지가 남아 있다. [08:05]
  • 네오클라우드는 추론 서버를 구축하고, 추론 소프트웨어에 강점이 있는 기업도 컴퓨팅 자원에 대한 통제력을 높이려 한다. 차별화된 칩은 이들의 경쟁력을 강화할 수 있는 요소로 드러난다. [08:47]

6. 새 칩 플랫폼은 큰 효율 향상 가능성과 도입 위험을 함께 가진다

  • 기존 GPU·TPU와 다른 칩 플랫폼의 보급은 아직 초기이며, 인프라 투자에 필요한 자금 조달 구조까지 고려하면 새 플랫폼을 선택하는 데 더 큰 위험 부담이 따른다. [09:16]
  • Fractile을 비롯한 신규 플랫폼은 특정 작업에서 비용이나 속도 측면의 10배 이상 우위를 기대한다. 다만 새로운 칩이 대규모로 보급된 상태는 아니므로, 이는 경제성을 크게 바꿀 잠재력에 대한 주장이다. [09:54]

7. 프런티어 추론의 시장 확대가 특화 칩의 사업성을 바꾼다

  • 엔비디아의 강점은 고품질의 범용 프로세서와 시스템을 대량 공급하는 능력이다. Fractile은 향후 작업 부하를 예측하고 특정 방향으로 제품과 조직을 집중하는 접근을 택한다. [11:29]
  • Fractile은 GPU보다 훨씬 빠른 추론을 목표로 대규모 메모리 대역폭 확보에 집중하며, 그 과정에서 일부 범용성을 포기할 수 있다. [12:44]

8. 메모리 대역폭의 느린 개선이 LLM 생성 속도를 제한한다

  • 칩의 주요 성능 요소에는 초당 부동소수점 연산량과 메모리 용량·대역폭이 있다. 지난 25년간 연산량은 약 100만 배 증가했지만 대역폭은 약 40배 늘어, 개선 폭에 약 2만 5,000배의 차이가 생겼다는 설명이다. [14:30]
  • LLM은 토큰을 순차적으로 생성하며, 각 생성 단계에서 모델 가중치와 문맥 관련 상태를 메모리에서 읽어야 한다. 이 데이터 이동이 생성 속도의 핵심 병목이 된다. [15:49]

9. SRAM과 DRAM은 대역폭과 용량·비용 사이의 상충 관계를 가진다

  • SRAM은 연산을 수행하는 실리콘에 함께 배치할 수 있어 데이터 이동 거리가 짧다. 반면 외부 DRAM은 별도의 저장 공간에서 데이터를 반복해서 가져오는 구조에 가깝다. [17:18]
  • DRAM은 저장 밀도에 특화된 단순한 셀 구조를 사용하지만, 프로세서와 같은 공정으로 만드는 SRAM은 밀도에 최적화돼 있지 않다. 따라서 SRAM은 같은 면적과 비용으로 확보할 수 있는 용량에서 불리하다. [17:55]

10. 메모리를 로직 위에 쌓아 칩 가장자리의 연결 한계를 넘으려 한다

  • 기존의 옆으로 배치된 메모리는 칩 가장자리의 제한된 공간을 통해 연결된다. Fractile은 메모리층을 로직 다이 위에 쌓아 연결에 사용할 수 있는 면적을 넓히려 한다. [19:28]
  • HBM도 DRAM 칩을 적층한 구조지만, 기존 HBM을 그대로 로직 다이 위에 올릴 수 있는 것은 아니다. 이를 위해 별도의 공정 기술과 3D 적층 역량이 필요하다. [20:11]

11. 차별화 목표는 SRAM급 대역폭과 DRAM급 용량을 결합하는 것이다

  • Fractile은 SRAM의 대역폭과 DRAM의 용량·확장성을 결합하고, 여러 제품 세대에 걸쳐 기술적 우위를 축적하려 한다. 다만 특정 메모리 기술에 회사를 고정하기보다 작업 부하가 바뀌면 해결 방식도 바꾼다는 방향이다. [21:40]
  • HBM 기반 칩은 내부 아키텍처로 효율을 높일 수 있지만, 같은 공급자의 메모리 모듈을 사용하므로 대역폭 등 공통된 제약을 받는다. [22:47]

12. 장시간 추론과 에이전트에는 빠른 토큰 생성과 큰 문맥 용량이 동시에 필요하다

  • 추론 시 연산량을 늘리는 방식과 장시간 실행하는 에이전트는 더 오래 계산해 더 나은 답을 얻으려 한다. 이런 변화가 빠른 LLM 추론 하드웨어의 필요성을 높인다. [23:54]
  • 밀레니엄 난제 같은 문제에 프런티어 LLM을 적용하는 예에서는 수백만 토큰을 순차 생성하고 여러 실행을 병렬화할 수 있다. 병렬 실행이 있어도 긴 순차 생성 때문에 응답까지 여러 날이 걸릴 수 있다. [24:35]

13. 기존 3D 기술도 칩 재설계와 제조 협력이 있어야 성능 전환으로 이어진다

  • 활용하려는 3D 통합 기술 중 일부는 오래전부터 존재했지만, 해당 메모리 적층 문제에 적용되지 않았던 기술이다. 새로운 용도에 맞게 기존 기술을 결합할 여지가 있다. [25:53]
  • 이를 활용하려면 칩 아키텍처를 재설계하고 제조·운영 작업을 수행하며 협력사도 설득해야 한다. 이런 조건이 갖춰지면 급격한 기술적 전환이 가능할 수 있다는 전망이다. [26:22]

14. 실제 실리콘 확보와 대규모 양산은 서로 다른 단계다

  • Fractile은 파운드리에서 제작한 실리콘을 확보했고 추가 시험 생산을 진행하고 있다. 완제품 테이프아웃은 몇 달 뒤로 예정돼 있어, 이 설명만으로 대규모 양산에 도달했다고 볼 수는 없다. [27:10]
  • 신규 칩 기업은 TSMC 생산능력과 HBM 공급을 확보해야 한다. 여러 기업이 유사한 공정과 메모리 기술을 사용하면서 제한된 자원을 놓고 경쟁하므로, 짧은 기간에 의미 있는 생산 규모를 확보하기 어렵다. [27:26]

15. 물리 설계 내재화는 제조사와 직접 협력하고 다른 설계 요소를 만드는 기반이다

  • Fractile은 물리 설계와 제조사 협업을 담당하는 역량을 내부에 보유하고 있다. 이를 통해 창업 초기부터 제조 파트너와 직접 관계를 구축해 왔으며, 이 구조를 전략적 강점으로 본다. [28:27]
  • 중간 파트너를 거치지 않는 구조는 기존과 다른 칩 구성 요소를 설계할 수 있게 한다. 단순한 공급 관계를 넘어 하드웨어의 기본 구조를 바꿀 여지가 생긴다는 주장이다. [29:22]

16. 공통 플랫폼의 제약을 벗어나는 메모리 구조와 공급망

  • 각 회사의 칩에는 독자적인 설계 최적화가 들어가지만, 같은 HBM 적층과 칩 구성을 사용하면 핵심 구성요소 상당수가 후공정 파트너의 플랫폼에 의해 결정된다. 설계 차별화에도 구조적인 한계가 생긴다 [30:19]
  • 맞춤형 메모리 적층은 여러 대형 공급망 파트너를 움직여야 하는 복잡한 작업이지만, 이를 구현하면 다른 회사가 갖지 못한 자산을 확보할 수 있다 [30:41]

17. 테이프아웃 이후에도 남는 실제 시스템 가동의 과제

  • 테이프아웃은 배선·트랜지스터·논리 회로의 위치를 담은 최종 GDS2 파일을 파운드리에 넘기는 단계다. 파운드리는 이 파일로 마스크를 만들고 시험 생산이나 초기 생산을 시작한다 [31:52]
  • 설계·검증·물리 설계·레이아웃을 마친 뒤 파일을 넘기면 마스크 제작이 진행되므로, 그 시점에 발견한 버그를 곧바로 반영하기는 어렵다 [32:32]

18. 양산 수율과 신뢰성이 제품의 경제성을 결정한다

  • 목표는 수리 기능과 중복 설계를 갖춘 칩으로 높은 수율을 확보하고, 이를 신뢰성 있는 시스템에 통합해 빠르게 양산을 확대하는 것이다. 첫 칩을 공장에 넘기는 일정에만 집중하면 이후 준비가 부족해질 수 있다 [34:01]
  • 테이프아웃은 명확한 날짜여서 창업자와 투자자의 관심이 집중되기 쉽지만, 소프트웨어·시스템·실리콘 개발의 상당 부분은 실제 가동과 안정성, 생산량 확대를 가능하게 하는 데 쓰인다 [34:56]

19. GPU 부족에서 공급망·부지·전력 부족으로 넓어진 병목

  • 약 3년 전에는 엔비디아 GPU 부족이 핵심 문제였지만, 이후에는 실리콘과 공급망 전반의 부족으로 제약이 넓어졌다. HBM 부족은 수년 뒤까지 이어지고, TSMC의 로직 생산능력에도 제약이 있다는 진단이다 [36:20]
  • 산업시설을 데이터센터로 전환하거나 가스터빈을 가까이 설치해 약 90일 만에 가동하는 식의 빠른 확장 기회는 상당 부분 소진됐다. 추가 부지와 전력을 확보하는 작업은 더 어려워지고 있다 [36:44]

20. 전력 한도가 높이는 고속 추론용 칩의 가치

  • HBM 기반 칩은 토큰을 느리게 생성할 때 효율적이지만, 속도를 높이면 전력당 처리량이 크게 떨어지는 상충관계가 있다. 모델의 고속 모드는 제한된 전력을 비효율적으로 사용할 수 있다 [37:55]
  • 수조 개 매개변수 모델을 초당 수천 토큰으로 실행하더라도, 500메가와트 데이터센터의 총처리량이 부족하면 전체 사용자에게 서비스를 제공할 수 없다. Fractile은 속도를 높여도 높은 총처리량을 유지하는 칩을 지향하며, 부지·전력 제약은 이런 목적에 맞는 칩의 필요성을 키운다 [38:26]

21. 전력망 연결 대기와 발전소 인접 데이터센터의 가능성

  • 미국과 영국의 전력망 연결 대기 수요는 기존 전력망의 에너지 규모보다 약 한 자릿수 차수, 즉 10배 수준으로 크다는 진단이다. 다만 대기 중인 사업이 모두 실제로 추진될 프로젝트인지는 불확실하다 [39:18]
  • 중국의 대규모 수력발전 사업은 한 장소에 막대한 전력을 공급한다는 점에서 AI 연산시설에 유리하다. 15기가와트가 한 지점에 공급된다면, 이를 멀리 배분하는 대신 인근에 같은 규모의 AI 연산시설을 두는 구상이 가능하다 [40:24]

22. 학습의 고정비를 정당화하는 추론 수요

  • 폭넓게 학습한 기반 모델이 다양한 작업에 일반화된다면, 학습은 고정비가 되고 추론은 그 모델로 실제 효용을 생산하는 과정이 된다. 장기적으로 학습비가 활용 규모보다 더 크다면 모델을 만드는 경제적 목적이 약해진다 [42:41]
  • 높은 고정비를 들여 공장을 지으려면 생산과 판매로 그 비용을 회수할 수 있다고 믿어야 한다. 같은 논리로 모델 개발 투자도 충분한 배포와 추론 수요를 전제로 한다 [43:23]

23. 추론 시 연산량 확대가 바꾸는 토큰 수요

  • 모델의 능력을 높이는 경로에는 학습 연산량을 반복해서 10배씩 늘리는 방법뿐 아니라, 추론 단계에 더 많은 연산을 투입하는 방법도 있다. 추론 모델의 등장은 후자의 중요성을 키웠다 [43:39]
  • 나비에–스토크스 문제의 해법을 얻었다는 사례에서는 에이전트 1만 개가 약 80시간 실행된 것으로 기억한다는 설명이 나온다. 병렬 에이전트 수와 실행 시간이 함께 늘어나면 토큰 생성량은 단일 질의응답과 전혀 다른 규모가 된다 [44:29]

24. 즉답 대신 장기간의 병렬 탐색으로 어려운 문제에 접근한다

  • 가장 뛰어난 모델이라도 희귀질환 치료법 같은 난제를 질문받자마자 해결할 수 있는 단계는 아니다. 이미 학습된 능력이 뛰어나다는 사실과 새로운 난제를 즉시 해결한다는 것은 별개의 문제다 [46:07]
  • 수백 개의 후보 해법을 만들고, 여러 복제 에이전트가 인터넷과 문헌을 조사하며 서로 토론하고 정보를 교환하도록 할 수 있다. 일주일 동안 수십억 토큰을 생성하는 방식은 즉답보다 훨씬 많은 탐색을 허용한다 [46:50]

25. 수천 배의 연산 수요를 효율 개선으로 흡수한다

  • 막대한 자금 수요에 대응하려면 지능을 제공하는 기술 스택 전반에서 혁신이 이어져야 한다. 하드웨어가 같아도 모델 효율 개선, 문맥 압축, 희소 어텐션을 통해 같은 수준의 지능을 제공하는 비용을 낮출 수 있다 [48:21]
  • 가동 중인 GPU가 충분히 활용되고 있으며 해결할 문제도 많다는 판단이 인프라 투자에 대한 낙관론의 근거다. 다만 이를 바탕으로 시장 붕괴가 없을 것이라는 결론은 출연자의 전망이다 [49:20]

26. 토큰 가격보다 모델 능력과 가치 배분이 중요해진다

  • 10년 뒤 토큰 가격은 어떤 모델을 실행하는지에 따라 달라진다. 모델이 현재보다 여러 자릿수 규모로 커지고 토큰이 제공하는 능력도 높아질 수 있어, 단순한 단가 비교만으로 추론 비용의 변화를 판단하기 어렵다. 전체 모델 운영 지출은 훨씬 커질 것이라는 전망이다 [51:12]
  • 칩은 설계·제조에 시간이 걸리고 데이터센터에서 유용하게 쓰일 수명도 확보해야 한다. 이런 시간차 때문에 경쟁이 즉시 가격 하락으로 이어지기 어려우며, 지속적인 설계 우위를 가진 업체에 가치가 축적될 수 있다 [51:54]

27. 기업별 특화 모델의 효용과 짧은 우위

  • 특정 용도에 맞춘 미세조정은 현재도 효과가 있지만, 다음 오픈 모델이 출시되면 내부 특화 모델의 우위가 사라질 수 있다. 특화의 이점은 일시적일 수 있다 [53:55]
  • 최신 최첨단 모델의 능력 위에 기업별 특화를 계속 쌓을 수 있다면, 내부 전용 모델에도 이점이 있을 수 있다 [54:20]

28. 이기종 칩 오케스트레이션의 가치가 오래가지 않을 가능성

  • GPU와 다양한 가속기가 함께 쓰이는 환경을 전제로, 여러 칩에 작업을 배분하는 오케스트레이션 계층을 구축하는 소프트웨어·클라우드 사업자가 있다. 그러나 칩의 이질성 자체가 일시적이라면 이 계층의 가치도 취약해질 수 있다 [55:24]
  • 서로 다른 칩이 프리필·디코드·어텐션 등 추론 작업의 일부를 나눠 처리하면 정교한 작업 배분이 필요하다. 모델을 고르는 라우팅처럼 실행할 칩을 고르는 라우팅이 생기는 셈이다 [56:16]

29. 공유 가중치와 사용자별 문맥이 요구하는 서로 다른 메모리

  • 모델 가중치는 모든 사용자가 공유하므로, 접근 속도가 빠른 고가 메모리에 올려도 많은 사용자에게 비용을 분산할 수 있다. 이것이 가중치를 Groq 칩에 두는 구성의 경제적 논리다 [57:20]
  • 어텐션이 처리하는 문맥은 사용자마다 달라 같은 방식으로 비용을 공유하기 어렵다. 이 부분은 메모리 가격에 민감하므로, 비싼 SRAM 대신 더 저렴한 DRAM을 갖춘 GPU에서 처리하는 구성이 필요해진다 [57:56]

30. 고정된 칩 비율이 만드는 유휴 용량과 통합 설계의 필요성

  • 문맥이 길어지면 GPU가 더 필요하고 모델이 커지면 Groq 칩이 더 필요할 수 있다. 향후 수요와 다른 비율로 칩을 설치하면 일부 용량을 활용하지 못하는 문제가 생긴다 [58:22]
  • 데이터센터는 제한된 전력에서 최대한의 매출을 만들어야 하지만, 칩 구성은 수년에 걸쳐 비용을 회수하는 고정 투자다. 이기종 구성은 현재 모든 작업을 잘 수행하는 칩이 없다는 데 대한 일시적인 대응일 수 있다 [58:51]

31. 3D 적층으로 연산 성능·대역폭·메모리 용량을 결합한다

  • 3D 적층 구조는 기반 연산 다이에 텐서 코어를 배치할 공간을 확보하면서, SRAM 수준의 대역폭과 DRAM의 용량을 함께 얻는 구상이다. 세 요소를 한 플랫폼에 결합하면 이기종 장치의 복잡한 조율과 자원이 남아도는 위험을 줄일 수 있다. [1:00:03]

32. SRAM 기반 고속 추론의 성과와 장기 에이전트 처리의 한계

  • 엔비디아와 Groq의 거래 배경으로 우수 인재 확보와 고속 추론 역량 보완이 거론된다. 엔비디아가 다른 플랫폼과 함께 배치되며 부족한 기능을 보완하는 생태계 전략과도 연결되는 해석이다. [1:00:33]
  • Cerebras와 OpenAI의 거래가 엔비디아의 대응을 자극했을 수 있다는 추측도 나온다. 대형 고객이 별도 고속 추론 플랫폼을 확보하는 움직임은 기존 GPU 사업자에게 해당 역량의 중요성을 재인식시키는 계기가 될 수 있다. [1:01:24]

33. 추론 서비스 사업자는 유연성과 전문화로 가치를 만들 수 있다

  • Modal·Fireworks·Baseten·Together 같은 추론 사업자는 대규모 자체 연산 용량에 아직 묶이지 않아 새 칩을 채택하거나 새로운 시장을 공략할 여지가 있다. 멀티모달·텍스트·고속 추론 등에 특화하면 서비스 전체가 완전히 범용 상품으로 바뀌지 않을 가능성도 있다. [1:03:11]
  • 토큰을 소비하는 기업 고객을 확보하고 관계를 확대하는 사업 구조에는 성장 여지가 있다는 판단이다. 이런 이유로 현재는 네오클라우드보다 모델 운영에 특화된 추론 사업자가 더 매력적이라는 평가다. [1:03:43]

34. 7억 2,000만 달러 조달은 차세대 개발과 공급망 확보를 넓힌다

  • Fractile의 시리즈 C 조달액은 7억 2,000만 달러다. 과거에는 투자 설명 시간의 상당 부분을 LLM·추론·속도의 필요성을 이해시키는 데 써야 했지만, 이제는 팀의 역량과 공급망 내 위치, 차별화된 개발 철학에 집중할 수 있을 만큼 문제에 대한 이해가 높아졌다. [1:04:48]
  • 확보한 자본은 여러 기술 방향을 동시에 탐색하고, 더 먼 세대의 제품과 시스템·네트워킹까지 개발 범위를 넓히는 데 쓰인다. 초기 칩과 시스템 제작 비용에만 투입하기보다, 수년 뒤 필요한 부품의 장기 계약 등 공급망에서 빠르게 움직일 능력을 확보중요하다. [1:06:27]

35. 공급망·연구 자동화·3D 메모리에서 투자 기회를 본다

  • 공급업체 중에서는 TSMC를 가장 매력적인 투자 대상으로 꼽는다. 최첨단 칩의 대다수를 생산하는 핵심 위치와 팀의 역량을 높이 평가하며, 현재 가격도 저렴하다는 견해다. [1:09:13]
  • 고객 쪽에서는 상대적으로 저렴한 신생 AI 연구소에 관심을 둔다. 런던의 Inherent는 재귀적 자기개선 과제와 과학·연구 자동화를 탐구하며, 범용 최첨단 모델 자체를 만드는 것 외에도 모델을 조율하고 배치하는 시스템에서 기회가 있다는 판단이다. [1:09:59]

36. 검증 가능한 수학·코딩 문제의 해결 시점을 앞당겨 본다

  • 최근 모델의 능력 향상과 여름의 수학 성과를 근거로 발전 속도에 대한 기대가 높아졌다. 수학과 코딩처럼 정답을 검증할 수 있는 어려운 과제는 향후 12개월 안에 최첨단 모델로 해결할 수 있게 될 것이라는 강한 전망이다. [1:11:28]

37. 반도체 사업의 실행력은 관계와 팀의 협업에 달려 있다

  • 반도체를 포함한 기술 사업은 기술만으로 설명되지 않으며, 사람과 관계가 큰 비중을 차지한다. Fractile에서도 칩부터 전체 시스템까지 여러 계층을 가로질러 협업할 수 있는 팀이 핵심 경쟁력이라는 평가다. [1:12:18]

38. 전력 효율 개선에 따른 칩 교체가 지속적인 시장을 만든다

  • 엔비디아가 5년 안에 기업가치 10조 달러에 도달할 것이라는 전망이다. 확언하지 않은 비교이지만 엔비디아의 선행 배수가 닷컴 붕괴 이후 시스코보다 낮다고 보며, AI 산업을 여러 기업이 함께 성장할 수 있는 시장으로 평가한다. [1:12:38]
  • 닷컴 버블의 기억 때문에 AI 투자 과열 우려가 초기부터 가격에 반영됐으며, 인프라 확장이 얼마나 오래 지속될지는 충분히 평가되지 않았다는 견해다. 데이터센터를 추가하지 않더라도 전력이 제한돼 있으면 효율이 높은 칩으로 몇 년마다 교체해야 한다. [1:13:02]

39. 영국의 기술 산업 성장에는 전력 공급 확대가 필요하다

  • 영국의 기술 경쟁력과 산업 성장을 높이려면 에너지 공급 제약을 풀어야 한다는 판단이다. 재생에너지와 원자력을 비롯한 전력원을 더 많이 가동해 중요한 산업이 확장될 기반을 마련해야 한다. [1:14:21]

40. AI의 장기적 가치는 질병 치료와 개인화 교육에 있다

  • 향후 10년의 기대는 기존에 풀지 못했던 문제를 모델로 해결하고 실제 생활을 개선하는 데 있다. 치료가 어려웠던 질병의 해결과 모두를 위한 양질의 교육은 실현될 것이며, 이를 가능하게 할 기술은 이미 갖췄다는 강한 낙관론이다. [1:14:44]
  • 개인화 교육은 그 구체적인 사례다. 학생마다 객관식이나 시각 학습 등 선호 방식과 학습 속도에 맞춰 배울 수 있고, 교실에서 이해하지 못했다고 손들기 어려운 학생도 자신의 부족한 부분을 확인하며 학습할 수 있다는 기대다. [1:15:18]

🧾 결론

  • 수천 배의 연산 수요는 출연자가 제시한 전망이며, 데이터센터를 같은 배수로 늘린다는 계획을 뜻하지 않는다. 핵심은 확보한 전력과 랙에서 더 많은 지능을 제공하는 것이다.
  • Fractile의 기술적 가치는 고속 추론에 필요한 대역폭·메모리 용량·연산 성능을 함께 확보하는 데 달려 있다. 이 목표가 실제 제품의 성능과 경제성으로 이어지는지 확인해야 한다.
  • 추론 시장 확대는 특화 칩과 서비스 사업자에게 기회를 제공할 수 있다. 지속적인 우위는 작업 부하 예측, 소프트웨어 최적화, 제조 실행력과 고객 확보가 함께 뒷받침해야 한다.

📈 투자·시사 포인트

  • 전력당 성과를 비교필요가 있다. 토큰 생성 속도와 함께 동일한 모델·문맥·전력 조건에서 총처리량과 비용을 살펴야 고속 추론의 사업성을 판단할 수 있다.
  • 신규 칩 기업의 단계별 실행 성과가 중요하다. 테이프아웃 이후 실제 랙 가동, 수율·신뢰성, 생산량 확대와 공급 계약을 확인해야 기술적 잠재력과 매출 가능성을 연결할 수 있다.
  • 공급망의 중요성과 투자 가격 평가는 구분해야 한다. 출연자는 TSMC의 핵심 생산 지위와 투자 매력을 높게 평가하지만, 저평가라는 판단은 출연자의 견해다.
  • 추론 서비스의 차별화 가능성도 살펴볼 만하다. 새 칩 채택의 유연성, 특정 작업에 대한 최적화, 기업 고객과의 관계는 경쟁 요소다. 시장 집중과 계층별 수익 배분은 아직 전망의 영역이다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 신규 칩의 특정 작업에서 비용·속도 10배 이상 우위는 기대 수준의 주장이다. 비교 모델, 문맥 길이, 동시 사용자 수, 전력 조건과 실제 측정 결과가 필요하다.
  • Fractile의 실리콘 확보는 대규모 양산이나 완제품의 상용 성능을 입증하지 않는다. 테이프아웃 계획과 이후 제조·시스템 가동 성과는 발언 시점에 따라 다시 확인해야 한다.
  • 수천 배의 연산 수요, 향후 난제 해결 시점, 시장 붕괴 가능성에 대한 낙관론은 출연자의 전망이다. 에이전트 활용 확대와 모델 효율 개선이 실제 수요에 미칠 영향은 확정되지 않았다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 신규 추론 칩의 성능 자료에서 모델 크기, 문맥 길이, 생성 속도, 총처리량, 소비전력과 비교 기준을 함께 확인한다.
  • Fractile의 진행 상황을 실리콘 시험, 완제품 테이프아웃, 랙 전체 작업 실행, 수율·신뢰성 확보, 양산 확대로 나눠 추적한다.
  • 데이터센터 투자나 칩 도입을 검토할 때 부지·전력·전력망 연결과 제조·메모리 공급 제약을 함께 점검한다.
  • 토큰 단가와 함께 목표 작업의 해결 성과, 응답 시간, 전체 운영비를 비교하고, 공개 모델 최적화나 특화 서비스가 만드는 차별화를 살펴본다.

❓ 열린 질문

  • Fractile은 대형 모델과 긴 문맥을 처리하면서 SRAM급 대역폭, 충분한 메모리 용량, 높은 전력당 총처리량을 동시에 구현할 수 있을까?
  • 장기간 실행하는 에이전트의 수요 확대와 모델·문맥 처리 효율 개선은 실제 연산 지출을 어느 수준으로 이끌까?
  • 통합형 추론 칩이 발전하면 이기종 칩 구성의 복잡성과 유휴 자원 문제가 얼마나 줄어들며, 오케스트레이션 계층의 가치는 얼마나 지속될까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.