Ex-NVIDIA Engineer: Why AI Is About to Get 1000x Cheaper

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Ex-NVIDIA Engineer: Why AI Is About to Get 1000x Cheaper를 중심으로, 장기 실행 에이전트의 경제성은 즉각적인 응답보다 작업 완료당 비용에서 나온다. 사람이 기다리지 않는 심층 연구·보안 검사·개인형를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 장기 실행 에이전트의 경제성은 즉각적인 응답보다 작업 완료당 비용에서 나온다. 사람이 기다리지 않는 심층 연구·보안 검사·개인형 선제 작업은 지연시간을 일부 양보하고 GPU 배치를 키워 처리량을 높일 수 있다.
2. 비용 절감의 출발점은 기존 GPU에서 더 많은 토큰을 생산하는 것이다. 저수준 커널 최적화, 연산 융합, 높은 GPU 활용률과 랙 단위 작업 배치가 같은 하드웨어의 실질 생산성을 높인다.
3. 엔비디아의 NVLink와 텐서 병렬화는 저지연 추론에 강하지만 장기 작업에는 전문가·파이프라인 병렬화나 연결 성능이 낮은 대체 가속기도 경제적일 수 있다. 핵심 지표는 브랜드가 아니라 시간당 소유·운영비 대비 연산량이다.
4. SRAM의 속도와 HBM·DRAM의 용량은 상충한다. Cerebras·Groq 계열 가속기와 기존 GPU를 결합해 MLP와 장문 컨텍스트 어텐션을 나누고, KV 캐시를 압축하거나 플래시로 오프로딩하는 하이브리드 설계가 비용 절감의 핵심 경로다.
5. 저평가된 칩, 유휴 GPU, 낮은 등급의 다이, 소형 데이터센터와 간헐적 전력을 하나의 플릿으로 조정하면 추가 효율을 얻을 수 있다. 토큰 가격이 반복적으로 10분의 1씩 낮아질수록 심층 연구와 상시 에이전트처럼 과거에는 경제성이 없던 제품군이 열린다.

🧩 배경과 문제 정의

• AI 에이전트가 장시간 자율적으로 일하려면 응답 속도보다 처리량과 비용 효율이 중요하지만, 현재 추론 인프라는 사람이 기다리는 대화형 서비스에 맞춰져 있다.
• 토큰 가격이 10배씩 낮아질 때마다 기존에는 경제성이 없던 심층 연구, 상시 보안 검사, 개인형 선제 에이전트 같은 새로운 제품군이 가능해진다.
• 비용을 크게 낮추려면 소프트웨어 최적화에 그치지 않고 GPU 활용 방식, 병렬 처리 구조, 메모리 계층, 대체 칩과 전력까지 전체 스택을 다시 설계해야 한다.
• 검증 가능한 문제는 연산량을 늘려 품질을 높일 수 있지만, 인간의 취향처럼 정답을 검증하기 어려운 영역에는 여전히 뚜렷한 한계가 있다.

🕒 시간순 섹션별 상세정리

1. 가장 저렴한 토큰을 생산하는 지능 공장

• 오픈소스 대규모 언어 모델의 토큰을 시장 최저가로 공급하고, 몇 시간에서 몇 주 동안 작동하는 에이전트용 클라우드 가상 머신까지 함께 제공하는 구조다. [00:51]
• 지능을 풍부한 범용 자원으로 만들려면 토큰 가격을 지속적으로 낮춰야 하며, 비용이 10분의 1로 줄어들 때마다 새로운 제품 범주가 열릴 수 있다. [01:30]

2. 오픈소스 주권과 장기 실행 에이전트의 부상

• 기업들은 핵심 지능을 외부 사업자에게 전적으로 의존하지 않고 모델 가중치와 배포 권한을 직접 보유하려 하며, 이 수요가 오픈소스 추론 시장을 키운다. [03:10]
• 기존 추론 사업자들은 대화형 코딩 서비스의 요구에 맞춰 낮은 지연시간을 우선했지만, 에이전트 작업이 장기화되면서 지속성과 효율성이 새로운 경쟁 기준으로 바뀌고 있다. [03:54]

3. 사람이 기다리지 않는 백그라운드 작업

• 사용자가 답을 기다리는 대신 에이전트가 밤새 선제적으로 작업하면 체감 지연시간 자체가 사라지고, 사람의 반복적인 지시가 병목이 되는 문제도 줄어든다. [04:27]
• 테스트 시간 연산을 늘릴수록 답의 품질이 높아지며, 최근 모델들은 약 한 시간 동안 이어지는 작업을 수행할 만큼 장기 실행 능력이 향상됐다. [05:13]

4. 심층 연구와 자율 보안 검사의 확장

• 수만 개 출처를 조사하거나 인터넷 전체의 변화를 실시간으로 추적하는 작업은 인간이 직접 감독하기 어려우며, 장시간 작동하는 에이전트가 대규모 정보 색인을 구축하는 데 적합하다. [06:40]
• 소프트웨어를 만드는 방법보다 깨뜨리는 방법이 훨씬 많기 때문에, 보안 에이전트는 코드 생성뿐 아니라 메모리 오류·비즈니스 로직·네트워크 취약점을 여러 방식으로 반복 검사해야 한다. [07:10]

5. 선제적 개인 에이전트와 검증 가능한 문제

• 개인 에이전트가 이메일과 메시지를 상시 분석하면 사용자의 생활 맥락과 다음 행동을 예측해, 매번 명령하지 않아도 필요한 작업을 먼저 꺼내 놓을 수 있다. [09:03]
• 이런 선제적 기능은 성공이 보장되지 않은 추론에도 토큰을 투입해야 하므로, 충분히 저렴한 지능과 개인정보를 맡길 수 있는 신뢰성이 핵심 조건이다. [09:48]

6. 토큰 예산이 결정하는 가능성과 한계

• 모델은 높은 수준의 질문에서 출발해 후속 질문을 스스로 추적할 수 있는 단계에 가까워졌으며, 실제 탐색 범위는 사용할 수 있는 토큰 예산에 좌우된다. [12:04]
• 글의 품질이나 예술의 아름다움처럼 인간의 취향이 개입하는 문제는 객관적인 검증 기준이 부족하므로, 정량적으로 검증 가능한 문제와 같은 방식으로 해결하기 어렵다. [12:29]

7. 소프트웨어에서 시작하는 GPU 효율화

• 비용 절감의 첫 단계는 기존 엔비디아 GPU와 데이터센터에서 같은 칩으로 더 많은 토큰을 생산하도록 언어 모델 소프트웨어 스택과 저수준 커널을 최적화하는 것이다. [13:09]
• 텐서 코어는 행렬 곱셈을 가속하는 GPU 전용 연산 장치이며, 선형대수는 데이터 사이의 복잡한 관계를 압축해 표현할 수 있어 머신러닝 계산의 핵심이 됐다. [13:47]

8. 텐서 코어 투자와 ‘빛의 속도’ 문화

• 엔비디아는 2010년대 중반 연구자들이 게임용 GPU로 딥러닝 모델을 훈련하는 흐름을 포착했고, 그래픽 기능과 경쟁하면서도 칩 면적 일부를 텐서 코어에 배정했다. [14:21]
• 초기 텐서 코어는 전체 실리콘 면적의 약 5~10%만 확보했지만, 당시 컴퓨터 비전의 핵심 연산이던 합성곱을 가속하며 GPU의 머신러닝 전환을 시작했다. [15:48]

9. 대화형 AI와 GPU 처리량의 충돌

• 엔비디아에는 장기 근속한 숙련 엔지니어가 많고 절약 문화도 강하며, 병렬 컴퓨팅과 하드웨어 효율화를 평생의 과업으로 삼은 인력이 칩의 발전을 축적해 왔다. [17:06]
• GPU는 많은 작업을 한꺼번에 받아 연산 장치를 최대한 채울 때 가장 효율적이지만, 현재의 대화형 챗봇은 사용자의 대기시간을 줄이기 위해 개별 응답 속도를 우선한다. [18:10]

10. 배칭이 만드는 처리량과 지연시간의 교환

• GPU 배칭은 여러 사용자의 작업을 묶어 병렬 연산 장치를 채우지만, 묶음 전체의 계산량이 늘어나면서 개별 요청은 다른 작업과 함께 더 오래 머물게 된다. [19:35]
• 전용 차량은 한 사용자를 빠르게 목적지로 보내는 낮은 지연시간 방식이고, 버스는 여러 사람을 함께 운송해 단위 비용을 낮추는 높은 처리량 방식이라는 차이가 있다. [20:13]

11. NVLink와 병렬 처리 방식의 선택

• NVLink는 큰 행렬 곱셈을 최대 8개 GPU에 나눠 처리하고 결과를 다시 결합해 지연시간을 줄이지만, 통신 비용 때문에 하드웨어를 8배 사용해도 속도는 약 4~5배만 빨라질 수 있다. [20:49]
• 텐서 병렬화는 최소 지연시간에 유리한 대신 GPU당 작업 크기를 줄여 효율을 떨어뜨리며, 장기 작업에는 전문가 병렬화나 파이프라인 병렬화로 통신 시간을 숨기는 편이 유리할 수 있다. [21:29]

12. 엔비디아 밖의 연산 자원을 활용하는 조건

• 엔비디아는 NVLink를 바탕으로 낮은 지연시간에서 강점을 가지지만, 백그라운드 추론은 칩 간 통신이 느리더라도 기본 행렬 연산 성능이 충분한 대체 가속기를 활용할 수 있다. [22:22]
• 처리량 중심의 핵심 지표는 칩의 시간당 소유·운영비 대비 부동소수점 연산량이며, 일부 대체 칩은 연결 성능이 부족해도 달러당 연산량에서 엔비디아보다 앞설 수 있다. [22:53]

13. 초저지연 가속기의 SRAM 전략

• Cerebras와 Groq 같은 가속기는 일반 GPU를 복제하기보다 칩 위 SRAM을 늘려 모델 가중치와 KV 캐시에 매우 빠르게 접근하는 메모리 계층을 선택한다. [23:42]
• SRAM은 로직 다이에 직접 통합돼 빠르지만 실리콘 면적을 많이 차지하므로, 블랙웰 크기의 다이를 전부 SRAM으로 사용해도 용량은 한 자릿수 기가바이트 수준에 머문다. [24:23]

14. 메모리 밀도와 웨이퍼 규모 설계

• DRAM을 여러 층으로 쌓아 로직 다이 주변에 배치하면 수백 기가바이트 용량을 확보할 수 있으며, 블랙웰은 약 500MB의 온칩 SRAM과 288GB의 HBM을 결합한다. [26:04]
• 온칩 SRAM은 HBM보다 용량이 작지만 연산 장치 바로 옆에서 데이터를 공급해 약 21PB/s에 이르는 대역폭을 낼 수 있고, HBM은 약 10TB/s 수준의 대역폭 대신 훨씬 큰 용량을 제공한다. [26:42]

15. SRAM 기반 초고속 추론과 메모리 용량의 한계

• 웨이퍼당 초당 21페타바이트 수준으로 SRAM 데이터를 읽으면 대형 모델의 전체 파라미터를 약 1밀리초 만에 로직 코어로 이동시켜 초당 1,000토큰에 이르는 추론 경로를 만들 수 있다. [27:45]
• Cerebras 같은 온칩 메모리 중심 칩은 모델 가중치를 빠르게 처리하지만, 사용자 수와 대화 길이에 따라 동적으로 증가하는 KV 캐시까지 단독으로 수용하기는 어렵다. [28:33]

16. KV 캐시의 역할과 장문 대화 성능 저하

• KV 캐시는 대화의 각 토큰에 대응하는 표현을 저장해 다음 토큰 예측에 과거 맥락을 활용하며, 대화가 길어지면 모델 가중치보다 더 큰 메모리를 차지할 수 있다. [29:16]
• 모델의 주된 훈련 길이는 8,000~16,000토큰 수준이어서 20만 토큰까지 확장하면 훈련 경험이 부족한 영역에 진입하고, 맥락을 모두 보존해도 지능과 응답 품질이 저하될 수 있다. [30:05]

17. 온칩 속도와 오프칩 용량을 결합한 하이브리드 구조

• 온칩 메모리는 속도에, 오프칩 메모리는 용량에 강하므로 Cerebras·Groq 계열 칩은 기존 GPU를 대체하기보다 함께 사용하는 가속기에 가깝다. [31:10]
• 긴 컨텍스트에서는 어텐션이 메모리 대역폭에 묶이고 MLP는 큰 배치에서 연산 성능에 묶이기 때문에, 하나의 칩으로 두 작업을 모두 최적화하기 어렵다. [31:36]

18. 트랜스포머의 범용 학습 능력과 대규모 확장성

• 어텐션은 매 단계마다 입력 시퀀스의 관련도를 다시 계산해 다음 예측에 중요한 부분을 선택하므로, 언어를 포함한 임의의 순차 데이터에서 패턴을 학습할 수 있다. [33:05]
• 트랜스포머는 인간이 설계한 강한 사전 가정보다 파라미터 확대에 의존하며, 컴퓨터 비전 시대의 수천만~1억5천만 파라미터 모델을 수조 파라미터 규모로 확장하는 연결고리가 됐다. [34:16]

19. 모든 토큰 관계를 탐색한 뒤 압축하는 학습 방식

• 모든 토큰이 다른 모든 토큰을 참조할 수 있는 어텐션은 계산량이 크지만, 어떤 쌍별 관계가 중요한지 미리 알 수 없는 상황에서 필요한 패턴을 놓칠 위험을 줄인다. [35:08]
• 먼저 모델을 과매개변수화해 데이터를 완전히 학습할 수 있는지 확인한 뒤 파라미터를 압축하면, 단순 암기에서 벗어나 더 작은 구조로 일반화되는 패턴을 찾을 수 있다. [35:58]

20. 인터넷 데이터 소진과 피드백 가치의 변화

• 인터넷은 약 30조 개의 고품질 텍스트 토큰을 사실상 무료로 제공했으며, 기준을 넓히면 약 300조 토큰에 이르지만 주요 모델은 이미 전체 인터넷을 여러 차례 학습했다. [36:23]
• 현재 모델의 능력이 일반 사용자의 평균적인 판단을 앞서면서 무작위 선호 피드백의 정보 가치는 낮아졌고, 유의미한 개선에는 전문가 수준의 피드백이 필요해졌다. [37:17]

21. 검증 가능한 환경을 통한 재귀적 자기 개선

• 범용지능은 서로 다른 전문 능력을 계속 쌓아 빈틈을 줄이는 방식으로 접근할 수 있으며, 각 과제를 자동 채점할 수 있어야 반복적인 자기 개선이 가능하다. [38:23]
• 프런티어 연구소의 지출도 기존 데이터 구매보다 강화학습 환경 구축에 더 큰 비중을 두며, 검증 가능한 과제에서의 재귀적 개선이 새로운 확장 축으로 자리 잡고 있다. [38:47]

22. 모델 변화에 대응하는 GPU 커널과 연산 융합

• FlashAttention 같은 핵심 커널이 현대 트랜스포머의 기반이지만, 위치 정보 임베딩 방식이 조금만 바뀌어도 기존 커널을 수정해야 하므로 커널 최적화는 끝난 문제가 아니다. [39:30]
• 행렬곱과 덧셈을 하나의 커널로 융합하면 중간 데이터를 DRAM에 기록했다가 다시 읽는 과정을 제거해 메모리 이동 비용과 실행 지연을 줄일 수 있다. [40:24]

23. 자연어 기반 커널 개발과 소프트웨어 우위의 약화

• 사람은 화이트보드에서 입출력과 GPU 작업 배치 전략을 설계하고, AI는 이를 자연어로 받아 실제 커널 코드로 구현하는 역할 분담이 가능해졌다. [41:04]
• 커널 엔지니어링 모델이 빠르게 발전하면 특정 기업만 보유한 소프트웨어 최적화 능력의 희소성이 줄고, 프런티어 코딩 모델의 향상이 시장 참여자 모두의 성능을 끌어올린다. [41:47]

24. GPU 활용률과 랙 단위 컴퓨팅의 전환

• Blackwell GPU는 대규모 행렬곱에서 최대 성능의 약 70~80%를 활용하지만 전력과 발열로 제한되며, 실제 트랜스포머 작업의 대부분은 이 최적 조건에 머물지 않는다. [43:08]
• 개별 GPU보다 랙·클러스터·데이터센터 전체에 큰 작업 배치를 지속적으로 공급해야 하며, 프로그래밍의 기본 단위도 단일 칩에서 전체 시스템으로 확장되고 있다. [43:40]

25. Blackwell 공급 부족과 전략적 배분

• NVIDIA가 단순히 가격을 올려 최고가 구매자에게 물량을 몰아주면 특정 고객의 시장 지배력이 지나치게 커질 수 있어, 장기 생태계를 고려한 전략적 공급 배분이 필요하다. [45:19]
• 설립된 지 몇 달밖에 안 된 스타트업이 Blackwell 1만 개를 수년간 임차하려면 지급 능력을 입증해야 하므로, 칩 확보에는 강한 재무적 후원이나 기존 공급자와의 신뢰 관계가 필수적이다. [45:55]

26. 대체 칩 최적화와 이기종 하드웨어 차익

• 나쁜 칩보다 잘못 책정된 가격이 더 큰 문제이며, AMD처럼 소프트웨어 최적화가 덜 된 칩은 충분히 낮은 가격과 우수한 커널 기술을 결합할 때 높은 경제성을 만들 수 있다. [46:16]
• AMD 물량도 Meta와 OpenAI 같은 대형 구매자에게 빠르게 배정되고 있으며, Etched·Cerebras·d-Matrix 같은 신규 업체는 TSMC 웨이퍼를 충분히 확보해 생산 규모를 키울 수 있는지가 관건이다. [47:24]

27. 반도체 고평가 우려와 비투기적 추론 수요

• 반도체가 S&P 500에서 차지하는 비중이 과거 2~4%에서 약 19~21%로 급증하면서, 공급 부족이 해소되면 장기 평균으로 되돌아갈 수 있다는 투자자 불안이 커졌다. [49:13]
• 닷컴 버블기의 네트워크 장비 투자는 아직 나타나지 않은 미래 수요를 전제로 했지만, AI 토큰은 구매 직후 실제 업무에 소비되므로 현재의 추론 인프라 수요는 성격이 다르다. [50:35]

28. 훈련 중심 데이터센터에서 분산 추론 인프라로

• 훈련 클러스터는 추론에도 사용할 수 있지만 역방향은 항상 성립하지 않으며, 두 환경의 핵심 차이는 칩 간 네트워크 대역폭과 하나로 묶어야 하는 클러스터 규모다. [53:37]
• 미국에서 100메가와트급 데이터센터는 극히 제한적으로만 가능하고 10메가와트도 경계선에 있지만, 1메가와트 전력은 여러 지역에서 확보할 수 있어 분산 추론 인프라에 적합하다. [54:19]

29. 이기종 칩과 소형 데이터센터의 비용 우위

• 세계 어디서든 종류와 사용 기간을 가리지 않고 칩을 확보한 뒤 하나의 플릿에서 운용하면, 다른 사업자가 외면하는 저렴한 연산 자원까지 활용할 수 있다. [56:19]
• 수천 개의 소형 데이터센터는 하나의 기가와트급 시설보다 분산되어 있지만, 전력·네트워크 이중화와 비상 발전기 같은 고비용 설비를 제거해 추론 경제성을 높일 수 있다. [56:43]

30. 낮은 가동률을 감수하는 비동기 추론

• 일반 구매자에게 치명적인 95% 가동률도 장애가 서로 연동되지 않는다면 수용할 수 있으며, 제어 계층이 실패한 작업을 다른 데이터센터로 옮겨 전체 처리량을 유지한다. [57:29]
• 장시간 실행되는 백그라운드 에이전트는 GPU 교체로 한 작업 단계가 수분 지연돼도 사용자 경험에 미치는 영향이 작고, 통제되지 않는 P99 지연시간을 훨씬 낮은 가격과 맞바꿀 수 있다. [58:05]

31. 간헐적 전력까지 흡수하는 스캐빈저 전략

• 태양광과 풍력은 출력이 불규칙하지만, 날씨를 예측해 작업을 다른 지역으로 이동하면 며칠이나 몇 주의 전력 중단도 견딜 수 있고 경쟁자가 쓰지 않는 전력을 확보할 수 있다. [58:57]
• 칩 가격이 충분히 낮으면 전력 중단 중 장비가 쉬는 자본 비용도 감수할 수 있으며, 칩과 전력을 차례로 수집해 대형 사업자와 직접 입찰 경쟁을 피한다. [1:00:01]

32. 수직계열화의 포부와 현실적인 확장 순서

• 전력 생산부터 데이터센터·칩·소프트웨어·최종 토큰까지 모두 소유할 수도 있고, 자산 없이 전체 자원을 조정하는 가상 스캐빈저에 머무를 수도 있다. [1:00:52]
• 완전한 수직계열화에는 막대한 자본이 필요하므로 레버리지가 높은 소프트웨어에서 시작하고, 기존 전문 사업자와 협력하며 직접 소유할 자격과 규모를 먼저 확보해야 한다. [1:02:16]

33. KV 캐시·유휴 GPU·팹 공정의 숨은 낭비

• 현대 모델은 전문가의 약 10%, 최첨단 모델은 약 1%만 활성화할 만큼 이미 희소하지만, 토큰마다 수 킬로바이트를 저장하는 KV 캐시는 엔트로피에 비해 지나치게 커서 한두 자릿수 규모의 추가 압축 여지가 있다. [1:03:42]
• 전 세계 GPU가 사설 풀과 창고에서 놀고 있어 개별 연산 최적화보다 글로벌 오케스트레이션과 자원 공유가 더 큰 효율 개선을 만들 수 있다. [1:04:53]

34. 장기 최적화 중심의 조직 문화와 채용 기준

• 현재 장비의 성능을 고정값으로 받아들이지 않고 한 달·6개월·1년 뒤의 개선 가능성을 기준으로 판단하며, 발견한 병목은 기록해 공급사와 공유하고 다음 칩 구매에 반영한다. [1:08:12]
• 지식을 가르치고 배우는 능력을 동시에 갖춘 구성원과 반복적인 화이트보드 세션이 협업의 기반이며, 각자가 교사와 학생 역할을 오가는 환경이 중요하다. [1:09:03]

35. 폐쇄형 모델의 선행 프리미엄과 잠재적 증류

• 최첨단 연구소는 오픈 모델보다 3~6개월 앞서기 위해 막대한 비용을 지불하며, 성능 우위가 유지되는 동안 폐쇄형 토큰에 높은 프리미엄을 붙일 수 있다. [1:10:21]
• 인터넷과 GitHub에 AI가 생성한 코드와 콘텐츠가 계속 축적되면 직접 출력을 수집하지 않아도 공개 데이터만으로 모델 역량을 간접 학습하는 잠재적 증류가 일어난다. [1:11:01]

36. 기업의 느린 도입과 오픈소스의 지속성

• 기업 배포는 최신 모델이 나오는 3~6개월 주기보다 느리고 변경 검증에도 시간이 필요하므로, 최첨단 성능 우위가 곧바로 전체 시장의 장기 프리미엄으로 이어지지는 않는다. [1:11:58]
• AI 경쟁에는 영구적인 승자가 없으며 한 오픈소스 선도자가 물러나도 높은 보상과 낮아지는 학습 비용을 바탕으로 새로운 주체가 빈자리를 채운다. [1:12:20]

37. 값싼 토큰과 개인화된 지능의 미래

• 풍부한 토큰과 다양한 에이전트 하네스를 바탕으로 기업과 개인이 각자의 지능을 소유하고, 가중치 미세조정보다 문맥 학습을 통해 자신에게 맞게 구성하는 방향이 가능하다. [1:13:01]
• 모든 칩·전력원·적합한 토지를 활용해 토큰 가격을 최대한 낮추면, 지능을 어려운 질문에만 호출하는 비싼 전문가가 아니라 누구나 상시 사용하는 자원으로 바꿀 수 있다. [1:13:27]

38. 플래시 오프로딩과 일일 1조 토큰의 경제성

• HBM 부족을 우회하려면 KV 캐시를 플래시 같은 다른 메모리로 대폭 오프로딩할 수 있도록 모델 구조를 바꾸고, 초당 1~10토큰의 장기 추론에 맞춰 시스템을 설계해야 한다. [1:14:21]
• 하루 1조 토큰은 현재 가격으로 최소 약 500만 달러가 들지만, 토큰당 비용을 3~6자릿수 낮추면 수천~수만 달러 규모의 단일 작업으로 접근할 수 있다. [1:15:13]

39. 공정 미세화의 한계와 모델 구조의 하드웨어 영향

• Hopper·Blackwell·Rubin 세대와 TSMC의 5·4·3·2나노 공정을 비교해도 연산당 전력 효율이 극적으로 개선되지는 않아, 최신 공정만이 압도적 우위를 만든다는 통념에는 한계가 있다. [1:16:31]
• TSMC 접근이 끊기면 공급 충격은 크지만 서구권 공정의 전력 대비 성능 격차는 최악의 경우에도 약 2배 수준일 수 있어, 지정학적 충격이 곧 연산 능력의 붕괴를 뜻하지는 않는다. [1:17:06]

40. 공급망 병목을 겨냥한 칩 스타트업 전략

• 새로운 칩 사업은 TSMC 웨이퍼, HBM, 첨단 패키징, 전력이라는 3~4개 핵심 병목을 이해하고 각각의 우회 경로를 제시해야 투자와 공급의 현실성을 확보할 수 있다. [1:19:05]
• 엔비디아의 균형 잡힌 범용 설계를 그대로 따라가기보다 HBM 부족처럼 기존 선택이 과소평가한 병목 하나를 골라 극단적으로 차별화해야 한다. [1:19:41]

41. 엔비디아의 구매자 경쟁과 멘토의 선의

• 엔비디아는 고객과 직접 토큰 판매 경쟁을 벌이는 대신 여러 네오클라우드와 추론 사업자를 성장시켜 자사 칩 수요를 확대하고, 일부 구매자가 AMD나 수직계열화로 이탈해도 대체 수요가 남는 구조를 만든다. [1:20:30]
• 구매자들이 서로 경쟁하게 만들면서도 파트너의 성장과 신뢰를 보존하는 장기 전략이 직접적인 후방 판매보다 강한 생태계 방어력을 만든다. [1:21:07]

42. 스승이 심어준 성능 엔지니어링과 전체 스택의 관점

• 엔비디아 동료들은 성능 엔지니어링에 대한 애정을 심어줬고, 대학 교수들은 이해 직전의 개념을 끝까지 체득하도록 이끄는 스승의 역할을 했다. [1:21:26]
• AI 칩을 빨리 만들고 싶어 기초 수업의 필요성을 의심했지만, 지도교수는 게이트 수준의 실리콘부터 인터넷 규모 서비스까지 모든 계층을 이해하는 일이 드물고 가치 있는 목표임을 일깨웠다. [1:21:46]

43. 대담 종료와 기업 운영 인프라 후원 메시지

• 대담이 마무리된 뒤 Ramp는 기업의 지출 체계를 자본 배분 전략으로 보고, 더 나은 데이터가 의사결정과 장기적인 경제성을 개선한다고 내세운다. [1:22:35]
• Vanta는 기업 성장에 맞춰 규정 준수를 자동화하고 보안·위험 정보를 통합하며, WorkOS는 AI·소프트웨어 기업이 수개월의 인프라 작업 없이 엔터프라이즈 요건을 갖추도록 지원한다. [1:22:59]

🧾 결론

• AI 추론의 다음 경쟁은 최고 속도의 단일 칩보다 최종 성과당 비용을 최소화하는 시스템 설계에서 벌어질 가능성이 크다.
• 백그라운드 에이전트가 늘수록 낮은 지연시간에 맞춘 현재 인프라의 전제가 약해지고, 배칭·분산 실행·장애 이동을 활용하는 처리량 중심 사업자의 선택지가 넓어진다.
• 소프트웨어에서 칩·메모리·데이터센터·전력까지 병목을 함께 다뤄야 제목이 제시한 1000배 비용 절감에 접근할 수 있다.
• 다만 연산을 늘려 품질을 높이는 전략은 정답을 자동 검증할 수 있는 코딩·수학·일부 과학 문제에서 가장 강하며, 인간 취향이 좌우하는 영역에는 그대로 적용하기 어렵다.

📈 투자·시사 포인트

• 엔비디아의 저지연 생태계는 여전히 강하지만, 처리량 중심 시장에서는 AMD·Cerebras·Groq·TPU·Trainium 등 서로 다른 가속기의 달러당 연산량과 공급 가격이 새로운 평가 기준이 될 수 있다.
• HBM과 첨단 패키징, 전력, TSMC 웨이퍼는 핵심 공급망 병목이다. 기존 범용 GPU를 모방하기보다 특정 병목을 우회하는 칩·메모리·서빙 기업에 차별화 여지가 있다.
• 추론 수요는 실제 업무에서 즉시 소비되는 토큰과 연결되지만, 반도체의 시장 비중 확대와 공급 부족 프리미엄이 지속된다는 보장은 없으므로 수요 증가와 자산 가격을 분리해 판단해야 한다.
• 커널 생성 자동화로 소프트웨어 최적화의 희소성이 낮아질 수 있는 반면, 유휴 자원·간헐적 전력·이기종 칩을 전 세계에서 조정하는 운영 역량은 더 중요한 경쟁력이 될 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제목의 1000배 비용 절감은 확정된 일정이나 실증 결과가 아니라 여러 최적화 경로가 누적될 때 가능한 방향성에 가깝다. 각 경로의 기여도와 상용화 시점은 제시되지 않았다.
• 백그라운드 작업 비중이 장기적으로 90%까지 커질 수 있다는 전망은 실제 사용자 수요, 에이전트 신뢰성, 제품 설계와 개인정보 보호 수준에 따라 크게 달라질 수 있다.
• 대체 칩의 달러당 연산량 우위는 구매 가격뿐 아니라 커널 완성도, 가동률, 장애율, 모델 호환성과 운영 인력 비용을 포함해 검증해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• AI 인프라를 평가할 때 토큰당 가격과 함께 최종 작업 완료당 비용, 처리량, 가동률, 실패 후 재시도 비용을 비교한다.
• 대화형 저지연 작업과 장기 백그라운드 작업을 분리하고, 후자에는 더 큰 배치와 비동기 실행을 적용할 수 있는지 시험한다.
• 엔비디아 단일 기준을 벗어나 AMD·Cerebras·Groq·TPU·Trainium의 소프트웨어 성숙도와 달러당 유효 처리량을 동일한 모델·워크로드로 벤치마크한다.
• 투자 검토 시 HBM·첨단 패키징·웨이퍼·전력 공급과 함께 KV 캐시, 유휴 GPU 조정, 분산 데이터센터처럼 숨은 병목을 해결하는 기업을 별도로 추적한다.

❓ 열린 질문

• 전체 스택 최적화 가운데 커널·배칭·메모리·이기종 칩·전력 조달이 각각 비용을 얼마나 낮출 수 있으며, 중복 효과를 제외한 누적 절감 폭은 어느 정도인가?
• 에이전트가 며칠 또는 몇 주 동안 자율 작업할 때 성과를 검증하고 실패를 복구하는 비용까지 포함해도 백그라운드 추론이 경제적인가?
• 저렴한 토큰이 심층 연구와 보안을 넘어 실제로 어떤 신규 제품군과 지속 가능한 매출을 만들어낼 것인가?