YouTubeStanford Graduate School of Business·2026년 11월 19일·0

AI@GSB Perspectives: Infrastructure with Kaushik Shirhatti, VP of AI Factory NVIDIA

Quick Summary

NVIDIA의 AI 팩토리 책임자 카우식 시르하티는 사용자가 끝내야 할 업무에서 출발해 인프라를 설계하고, 그 가치를 절약한 시간과 작업당 비용으로 평가해야 한다고 본다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

AI@GSB Perspectives: Infrastructure with Kaushik Shirhatti, VP of AI Factory NVIDIA 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

AI@GSB Perspectives: Infrastructure with Kaushik Shirhatti, VP of AI Factory NVIDIA의 핵심 내용을 4단계로 요약한 인포그래픽
AI@GSB Perspectives: Infrastructure with Kaushik Shirhatti, VP of AI Factory NVIDIA 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

NVIDIA의 AI 팩토리 책임자 카우식 시르하티는 사용자가 끝내야 할 업무에서 출발해 인프라를 설계하고, 그 가치를 절약한 시간과 작업당 비용으로 평가해야 한다고 본다.

📌 핵심 요점

  1. 시르하티는 진료 기록 도구 덕분에 의사가 오후 5시에 퇴근할 수 있는 상황을 예로 든다. 의사가 체감하는 성과는 기록에 쓰던 시간의 절감이다. 인프라 팀도 첫 학습과 첫 추론을 실행하기까지 걸리는 시간에 더해 사용자가 실제 효과를 보기까지 걸리는 시간을 살펴야 한다.
  2. AI 팩토리는 데이터와 에너지를 투입해 토큰을 생산한다. 애플리케이션·모델·플랫폼·칩·에너지의 다섯 계층이 이 과정을 뒷받침한다. GPU를 늘려도 네트워크에서 데이터 전송이 지연되면 전체 처리량이 제한되므로 칩·네트워크·소프트웨어를 함께 설계해야 한다.
  3. 에이전트는 여러 단계에 걸쳐 문맥을 유지하고 도구를 사용한다. 강연에서 소개한 한 벤치마크에서는 작업이 평균 약 65턴 이어졌다. 업무를 맡기는 조직은 반복 연산에 드는 토큰과 메모리를 추산하고, 에이전트가 열람할 자료와 수행할 행동의 범위를 정해야 한다.
  4. 기업의 하이브리드 전략에는 두 가지 선택이 있다. 하나는 어떤 업무를 클라우드와 자체 설비에 배치할지이고, 다른 하나는 어떤 업무에 외부 모델을 쓰고 어떤 업무에 가중치 공개 모델을 직접 운용할지다. 데이터의 위치와 보안 요건, 예상 수요가 판단 기준이다.
  5. 같은 100만 토큰도 사례 연구 준비에 썼을 때와 고양이 영상 제작에 썼을 때의 가치는 다르다. 토큰 수는 사용량을, 와트당 토큰 수는 전력 효율을 보여준다. 투자 효과를 판단하려면 업무별 결과물과 작업당 비용까지 연결해야 한다.

🧩 배경과 문제 정의

  • NVIDIA AI 팩토리 책임자 카우식 시르하티가 보는 인프라의 출발점은 사용자의 업무다. 진료 기록을 마치려는 의사와 사례 연구를 하려는 학생에게 중요한 것은 필요한 도구가 빠르고 안정적으로 작동하는지다.
  • 기업과 대학은 한정된 예산 안에서 어떤 AI 프로젝트를 먼저 추진할지 정해야 한다. 프로젝트마다 필요한 데이터, 보안 요건, 연산 자원이 다르고, 실험하기 전에는 어느 프로젝트가 성과를 낼지 알기 어렵다.
  • 여러 단계에 걸쳐 일하는 AI 에이전트는 단순한 질의응답보다 긴 문맥을 유지하고 더 많은 토큰을 소비한다. 조직은 늘어나는 수요를 감당할 인프라와 그 투자가 실제 업무에 주는 가치를 함께 따져야 한다.

🕒 시간순 섹션별 상세정리

1. AI 인프라의 최종 고객은 실제로 일을 수행하는 사용자다

  • NVIDIA는 AI 기업, 은행, 병원, 대학을 함께 서비스를 만드는 파트너로 본다. 그 서비스로 업무를 수행하는 사람과 기계, 에이전트가 최종 고객이다. [02:53]
  • 스탠퍼드 병원 의사가 AI 기록 도구 덕분에 오후 5시에 퇴근할 수 있다면, 의사가 체감하는 가치는 절약한 시간이다. GPU 기종이나 클라우드와 교내 데이터센터 중 어디에서 도구가 돌아가는지는 사용자의 주된 관심사가 아니다. [04:36]

2. AI 팩토리는 데이터와 에너지를 업무 성과로 바꾸는 생산 시설이다

  • 전통적인 데이터센터는 데이터를 보관하는 비용 센터로 여겨졌다. AI 팩토리에서는 연산 장비, 네트워크, 소프트웨어가 데이터와 에너지를 투입받아 토큰을 생성한다. 시르하티는 그 산출물을 토큰뿐 아니라 토큰이 전달하는 지능과 이를 활용해 얻는 사업 성과까지 포함해 보여준다. [05:37]

3. 프로젝트 우선순위를 정하면서 실험의 여지를 남겨야 한다

  • 가상의 스탠퍼드 최고정보책임자(CIO)에게 병원은 환자 기록과 미국 의료정보 보호 규정인 HIPAA를 고려한 AI 도구를 요구한다. 교수마다 수업에서 AI를 활용하려는 방식이 다르고, 연구자는 빠른 연산 자원과 최신 모델을, 학생은 다양한 모델에 대한 접근을 원한다. [06:49]
  • 한 시간 동안 아이디어를 모아 100개 프로젝트가 나온다고 해도 어느 학과와 과제에 자원을 먼저 배정할지는 별개의 결정이다. 기대 수익을 따지지 않고 착수하는 위험이 있지만, 성공할 과제를 미리 알 수 없으므로 여러 실험을 해볼 여지도 필요하다. [08:12]

4. 데이터·보안·비용을 검토하고 첫 학습과 추론까지의 시간을 따진다

  • 우선 과제를 다섯 개로 좁혔다고 가정하면, 다음 질문은 데이터가 어느 애플리케이션에 흩어져 있고 품질과 보강 필요성은 어떤가이다. 그다음에야 학습 등 용도에 맞는 GPU와 네트워크를 고르고 자체 구축과 클라우드 임차를 비교할 수 있다. [08:54]
  • 학생·환자 정보와 오랜 연구 자료를 다루려면 설계 단계부터 보안을 고려해야 한다. 경영진이 빠른 전략 수립을 요구하는 동안 재무책임자는 각 프로젝트가 비용을 들일 만큼 유용한지 묻는다. [09:45]

5. AI 팩토리의 다섯 계층은 애플리케이션에서 에너지 기반까지 계속된다

  • NVIDIA와 파트너들이 함께 구축하는 팩토리의 최상단에는 산업별 애플리케이션이 있다. 학생·의사·은행원이 직접 판단하는 것은 애플리케이션의 속도와 신뢰성, 제공하는 데이터의 품질이다. [11:18]
  • 그 아래 모델 계층에서는 최적화와 분산 추론 기술이 발전해진다. 플랫폼 계층에서는 조직이 어떤 데이터를 클라우드에서 처리하고 어떤 인프라를 자체 시설에 구축할지 선택한다. [12:21]

6. 에이전트에 일을 맡기려면 업무 맥락과 피드백이 필요하다

  • 시르하티는 한 번 질문해 답을 받는 생성형 AI를 자판기에, 에이전트형 AI를 새로 채용한 동료에 비유한다. 새 동료가 업무 안내서를 읽고도 실수하듯 에이전트도 오류를 낼 수 있다. 지침을 고치고 빠진 정보를 보충해야 다른 동료와도 협업할 수 있다. [14:54]

7. 에이전트형 작업은 더 긴 문맥과 반복 연산을 요구한다

  • 시르하티가 인용한 SemiAnalysis의 2023년 벤치마크 사례에서는 입력 시퀀스 길이가 약 1천, 이전 연산 결과를 보관하는 KV 캐시 크기가 약 4천이었고, 질의응답은 보통 3턴이었다. [15:27]
  • 강연에서 비교한 에이전트형 벤치마크 사례에서는 입력 길이가 약 14만 2천, KV 캐시 크기가 약 100만이었다. 에이전트는 평균 약 65턴에 걸쳐 작업했고 하위 에이전트는 4개였다. [15:54]

8. 산업별 연산 수요는 대화형 AI보다 넓다

  • CUDA 라이브러리는 신약 개발과 생명과학, 제조, 공급망 분야의 애플리케이션에도 쓰인다. 이런 연산 자원의 수요처에는 AI 연구소와 AI 기반 신생 기업, 기존 기업, AI 인프라에 특화한 클라우드 사업자, 대형 클라우드 사업자가 모두 포함된다. [17:45]

9. 토큰 수요를 예측하려면 먼저 토큰의 용도를 알아야 한다

  • 토큰은 팩토리의 산출량과 투자수익률(ROI)을 연결하는 출발점이다. 사례 연구를 준비하는 데 쓴 100만 토큰과 고양이 영상을 만드는 데 쓴 100만 토큰은 수량이 같아도 쓰임이 다르다. 조직은 부서별 업무와 텍스트·이미지 등 필요한 결과물을 함께 살펴야 한다. [19:33]
  • AI 이용이 늘면 토큰 수요와 소비도 증가한다. CIO와 인프라 팀은 증가분을 예상하고 누가 비용을 부담할지 정한 뒤, 예상 수요에 맞춰 클라우드 임차와 자체 구축의 경제성을 비교해야 한다. [20:28]

10. 토큰을 사업 가치로 바꾸는 방식은 기업의 수익 구조에 따라 다르다

  • 대형 클라우드와 AI 특화 클라우드 사업자는 다른 회사에 인프라를 빌려주고 대가를 받는다. 처음부터 AI를 기반으로 설립한 기업은 토큰을 활용해 제공하는 제품과 서비스 자체가 수익 모델의 중심이다. [21:20]
  • 기존 기업은 내부 생산성과 고객용 제품 양쪽에서 투자 효과를 찾을 수 있다. 내부적으로는 기존 절차의 일부를 빠르게 처리하는 데서 더 나아가 업무 방식 전체를 다시 설계할 수 있고, 소매은행은 고객용 앱에 AI 기능을 넣어 수익화할 수 있다. [22:13]

11. 토큰 거버넌스에는 작업별 모델 선택이 포함된다

  • 조직은 보안과 함께 어떤 업무를 어느 모델에 맡길지 정해야 한다. 복잡한 작업은 고성능 모델로 보내고 단순한 작업은 그 정도 성능이 필요하지 않은 모델로 보내는 방식이 모델 라우팅이다. [22:55]

12. 대규모 클라우드 팩토리와 기업용 팩토리는 출발 조건이 다르다

  • 대형 클라우드 사업자와 AI 연구소 등이 짓는 초대형 팩토리는 수천 개의 GPU를 갖춘 시설을 처음부터 구축한다. 인프라를 임차하는 고객에게 대량의 토큰을 공급하는 형태다. [23:46]
  • 기존 기업에는 공랭식 데이터센터가 많고, 수랭식은 전력 효율이 더 높다. 기업은 기존 시설을 현대화하거나 외부 데이터센터 공간을 빌릴 수 있다. 기업용 팩토리는 GPU 16개나 32개로 시작해 필요에 따라 확장할 수도 있다. [24:38]

13. 하이브리드 전략은 인프라 위치와 모델 선택이라는 두 축을 갖는다

  • 시르하티는 많은 기업이 일부 작업은 클라우드에서, 일부는 자체 시설에서 처리할 것으로 전망한다. 또 하나의 선택은 최신 파운데이션 모델을 손쉽게 이용할 업무와 가중치를 내려받을 수 있는 모델을 직접 운용할 업무를 나누는 일이다. [25:41]
  • 대학의 경우 일부 데이터는 외부 모델에서 처리하되, 기관의 핵심 데이터로는 가중치 공개 모델을 미세조정해 자체 모델로 관리할 수 있다. 시르하티는 많은 기업이 인프라와 모델 양쪽에서 이런 병행 전략을 택할 것으로 본다. [26:14]

14. 연산 칩의 발전과 네트워크 성능이 함께 토큰 생산 비용을 좌우한다

  • 강연 시점에 NVIDIA의 연산 칩은 호퍼(Hopper)를 거쳐 블랙웰(Blackwell) 세대에 있었고, 다음 세대로 베라 루빈(Vera Rubin)을 준비하고 있었다. 세대 전환을 통해 해마다 토큰당 비용과 지능을 제공하는 비용을 낮추는 것이 회사의 목표다. [27:24]
  • 네트워크에서 동서 방향 통신은 GPU 클러스터 간 연결인 스케일아웃을, 남북 방향 통신은 외부 시스템과 스토리지 연결을 담당한다. 스케일업은 한 랙 안에서 연산 자원을 연결하는 방식이다. [28:20]

15. 소프트웨어는 팩토리를 운영하고 AI를 생성하는 두 역할을 맡는다

  • 인프라 소프트웨어는 네트워크와 연산 장비가 통신하고 연산 장비가 상위 계층과 연동되도록 조율한다. 여기에 AI를 생성하는 소프트웨어가 더해지며, NVIDIA도 그 소프트웨어를 공급한다. [29:56]

16. AI 팩토리의 성능을 좌우하는 파트너 간 공동 설계

  • NVIDIA에서 직접 살 수 있는 제품은 드물다. 대형 클라우드 사업자, 기반 모델 개발사, 장비 제조사 등 파트너 생태계가 컴퓨팅·네트워킹·소프트웨어에 이은 계주 팀의 네 번째 주자다. [30:37]
  • 계주에서 바통을 넘기는 연습을 하듯 수백 개 기업의 수백 개 제품이 맞물리는 지점을 조율해야 한다. 칩과 네트워크, 소프트웨어를 함께 설계해야 토큰 산출량과 시스템 전체 성능을 높이고 규모를 키울 수 있다. [31:38]

17. 연간 로드맵과 사용자 수요에 맞춘 설비 규모

  • NVIDIA가 로드맵을 공개하는 이유는 연구자·개발자·파트너가 함께 설계할 수 있게 하기 위해서다. 호퍼에서 블랙웰, 베라 루빈으로 이어지는 1년 주기에 GPU뿐 아니라 네트워크 칩과 소프트웨어의 개발 일정도 맞춘다. [32:30]
  • 신약 개발 파트너 사례에서는 사용자가 어떤 작업에 토큰을 쓸지부터 따졌다. 작업별로 적합한 연산 자원을 비교하고, 예상 작업 배분과 가동률을 바탕으로 AI 팩토리의 구성을 정했다. [33:19]

18. 기업 에이전트의 출발점인 보안과 사내 데이터

  • 카우식 시르하티는 모든 기업이 결국 AI를 중심으로 일하게 되고 전환이 늦은 기업은 뒤처질 것으로 봤다. 에이전트를 도입할 때는 설계 단계부터 무엇을 열람하고 어떤 행동을 하는지 파악할 수 있어야 한다. [34:30]
  • 기업이 수년간 축적한 데이터는 에이전트가 활용할 수 있는 고유 자산이다. 시르하티는 기업들이 보유 데이터를 AI에 연결하면서 스스로 예상하지 못했던 활용 가능성을 발견한다고 설명했다. [34:54]

19. 에이전트의 판단을 실제 업무로 연결하는 도구와 권한

  • 아이가 좋아하는 과자를 사러 갈 때는 기억을 바탕으로 매장을 찾아가고, 진열대를 살펴본 뒤 하나를 고른다. 잘못 골랐다는 피드백을 받으면 다시 선택한다. 에이전트도 기억과 현재 맥락을 바탕으로 주변을 관찰하고 추론한 뒤 행동한다. [36:44]
  • 에이전트가 처리할 수 있는 업무의 범위는 연결 도구에 달려 있다. 이메일·슬랙·문서 저장소에서 정보 부서가 허용한 자료를 가져올 수 있고, NVIDIA는 에이전트가 CUDA 라이브러리도 이용할 수 있게 했다. [37:25]

20. 부서별 도구 구매에서 NVIDIA의 전사 AI 전략으로

  • NVIDIA에서도 처음에는 부서마다 선호하는 도구를 골랐고 일부 직원은 직접 결제했다. 여러 부서에서 도구를 요구하기 시작하자 회사 차원의 이용 기준과 전략이 필요해졌다. [40:07]
  • 시르하티에 따르면 NVIDIA의 월간 토큰 사용량은 수조 개 규모였고, 일부 경우에는 전월 대비 40%씩 늘었다. 경영진은 전 직원이 AI를 사용해야 한다는 방향을 제시했다. [40:38]

21. 네트워킹 소프트웨어가 NVIDIA 합류로 이어진 경로

  • 인도의 소도시에서 자란 시르하티는 공학을 공부한 뒤 경영대학원을 거쳐 창업에 뛰어들었다. 실패한 사업도 있었고, 그가 참여한 스타트업 가운데 하나는 트위터에, 다른 하나는 큐뮬러스 네트웍스에 인수됐다. 이후 NVIDIA가 큐뮬러스를 인수했다. [43:49]
  • 시르하티에 따르면 젠슨 황과 NVIDIA 팀은 AI 인프라가 커질수록 네트워킹이 중요해진다고 봤다. 그는 큐뮬러스 소프트웨어가 기업과 대형 클라우드 사업자의 AI 팩토리를 구동하는 핵심 구성 요소가 됐다고 평가했다. [44:52]

22. 네오클라우드의 변동성과 인프라 투자 수요

  • 진행자는 높은 부채 의존도와 빠른 하드웨어 교체 주기를 짚으며, 최근 변동성이 네오클라우드 사업 모델에 국한된 현상인지, AI 인프라 투자가 경제성을 앞지른 신호인지 물었다. [45:32]
  • GPU 전문 클라우드로 출발한 사업자들은 서비스 범위를 넓히고 있다. 시르하티는 인프라 투자 타당성을 점검하는 일이 업계가 성숙하는 과정의 일부라고 해석했다. [46:37]

23. 토큰 비용을 낮추는 모델·네트워크·데이터센터 혁신

  • 시르하티는 지난 몇 년간 여러 기술 계층에서 이뤄진 개선이 토큰 비용을 낮췄고, 앞으로도 모델 최적화와 인프라 개선이 함께 기여할 것으로 예상했다. [47:48]
  • 출시가 임박했다고 본 CPO 스위치는 광학 구성 요소를 스위치 안에 넣는다. 시르하티는 이 설계로 전력 소비와 외부 케이블·광학 부품 수를 줄이고 네트워크의 복원력을 높일 수 있다고 설명했다. [48:52]

24. 금융·의료·제조·교육에서 달라지는 AI의 쓰임새

  • 금융에서는 고빈도 거래·결제·소매금융에 따라 용도가 다르고, 같은 회사 안에서도 내부 업무와 고객 대상 서비스가 나뉜다. 종양학에서는 연구·임상시험 데이터를 암 조기 발견에 활용할 가능성을 살핀다. [51:13]
  • 공급망과 제조 현장에서는 에이전트 도입에 이어 물리적 환경에서 작동하는 AI가 등장하고 있다. 시르하티는 양질의 교육을 접하기 어려웠던 지역에서 AI가 교육 기회를 넓힐 가능성에도 주목했다. [51:52]

25. 핵심 업무에 적용할 때 벌어지는 도입 속도의 차이

  • 시르하티가 관찰한 기업들 가운데 AI의 가치를 확신하고 핵심 사업과 내부 절차에 적용한 곳은 전환이 빨랐다. 주변 업무부터 조심스럽게 시험하는 기업은 도입 속도가 달랐다. [52:38]
  • AI를 전제로 출발한 스타트업은 기존 업무 절차를 다시 설계할 부담이 작다. 처음부터 AI에 맞게 일을 구성할 수 있다는 점이 속도상의 이점이다. [53:30]

26. 기존 기업의 데이터 자산과 활용 장벽

  • 항공사·제조사·병원·연구대학에는 클라우드 사업자나 신생 AI 기업이 갖지 못한 데이터가 쌓여 있다. 데이터 전략을 갖추고 팀이 업무 절차를 재설계할 의지가 있다면 이 자산을 활용할 기회가 크다는 판단이다. [54:21]
  • 도입이 더딘 이유 중 하나는 데이터가 부서별로 분리돼 있다는 점이다. 서로 다른 규제 준수 요건과 데이터 주권 문제도 함께 풀어야 한다. [54:45]

27. 토큰 사용량과 업무 성과를 측정하는 기준

  • 작업당 비용, 프로젝트 비용, 투자수익률은 AI의 경제성을 판단하는 지표다. 시르하티는 기업이 측정을 시작할 때는 기본 단위인 토큰부터 세는 방법이 실용적이라고 봤다. [55:38]
  • 토큰 사용량은 기업이 AI를 얼마나 쓰는지와 직접 연결된다. AI 팩토리의 전력 효율을 평가하려면 와트당 토큰 수를 볼 수 있다. [56:14]

28. 직원의 실험 기회를 유지하면서 비용 급증을 관리하는 방법

  • 시르하티가 든 비용 급증의 전형적인 사례는 직원 개인의 여행 계획보다 개발 프로젝트의 반복 실행이었다. 한 프로젝트가 순식간에 수십억 개의 토큰을 쓸 수 있다는 것이다. [56:50]
  • 비용을 크게 늘리는 사용처에 맞춰 관리 전략을 세우면 직원들이 다양한 도구를 써 보고 실험할 여지를 유지할 수 있다. 시르하티는 이런 접근이 혁신을 촉진한다고 봤다. [57:09]

29. AI 인재가 일할 팀을 고르는 기준

  • MBA 졸업 후 일할 곳을 고른다면 회사 규모보다 팀과 직속 관리자의 태도를 우선하겠다는 것이 시르하티의 기준이다. 이미 AI를 중심에 둔 팀과, 그 방향으로 가려 하면서 도움이 필요하다고 인정하는 팀을 모두 긍정적으로 봤다. [57:52]
  • 많은 기업에서 제약이 되는 자원은 부지나 전력뿐 아니라 AI 전략을 구체화할 인재다. 그래서 혁신 의지가 있고 자신의 역량으로 그 변화를 도울 수 있는 기업을 택하겠다고 했다. [58:35]

30. 전력과 연산 제약에 대응하는 분산 추론과 모델 효율

  • 청중 질문은 이르면 내년부터 전력이나 연산 자원 확보가 데이터센터 증설을 제약할 가능성을 제기했다. 같은 연산량으로 모델이 더 많은 일을 하는 방법과, 같은 전력으로 더 많은 연산을 수행하는 방법 중 어디에 개선 여지가 큰지가 쟁점이었다. [59:22]
  • 시르하티는 여러 계층에서 효율 개선이 가능하다고 봤다. 구체적으로 여러 연산 자원에 작업을 나누는 분산 추론, 이를 지원하는 모델, 성능이나 연산 효율을 높이도록 최적화한 모델을 꼽았다. [59:57]

31. 같은 예산으로 얻는 AI 성능과 작업에 맞는 연산 자원

  • 시르하티는 100만 달러를 예로 들어, 지난해와 같은 금액을 쓰더라도 올해와 내년에 얻을 수 있는 AI 성능은 계속 높아져야 한다고 봤다. [1:00:25]
  • 엔비디아는 다섯 계층을 수직으로 통합하면서도 고객이 각 계층에서 선택할 여지를 둔다. 시르하티는 공급이 빠듯한 상황에서도 실제 사용자와 애플리케이션이 처리할 작업을 기준으로 삼으면 대다수 기업이 원하는 연산 자원을 확보할 수 있다고 봤다. [1:01:46]

32. 대규모 인프라 증설과 기업 데이터센터 현대화의 병목

  • 대규모 증설에서는 칩 공급, 전력, 인허가, 숙련 인력의 준비 시기가 서로 맞아야 한다. 수요와 투자 규모가 큰 만큼, 업계는 미국을 비롯한 각국 정부와 인프라 구축이 국가 주권에 갖는 의미도 논의하고 있다. [1:03:52]
  • 개별 기업의 주된 과제는 기존 데이터센터를 현대화하는 일이다. 여기에는 대규모 신규 시설을 지을 때와 다른 설계가 필요하다. [1:04:07]

33. 소프트웨어 개발과 고빈도 거래에서 앞선 AI 도입

  • 시르하티는 업종을 통틀어 소프트웨어 엔지니어가 가장 이른 도입층일 가능성이 크다고 봤다. 그가 아는 개발자 대부분은 AI에 코드 작성을 맡기고 있으며, 이 과정에서 토큰 사용량도 급증했다. [1:05:21]
  • 조직 문화와 토큰 사용 비용이 맞으면 AI 인프라 전체를 빌려 쓸 수 있다. 일부 기업은 비용을 최적화하거나 모델 선택의 유연성을 확보하기 위해 직접 구축한다. [1:05:50]

34. 뉴스 요약과 시제품 제작으로 얻은 실무 효과

  • 시르하티는 밤사이 달라진 엔비디아와 AI 업계 소식을 따라가기 위해 관심 조건에 맞는 뉴스를 에이전트가 요약해 슬랙으로 보내도록 했다. [1:07:39]
  • 모델별 토큰 비용을 비교하는 도구를 만들 때는 여러 부서가 회의를 거듭하기 전에 시제품부터 빠르게 만들었다. 담당자들은 시제품을 보며 필요한 기능에 합의할 수 있었고, 팀은 파트너 지원용 도구에도 이 방식을 쓰기 시작했다. [1:08:34]

35. 개인의 AI 활용에서 팀 업무 재설계로

  • 엔지니어링 밖에서는 이메일 작성이나 조사처럼 혼자 처리하는 일에 AI 활용이 집중되는 경향이 있다. 팀 단위로 확대하려면 구성원들이 현재 업무 절차에 먼저 합의해야 AI로 어느 부분을 바꿀지 판단할 수 있다. [1:09:25]
  • 시르하티의 팀은 화이트보드에 업무 흐름을 그려 놓고, 사람이 직접 하던 일 가운데 무엇을 AI에 맡길지 검토한다. [1:09:42]

🧾 결론

  • 프로젝트를 고를 때는 먼저 누가 어떤 일을 더 빠르고 안정적으로 끝낼 수 있는지 정해야 한다. 그러면 필요한 데이터와 적합한 모델, 연산 자원을 차례로 좁힐 수 있다.
  • 설비 규모는 실제 작업의 구성과 가동률에 맞춰 정할 수 있다. 시르하티는 기업용 팩토리가 GPU 16개나 32개로 시작해 수요에 따라 확장하는 예를 들었다.
  • 비용 관리는 토큰 소비가 급증하는 작업에 집중할 수 있다. 시르하티는 개발 프로젝트의 반복 실행을 그 예로 들며, 직원들이 새 도구와 업무 방식을 시험할 여지도 남겨야 한다고 봤다.

📈 투자·시사 포인트

  • 클라우드 사업자는 인프라 임대료로 투자비를 회수하고, 기존 기업은 내부 업무의 시간 절감이나 고객용 제품의 수익에서 효과를 찾는다. 같은 토큰 수요 증가도 누가 비용을 내고 어디에서 수익이 생기는지에 따라 의미가 달라진다.
  • 자체 구축과 클라우드 임차의 경제성을 비교하려면 업무별 예상 사용량과 가동률이 필요하다. 기존 기업에는 보유한 데이터센터의 전력·냉각 설비를 현대화하는 비용도 중요한 변수다.
  • 대규모 증설에서는 칩 공급, 전력, 인허가, 숙련 인력의 준비 시기가 맞아야 한다. 설비 투자 계획을 평가할 때는 장비 확보 규모와 함께 실제 가동을 시작할 수 있는 시점도 살펴야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 평균 약 65턴은 강연에서 비교한 특정 에이전트 벤치마크의 결과다. 기업의 토큰 예산을 추산하려면 해당 기업의 작업 길이와 반복 횟수를 직접 측정해야 한다.
  • 시르하티가 언급한 월간 수조 개의 토큰 사용량은 NVIDIA 내부 사례이며, 전월 대비 40% 증가는 일부 경우에 해당한다. 이 수치를 다른 기업의 성장률에 적용할 근거는 강연에 제시되지 않았다.
  • 네오클라우드의 높은 부채 의존도와 빠른 장비 교체 주기는 진행자가 제기한 쟁점이다. 연산 수요가 기하급수적으로 늘 것이라는 시르하티의 전망만으로 개별 사업자의 투자 회수 가능성을 판단하기는 어렵다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 우선 검토할 업무 하나를 골라 현재 소요 시간과 필요한 결과물의 품질을 기록하고, AI 도입 후 같은 기준으로 비교한다.
  • 시범 운영에서 작업당 토큰 수와 비용, 첫 추론까지 걸린 시간, 사용자가 처음으로 시간을 절약한 시점을 각각 기록한다.
  • 필요한 데이터의 위치·품질·접근 권한을 확인한 뒤, 예상 작업량과 가동률을 같은 조건으로 두고 클라우드 임차와 자체 구축 비용을 비교한다.
  • 토큰 소비가 큰 반복 작업을 찾아 어떤 단계에 고성능 모델이 필요한지 검토하고, 모델을 바꿨을 때 결과물의 품질과 작업당 비용을 함께 확인한다.

❓ 열린 질문

  • 우리 조직에서 토큰 사용량 증가가 실제 업무 시간 절감이나 고객용 제품의 수익으로 이어지는 과제는 무엇인가?
  • 예상 가동률과 기존 시설의 현대화 비용을 함께 계산하면 어느 수요 수준에서 자체 구축이 클라우드 임차보다 경제적인가?
  • 에이전트가 더 긴 업무를 맡을 때 추가로 쓰는 토큰과 메모리에 비해 사용자가 얻는 시간 절감은 얼마나 커지는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.