구글의 초대형 TPU 8i Max, 8tx 기습 출시, NVIDIA 대항 자체 칩 개발 가속

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

구글의 TPU 8i Max와 8tx 발표는 칩 결합·메모리·소프트웨어·보안을 함께 강화해 엔비디아에 맞설 선택지를 넓히려는 움직임이며, 경쟁력은 실제 고객의 비용과 품질 검증에 달려 있다.

📌 핵심 요점

1. TPU 8i Max는 기존 AI 칩 두 개를 한 패키지에 담아 연산 능력과 HBM 대역폭을 각각 두 배로 높였다. HBM 용량은 288GB에서 384GB로 약 33% 늘어, 용량보다 데이터 공급 속도 개선에 무게를 둔 구성이다.
2. 같은 랙 공간에 연산용 실리콘을 더 넣으면 처리량을 늘릴 여지가 생긴다. 다만 실제 효과는 모델·전력·냉각 조건에 좌우되므로 연산 능력 두 배를 전기료 절반으로 해석해서는 안 된다.
3. TPU Sync는 당장 사용하지 않는 KV 캐시를 서버의 일반 메모리로 옮겼다가 재사용한다. 반복 계산을 줄이고 HBM 공간을 확보하는 방식이며, 첫 응답 대기 시간 최대 90% 감소는 이전 세대 TPU의 특정 내부 시험 결과다.
4. 영상이 소개한 이전 세대 TPU 비교에서는 GLM 5.2를 양쪽 모두 FP8로 실행했을 때 TPU가 비용 효율에서 앞섰다. 엔비디아에 FP4를 적용하면 대부분의 속도 구간에서 결과가 뒤집혀, 모델·정밀도·정확도·응답 속도를 함께 비교해야 한다.
5. 구글은 PyTorch 지원과 민감 데이터 보호 구성도 강화하고 있다. 영상은 기존 엔비디아 장비를 유지하면서 추가 작업 일부를 TPU에 배분하는 방식에서 대체 효과가 먼저 나타날 수 있다고 본다.

🧩 배경과 문제 정의

AI 서비스는 계산 성능뿐 아니라 필요한 데이터를 제때 공급하는 메모리 성능에 영향을 받는다. 긴 문서를 읽고 후속 질문을 이어가는 사용자가 많아지면, 현재 계산에 필요한 데이터와 나중에 재사용할 계산값이 HBM 공간을 함께 차지한다.

영상은 구글의 TPU 발표를 통해 세 가지를 살핀다. 칩과 메모리가 어떻게 바뀌었는지, 그 변화가 운영비를 줄이는 경로는 무엇인지, 고객이 엔비디아 대신 또는 함께 사용할 수 있는 범위는 어디까지인지다. 판단의 기준은 실제 서비스에서 요구하는 품질과 응답 속도를 만족하면서 전체 비용을 낮출 수 있느냐에 있다.

🕒 시간순 섹션별 상세정리

1. AI 계산을 따라가야 하는 메모리

• 구글은 자사 모델과 외부 고객용으로 TPU를 사용한다. 영상은 이번 발표를 칩 개선과 소프트웨어 지원을 함께 살피며 엔비디아와 비교할 계기로 제시한다. [00:57]
• AI가 답변을 생성할 때는 모델 내부 수치와 앞선 입력을 계속 참고한다. 필요한 데이터가 늦게 도착하면 계산 장치가 기다리므로 긴 문서와 동시 요청이 많을수록 데이터 공급이 중요해진다. [01:34]
• HBM은 AI 칩 가까이에서 데이터를 공급한다. 용량은 담을 수 있는 양이고 대역폭은 한 번에 옮길 수 있는 양으로, 영상은 이를 물탱크와 수도관 굵기에 비유한다. [02:03]

2. 두 칩을 결합한 TPU 8i Max

• 기존 AI 칩 두 개를 한 패키지에 담아 연산 능력과 HBM 대역폭을 각각 두 배로 높였다. HBM 용량은 288GB에서 384GB로 약 33% 늘었다. [02:30]
• 구글 설명에 따르면 기존 랙 공간에 연산용 실리콘을 두 배 넣을 수 있어 같은 면적에서 처리량을 늘릴 여지가 있다. 실제 처리량은 모델과 전력·냉각 조건에 달려 있다. [02:52]
• 연산 능력 두 배라는 사양이 전기료 절반을 뜻하지는 않는다. 하드웨어 성능 증가와 실제 운영비 절감은 별도로 확인해야 한다. [03:00]

3. TPU Sync가 줄이려는 반복 계산과 메모리 점유

• KV 캐시는 앞서 읽은 내용의 중간 계산값을 저장해 후속 질문에 재사용하는 방식이다. 긴 문서를 다루는 사용자가 많아지면 이 계산값이 HBM 공간을 압박한다. [03:59]
• TPU Sync는 당장 쓰지 않을 계산값을 서버의 일반 메모리로 옮겼다가 다시 가져온다. 반복 계산을 줄이고 다른 요청을 받을 HBM 공간을 확보하며, 데이터 이동 중에도 다른 계산을 진행하도록 한다. [04:28]
• 긴 입력을 재사용한 이전 세대 TPU 내부 시험에서 첫 응답 대기 시간이 최대 90% 줄었다고 보여준다. 엔비디아도 Dynamo로 캐시 재사용과 GPU 밖 메모리 활용을 지원하며 운영 낭비를 줄이는 경쟁을 벌인다. [05:15]

4. 비용 비교를 바꾸는 모델과 정밀도

• 영상이 소개한 SemiAnalysis 비교에서는 이전 세대 Ironwood와 엔비디아 장비에 GLM 5.2를 FP8로 실행했다. 긴 내용을 놓고 반복 대화하는 조건에서 TPU가 같은 비용으로 더 많은 답변을 생성했다. [05:56]
• 엔비디아에 FP4를 적용하면 대부분의 속도 구간에서 비용 우위가 뒤집혔다. 정확도도 일부 낮아져, 모델·정밀도·요구 정확도·응답 속도를 함께 명시해야 비교가 성립한다. [06:30]
• 신형 8i Max의 직접 비교 실측은 제시되지 않았다. 번역 수정이나 코드 오류의 재처리 비용까지 포함해 자기 서비스에서 견적을 검증필요가 있다. [07:08]

5. 도입 장벽을 낮추고 추가 주문을 겨냥하는 전략

• 구글은 PyTorch 지원을 강화해 기존 모델과 도구를 TPU에서 시험할 경로를 넓혔다. 개발팀의 이전 작업이 길어지면 서버 비용 절감보다 전체 비용이 커질 수 있기 때문이다. [08:10]
• 보안용 구성은 AMD 서버 CPU를 조합해 처리 중인 데이터와 모델 내부 정보를 하드웨어로 보호하도록 묶인다. 구글은 메모리·도구·보안 요구를 채우고 기존 칩을 활용해 새 설계에 드는 시간을 줄이려 한다. [09:00]
• 앤트로픽은 엔비디아 GPU·구글 TPU·아마존 Trainium을 함께 사용하며 용량을 늘리는 사례로 드러난다. 영상은 추가 수요 일부가 TPU로 향할 가능성을 짚고, 마지막까지 실제 고객 모델의 비용과 품질이 운영비 절감으로 이어지는지 확인해야 한다고 강조한다. [10:21]

🧾 결론

• 이번 발표의 핵심은 칩 사양 개선과 함께 캐시 관리, 개발 도구 지원, 보안 등 고객의 도입 조건을 갖추는 데 있다.
• TPU는 특정 모델과 운영 조건에서 엔비디아와 비용을 비교할 선택지다. 신형 8i Max의 직접 비교 실측은 영상에 제시되지 않았다.
• 고객이 판단할 기준은 요구하는 품질과 속도를 만족하는 데 드는 전체 비용이다. 이전 작업과 오류 재처리 비용도 여기에 포함해야 한다.

📈 투자·시사 포인트

• 엔비디아와 구글의 경쟁은 기존 장비 교체뿐 아니라 늘어나는 연산 수요의 추가 주문을 누가 확보하는지에서도 관찰필요가 있다.
• 긴 문서를 반복해서 다루는 서비스에서는 메모리 대역폭과 KV 캐시 재사용이 운영비를 좌우할 수 있다. 연산 성능 수치만으로 경쟁력을 판단하기 어렵다.
• PyTorch 지원과 보안 기능이 실제 도입 장벽을 얼마나 낮추는지가 고객 시험과 후속 주문으로 이어지는지 확인해야 한다.
• 영상의 앤트로픽 사례는 여러 종류의 AI 칩을 함께 사용하는 조달 방식을 보여준다. TPU 물량 증가를 엔비디아 사용 중단으로 곧바로 해석하기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• 신형 TPU 8i Max와 엔비디아 장비를 직접 비교한 실측은 발표 자료에 없다고 영상은 설명한다. 이전 세대 결과를 신형의 우위로 확대할 근거는 부족하다.
• TPU Sync의 최대 90% 대기 시간 감소는 이전 세대 TPU에서 긴 입력의 앞부분을 반복 재사용한 내부 시험 결과다. 일반적인 서비스에서 같은 개선 폭이 나오는지는 확인이 필요하다.
• FP8과 FP4 비교에는 정확도 차이도 있었다. 답변 생성 비용 절감이 수정·재처리 비용 증가로 상쇄되는지 살펴야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실제 서비스 모델을 대상으로 TPU와 엔비디아의 답변 품질·응답 속도·비용을 같은 기준으로 비교한다.
• FP8·FP4 등 정밀도별로 번역 수정량이나 생성 코드의 작동 여부를 평가하고, 재처리 비용을 포함한다.
• 긴 입력의 반복 사용 비율에 따라 TPU Sync의 캐시 재사용 효과와 첫 응답 대기 시간을 측정한다.
• PyTorch 기반 모델과 기존 도구의 이전 가능성을 시험하고, 개발 인력 투입 비용을 견적에 반영한다.

❓ 열린 질문

• 신형 TPU 8i Max는 어떤 모델과 서비스 조건에서 엔비디아보다 낮은 전체 운영비를 제공할까?
• 캐시 재사용이 적거나 매번 새로운 입력을 처리하는 서비스에서도 TPU Sync의 효과가 충분할까?
• 개발 도구 지원 개선은 실제 이전 기간과 인력 비용을 얼마나 줄일까?