The performance per dollar of AI chips purchased each quarter has grown by an average of 49% per year

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Epoch AI 분석에 따르면 2023~2025년 분기별로 판매된 AI 칩의 구매액 대비 이론 성능은 물가 조정 기준 연평균 49% 개선됐으며, Blackwell 세대로의 지출 이동이 주요 동력이었다.

📌 핵심 요약

• 2023년 1분기부터 2025년 4분기까지 AI 칩의 구매액 대비 성능은 연평균 49% 증가했으며, 배증 시간은 1.7년, 연간 증가율의 90% 신뢰구간은 36~66%로 추정됐다.
• 구매액 대비 성능은 2023년부터 2024년 중반까지 거의 정체됐으나 Blackwell 세대가 신규 지출의 과반을 차지하면서 급증했고, 2025년 구매분의 평균은 2024년보다 91% 높았다.
• GB300은 물가 조정 기준 P100의 2016년 출시 가격보다 약 5.5배 비싸지만 성능은 약 200배 높아, 구매액 대비 성능이 약 37배 개선됐다.
• 분석은 가격과 판매 자료가 있는 24종 가속기의 분기별 총 이론 성능을 총 구매액으로 나누며, 지출은 2025년 불변 달러로 환산하고 성능은 정밀도를 정규화한 최대 처리량으로 측정한다.
• 지표는 판매된 칩을 대상으로 하므로 실제 가동 용량이나 실사용 성능을 나타내지 않으며, NVIDIA 등의 외부 판매 가격과 Google·Amazon의 조달 원가를 함께 사용해 가격 비교 기준에도 차이가 있다.

🧩 주요 포인트

1. Blackwell로 구매 지출이 이동하면서 평균이 급상승했으므로, 연평균 49%는 세대교체에 따른 불연속적 변화를 압축한 추세다.
2. 분기별 지출 비중으로 가중한 평균이므로, 가장 효율적인 칩보다 지출의 대부분을 차지한 NVIDIA 제품이 전체 수치에 더 큰 영향을 준다.
3. 종 가속기의 이론 성능과 서로 다른 가격 기준을 결합한 지표이므로, 결과를 실제 가동 용량·실사용 성능·외부 고객의 구매 조건으로 일반화하는 데 한계가 있다.

🧠 상세 정리

1. 구매액 대비 성능의 장기 개선

Epoch AI는 2023년 1분기부터 2025년 4분기까지 각 분기에 판매된 AI 칩 전체의 구매액 대비 성능을 추정했다. 2025년 불변 달러 기준으로 이 수치는 달러당 초당 약 5.6×10¹¹ 비트 연산에서 약 1.4×10¹² 비트 연산으로 상승했다. 12개 분기 자료에 로그 선형 추세를 적합하면 연평균 증가율은 약 49%이며, 같은 비율이 유지될 때 성능이 두 배가 되는 시간은 약 1.7년이다. 부트스트랩 재표본추출로 구한 연간 증가율의 90% 신뢰구간은 약 36~66%이고, 이에 대응하는 배증 시간은 1.4~2.3년이다. 물가를 조정하지 않은 명목 달러 기준 증가율은 연 45%로, 대표 수치인 49%와 구분된다.

2. Blackwell 전환에 집중된 상승

구매액 대비 성능은 전체 기간에 걸쳐 일정한 속도로 개선되지 않았으며, 최신 세대 칩으로 구매 지출이 이동할 때 상승이 집중됐다. 2023년부터 2024년 중반까지의 개선 속도는 연 6% 수준으로 거의 정체됐지만, 이후 Blackwell 세대가 지출을 주도하면서 연간 약 두 배 수준의 증가 속도를 보였다. 연간 구매분을 비교하면 2024년의 평균 구매액 대비 성능은 2023년보다 23% 높았고, 2025년은 2024년보다 91% 높았다. 분기별 표에서 GB200 지출은 2024년 4분기 77억 달러에서 2025년 1분기 197.6억 달러로 증가했고, GB300 지출은 2025년 4분기에 320.3억 달러에 도달했다. 따라서 전체 기간의 연평균 증가율은 초반 정체와 후반 세대교체에 따른 급상승을 함께 요약한 값이다.

3. 칩 가격보다 빠르게 증가한 성능

원문은 구매액 대비 성능 개선의 주된 배경으로 새로운 세대가 나올 때마다 칩의 연산 성능이 크게 증가한 점을 제시한다. 최근 칩은 이전 세대보다 비싸졌지만, 성능 증가 폭이 가격 상승 폭보다 더 컸다는 설명이다. 2025년 달러로 비교한 NVIDIA GB300의 가격은 P100의 2016년 출시 가격의 약 5.5배인 반면, 성능은 약 200배여서 구매액 대비 성능은 약 37배 높다. 개별 칩 중 Google TPU v6e는 달러당 초당 최대 약 3.6×10¹² 비트 연산을 제공하지만, 분기별 전체 구매 평균은 이보다 낮다. 현재 AI 하드웨어 지출의 대부분이 상대적으로 높은 마진을 포함하는 NVIDIA GPU에 배분되기 때문에, 일부 맞춤형 ASIC의 높은 구매액 대비 성능이 전체 평균을 그대로 대표하지는 않는다.

4. 판매량과 성능 자료의 범위

분석은 AI Chip Sales Hub의 분기별 가속기 판매량을 사용하며, 2023년 이전 자료가 부족하고 2025년 4분기 이후 판매 추정치가 완성되지 않아 해당 기간으로 범위를 한정했다. 가격과 판매 자료가 모두 있는 24종을 포함하며, NVIDIA·AMD·Google·Huawei·Amazon·Cambricon의 가속기가 대상이다. 성능에는 최대 초당 연산 횟수에 해당 수치 형식의 비트 폭을 곱한 총 처리 성능을 사용해 서로 다른 정밀도를 정규화한다. 판매 자료에서 통합된 H100/H200 항목에는 H100의 사양과 가격을 적용하고, Blackwell에는 GB200과 GB300의 GPU당 사양을 사용한다. 그래프의 기타 범주는 A800·H800, AMD·Huawei·Cambricon 제품과 TPU v6e를 제외한 Google TPU를 묶은 것이므로, 하나의 제품이나 동일한 특성의 칩 집단을 의미하지 않는다.

5. 구매 가격 추정과 물가 조정

가격은 임대료나 전체 서버 가격이 아니라 가속기 카드 또는 모듈의 대표 구매 가격이며, 대량 출하가 시작된 무렵 구매자가 지불한 금액을 추정한다. NVIDIA·AMD·Huawei에는 보고된 거래 가격, 경영진 발언, 주문 금액을 활용하고 가격 범위만 있으면 기하평균을 적용한다. Google과 Amazon에는 제조 파트너로부터 칩을 조달하는 비용을 사용하며, 부품 원가 모델과 제조 파트너의 마진을 반영한다. H100/H200에는 2023년 3만 달러, 2024년 2만 8천 달러, 2025년 2만 6천 달러를 적용하지만, 다른 칩은 모든 분기에 하나의 가격을 유지해 후속 가격 인하나 현물 가격을 포착하지 않는다. 각 분기의 지출은 소비자물가지수로 2025년 4분기 달러 가치에 맞추며, 정부 셧다운으로 2025년 10월 지수가 발표되지 않아 기준 분기에는 11월과 12월 평균을 사용한다.

6. 지출 가중 평균의 계산과 의미

분기별 구매액 대비 성능은 각 칩의 총 처리 성능에 해당 분기 판매량을 곱해 합산한 뒤, 각 칩의 가격과 판매량을 곱한 총 구매액으로 나눈 값이다. 이는 칩별 구매액 대비 성능을 해당 분기의 지출 점유율로 가중 평균한 것과 같으므로, 판매 수량만으로 가중하거나 제품별 수치를 단순 평균한 결과와는 다르다. 따라서 구매 지출 비중이 작은 고효율 칩은 개별 수치가 높더라도 분기 전체 평균에 미치는 영향이 제한된다. 2023~2025년에는 NVIDIA가 지출의 대부분을 차지했기 때문에 전체 평균도 상대적으로 가격이 높은 NVIDIA 하드웨어의 특성에 크게 영향을 받았다. 이 계산은 시장에서 실제로 판매된 제품 구성과 그에 배분된 구매액을 반영하며, 같은 제품의 사양이나 가격이 유지돼도 지출 구성이 달라지면 전체 평균이 변할 수 있다.

7. 판매된 이론 성능과 실제 활용의 차이

판매량 추정치는 각 분기에 판매된 칩을 나타내며, 해당 분기에 배치되거나 가동을 시작한 칩의 수를 나타내지 않는다. 따라서 이 지표는 출하된 하드웨어의 구매액 대비 성능을 측정할 뿐, 현재 사용 가능한 연산 용량을 직접 측정하지 않는다. 기존 칩의 감가상각과 새로 판매됐지만 아직 운영되지 않는 칩 때문에 실제 가동 용량은 판매 자료로 본 결과와 달라질 수 있다. 또한 성능은 사양표의 최대 이론 처리량을 비트 연산으로 환산한 값이며, 실사용 성능은 소프트웨어 지원, 모델 구조, 작업 형태, 랙 규모 시스템 설계, 네트워크 구성, 메모리와 상호연결 대역폭에 크게 좌우된다. 그러므로 특정 작업에서 실현되는 달러당 성능은 본 분석의 이론 수치와 상당히 다를 수 있으며, 구매액 대비 이론 성능의 개선율을 개별 작업의 개선율로 그대로 해석할 수 없다.

8. 가격 기준의 비대칭과 자료 누락

NVIDIA·AMD·Huawei의 가격은 설계사의 마진을 포함한 외부 판매 가격인 반면, Google과 Amazon의 가격은 제조 원가와 제조 파트너 마진에 가까워 동일한 거래 조건을 비교하지 않는다. 이 차이는 TPU와 Trainium의 구매액 대비 성능을 외부 구매자가 지불할 법한 가격 기준보다 유리하게 보이게 하며, 클라우드 임대 시 부과되는 Google과 Amazon의 마진도 분석에 포함되지 않는다. Google과 Broadcom이 최근 시작한 외부 고객 대상 TPU 직접 판매 역시 아직 자료에 반영되지 않았고, 실제 거래 가격은 고객·구매량·시점에 따라 달라진다. 분석 대상은 24종으로 넓지만 완전하지 않으며, 가격 추정치가 없는 Amazon의 1세대 Trainium과 Inferentia는 제외됐고 이들이 차지하는 비중은 추적된 판매 연산량의 0.5% 미만이다. 또한 Intel Gaudi, Groq, Cerebras, Microsoft Maia, Meta MTIA, Tesla Dojo처럼 판매 자료에서 추적하지 않는 가속기도 포함하지 않는다.

🧾 핵심 주장 / 시사점

• 연평균 49%의 개선은 매년 일정한 속도로 진행된 결과가 아니므로, 장기 추세와 Blackwell 전환기의 급상승을 구분해 해석할 필요가 있다.
• GB300과 P100의 비교는 칩의 절대 구매 가격이 올라가더라도 성능이 더 빠르게 증가하면 구매액 대비 성능이 개선될 수 있음을 보여준다.
• 분기 평균에는 제품 자체의 효율뿐 아니라 구매 지출 구성과 가격 산정 방식도 반영되므로, 개별 칩의 우열이나 특정 작업의 경제성을 직접 나타내는 지표로 보기 어렵다.

✅ 액션 아이템

• 연평균 49%를 인용할 때 2023~2025년 분석 기간, 2025년 불변 달러 기준, 90% 신뢰구간 36~66%를 함께 명시.
• Blackwell 전환에 따른 지출 변화와 2025년 구매분의 91% 개선을 연결해 평균 상승의 배경을 설명.
• 24종 가속기 비교 결과를 활용할 때 이론 성능과 실사용 성능의 차이, NVIDIA 외부 판매 가격과 Google·Amazon 조달 원가의 차이를 구분.

❓ 열린 질문

• Blackwell로의 지출 이동은 연평균 49% 개선과 2025년 구매분의 91% 개선에 각각 얼마나 기여했는가?
• 24종 가속기의 이론 성능 대신 실사용 성능을 적용하면 구매액 대비 성능의 증가율은 어떻게 달라지는가?
• NVIDIA의 외부 판매 가격과 Google·Amazon의 조달 원가를 동일한 가격 기준으로 맞추면 전체 평균은 어떻게 달라지는가?