Compute trends across three eras of machine learning

🖼️ 인포그래픽

Compute trends across three eras of machine learning 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Epoch AI는 1950년 이후 주요 머신러닝 모델 120여 개의 최종 학습 컴퓨트를 분석해, 학습 컴퓨트가 세 시대를 거쳐 증가했으며 2010년 이후 약 100억 배 늘었다고 정리한다.

📌 핵심 요약

글은 머신러닝 발전을 알고리즘, 데이터, 컴퓨트라는 세 요소의 상호작용으로 설명하며, 이 중 최종 학습 실행에 필요한 컴퓨트가 시간이 지나며 어떻게 변화했는지를 데이터로 분석한다.
저자들은 기존 OpenAI 연구가 약 15개 데이터포인트에 기반했고 최근 대형 모델을 충분히 포함하지 못했다는 한계를 지적하며, 1950년 이후 주요 머신러닝 시스템 120개 이상을 모은 더 큰 데이터셋을 구축했다.
학습 컴퓨트 추정에는 연산 횟수를 직접 세는 방식과 GPU 사용 시간 및 하드웨어 정보를 바탕으로 추정하는 방식이 쓰였으며, 논문들이 하드웨어와 학습 시간을 충분히 공개하지 않아 불확실성이 남는다고 설명한다.
분석 결과, 학습 컴퓨트 증가 속도는 기존에 알려진 3.4개월마다 두 배보다 느린 약 6개월마다 두 배에 가깝지만, 2010년 이후 100억 배 증가했을 정도로 여전히 매우 빠르다.
저자들은 머신러닝 학습 컴퓨트의 역사를 딥러닝 이전 시대, 딥러닝 시대, 대규모 시대의 세 구간으로 나누고, 이 구분이 최근 20년간 모델 규모와 기업 중심 대형 프로젝트의 변화를 이해하는 데 도움이 된다고 주장한다.

🧩 주요 포인트

글은 머신러닝 발전을 알고리즘, 데이터, 컴퓨트라는 세 요소의 상호작용으로 설명하며, 이 중 최종 학습 실행에 필요한 컴퓨트가 시간이 지나며 어떻게 변화했는지를 데이터로 분석한다.
저자들은 기존 OpenAI 연구가 약 15개 데이터포인트에 기반했고 최근 대형 모델을 충분히 포함하지 못했다는 한계를 지적하며, 1950년 이후 주요 머신러닝 시스템 120개 이상을 모은 더 큰 데이터셋을 구축했다.
학습 컴퓨트 추정에는 연산 횟수를 직접 세는 방식과 GPU 사용 시간 및 하드웨어 정보를 바탕으로 추정하는 방식이 쓰였으며, 논문들이 하드웨어와 학습 시간을 충분히 공개하지 않아 불확실성이 남는다고 설명한다.
분석 결과, 학습 컴퓨트 증가 속도는 기존에 알려진 3.4개월마다 두 배보다 느린 약 6개월마다 두 배에 가깝지만, 2010년 이후 100억 배 증가했을 정도로 여전히 매우 빠르다.
저자들은 머신러닝 학습 컴퓨트의 역사를 딥러닝 이전 시대, 딥러닝 시대, 대규모 시대의 세 구간으로 나누고, 이 구분이 최근 20년간 모델 규모와 기업 중심 대형 프로젝트의 변화를 이해하는 데 도움이 된다고 주장한다.

🧠 상세 정리

1. 연구의 문제의식: 머신러닝 발전에서 컴퓨트의 위치

글은 머신러닝의 진보가 알고리즘, 데이터, 컴퓨트라는 세 가지 주요 요소에 의해 움직인다는 전제에서 출발한다. 역전파 같은 알고리즘은 학습 방식을 바꾸며 효율을 높였고, 최근의 빅데이터 흐름은 더 많은 학습 자료를 가능하게 했으며, 하드웨어 발전은 더 강력하고 특화된 계산 자원을 제공했다. 그러나 이 세 요소가 각각 어느 정도로 중요한지, 특히 미래 AI 발전을 예측할 때 어떤 의미를 갖는지는 이론만으로 판단하기 어렵다고 본다. 그래서 저자들은 모델 파라미터 수나 데이터셋 크기와 함께, 최종 학습 실행에 필요한 컴퓨트가 시간에 따라 어떻게 변했는지를 대규모 데이터로 살펴보려 한다.

2. 기존 연구의 한계와 새 데이터셋의 필요성

글은 Amodei와 Hernandez의 2018년 연구가 학습 컴퓨트 추세 분석의 기반을 만들었다고 인정하면서도, 그 연구가 약 15개 데이터포인트에 의존했다는 한계를 강조한다. 해당 연구는 2012년부터 2018년까지 학습 컴퓨트가 30만 배 증가했고 3.4개월마다 두 배가 되었다고 보고했지만, GPT-3 같은 이후의 중요한 모델은 포함하지 못했다. 저자들은 이런 한계를 보완하기 위해 1950년 이후 주요 머신러닝 시스템의 학습 컴퓨트를 모은 120개 이상의 데이터셋을 구축했다. 이 데이터셋은 기존보다 훨씬 넓은 기간과 더 많은 사례를 포함하기 때문에, 컴퓨트가 머신러닝 발전의 입력 요소로서 어떤 의미를 갖는지 더 안정적으로 분석할 수 있게 한다.

3. 학습 컴퓨트 추정 방법

저자들은 학습 컴퓨트를 추정하기 위해 크게 두 가지 접근을 사용한다. 첫째는 모델 구조와 학습 과정을 바탕으로 곱셈과 덧셈 같은 산술 연산의 총량을 계산하는 방식으로, 학습 과정의 세부 정보를 알 수 있다면 비교적 직접적인 추정이 가능하다. 둘째는 모델 구조와 독립적으로 전체 학습 시간과 사용된 하드웨어 정보를 이용해 컴퓨트를 추정하는 GPU-time 방식이다. 다만 실제 논문에서는 사용한 GPU 모델, 학습 시간, 반복 횟수 같은 핵심 정보가 누락되는 경우가 많아 여러 가정을 해야 했고, 이로 인해 최종 추정치에는 불확실성이 남는다.

4. 데이터 선정 기준과 연구 범위

저자들은 1950년 이후 모든 머신러닝 시스템을 전부 수집하는 것은 현실적으로 불가능하다고 보고, 대신 역사적으로 의미 있는 마일스톤 시스템에 초점을 맞췄다. 선정 기준은 역사적 영향력이 크거나, 기존 최고 성능을 크게 개선했거나, 1000회 이상의 인용을 받은 경우처럼 명확한 중요성을 가진 시스템이다. 또한 실험 결과와 핵심 머신러닝 구성요소를 포함하고, 기존 기술 수준을 밀어올리는 목표가 있는 논문만 포함했다. 같은 시스템을 다룬 더 영향력 있는 논문이 따로 있는 경우에는 중복을 피하기 위해 제외했으며, 이를 통해 최첨단 발전의 주요 동인을 파악하려 했다.

5. 주요 결과: 기존 추정보다 느리지만 여전히 매우 빠른 증가

분석 결과의 첫 번째 핵심은 학습 컴퓨트 증가 속도가 기존 연구에서 보고된 것보다 느리다는 점이다. OpenAI의 이전 분석은 학습 컴퓨트가 3.4개월마다 두 배가 된다고 봤지만, 약 10배 더 많은 데이터를 사용한 이번 분석에서는 두 배가 되는 시간이 약 6개월에 가깝게 나타났다. 저자들은 이 차이가 과거 분석들이 빠른 발전 사례에 치우쳤을 가능성을 시사한다고 본다. 그러나 6개월마다 두 배라는 속도도 여전히 매우 빠르며, 2010년 이후 머신러닝 모델의 학습 컴퓨트가 약 100억 배 증가했다는 점에서 단순한 무어의 법칙 외삽을 크게 넘어선 흐름이라고 설명한다.

6. 세 시대 구분: 딥러닝 이전, 딥러닝, 대규모 시대

글의 두 번째 핵심 주장은 머신러닝 학습 컴퓨트의 역사를 세 시대의 추세로 나눌 수 있다는 것이다. 딥러닝 이전 시대에는 학습 컴퓨트가 대체로 무어의 법칙을 따르며 약 20개월마다 두 배가 되는 속도를 보였다. 딥러닝 시대는 2010년에서 2012년 사이에 시작된 것으로 보며, 이 시기에는 더 큰 모델, 더 큰 데이터셋, 더 많은 컴퓨트가 중심이 되면서 약 6개월마다 두 배가 되는 빠른 증가가 나타났다. 이후 2015년에서 2016년 사이에는 같은 해의 일반 딥러닝 추세보다 2~3자릿수 더 많은 학습 컴퓨트를 사용하는 대규모 모델 흐름이 분리되었다고 주장한다.

7. 대규모 시대의 특징과 해석상의 불확실성

대규모 시대의 모델들은 대체로 대기업이 주도하는 대형 프로젝트와 관련되어 있으며, 동일한 시기의 일반 딥러닝 추세에 비해 훨씬 많은 학습 컴퓨트를 사용한다는 특징을 가진다. 흥미롭게도 이 대규모 모델 집단 내부의 컴퓨트 증가 속도는 딥러닝 시대 전체 추세보다 다소 느려, 약 10개월마다 두 배가 되는 것으로 관찰된다. 저자들은 이 구분이 DeepMind와 OpenAI 같은 대규모 조직 중심 프로젝트로 연구 초점이 이동한 흐름을 이해하는 데 유용하다고 본다. 다만 어떤 모델을 대규모로 볼지, 이 추세가 실제 분기인지 아니면 잡음인지에는 모호함이 있으며, 저자들은 다양한 통계적 기준을 적용해도 추세가 크게 달라지지 않는다는 점에서 어느 정도 견고하다고 설명한다.

8. 향후 연구와 거버넌스 함의

글은 앞으로 더 많은 학습 컴퓨트 데이터를 수집하면 현재보다 더 결론적인 분석이 가능하다고 본다. 이를 위해 학습 컴퓨트와 추론 컴퓨트를 자동으로 측정하는 도구를 개발하고, 논문에서 사용한 GPU 모델이나 학습 과정의 핵심 정보를 더 투명하게 공개하는 관행이 필요하다고 제안한다. 또한 저자들은 데이터셋 크기 추세, 성능 향상에서 데이터와 컴퓨트의 상대적 중요성, 자금과 인재가 머신러닝 입력 요소에 미치는 영향도 후속 연구 주제로 제시한다. 이런 질문에 답하는 것은 미래 AI의 모습을 이해하는 데 중요하며, 강력한 AI 시스템이 등장할 가능성에 대비해 적절한 거버넌스와 안전 개입을 설계하는 데에도 도움이 된다고 본다.

🧾 핵심 주장 / 시사점

학습 컴퓨트 증가는 기존의 3.4개월 두 배 추정보다 느리게 보이지만, 2010년 이후 100억 배 증가했다는 점에서 여전히 AI 발전의 핵심 동력으로 해석된다.
세 시대 구분은 단순한 기술 연대기가 아니라, 연구 방식이 학계와 개별 모델 중심에서 대규모 자원과 기업 주도 프로젝트 중심으로 이동한 변화를 보여준다.
저자들이 반복해서 강조하는 한계는 데이터 공개 부족이다. 하드웨어, 학습 시간, 반복 횟수 같은 정보가 더 잘 공개될수록 컴퓨트 추세와 AI 발전 전망에 대한 분석의 신뢰도도 높아진다.

✅ 액션 아이템

120개 이상 모델의 학습 컴퓨트 자료를 연산 횟수 집계 방식과 GPU 사용시간 추정치로 교차 정리해 추세선을 재구성한다.
기존 OpenAI의 15개 포인트 분석 대비 120개 확장 데이터셋으로 2010년 이후 두 배 주기(약 6개월)와 100억 배 증가를 수치적으로 교차 비교한다.
딥러닝 이전/딥러닝/대규모 3단계를 동일 기준으로 정렬해 최근 20년 모델 규모 확대와 기업 중심 대형 프로젝트 전환의 연계를 정밀 분석한다.