🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Epoch AI는 최신 데이터 확장을 바탕으로, 프런티어 AI 모델의 학습 컴퓨트가 최근 연간 약 4~5배 속도로 증가해 왔다고 결론짓는다.

📌 핵심 요약

• 지난 10년간 최첨단 AI 모델 학습에 투입되는 컴퓨트는 크게 증가했으며, 이런 스케일 확대는 모델의 범용성과 성능 향상에 중요한 역할을 했다.
• Epoch AI는 이전 분석 이후 컴퓨트 추정 데이터베이스를 약 세 배로 확장했고, 2010년부터 2024년 5월까지 주목할 만한 모델의 학습 컴퓨트가 연평균 약 4.1배 증가했다고 분석했다.
• 출시 당시 학습 컴퓨트 기준 상위 10위 안에 든 모델을 프런티어 모델로 정의하면, 2010년부터 2024년 5월까지 약 5.3배 성장 추세가 관찰되지만, 2018년 전후 이후에는 약 4.2배로 둔화된 것으로 해석된다.
• 언어 모델은 Transformer 이후 빠르게 성장해 2017년 6월부터 2024년 5월까지 전체 주목 모델 기준 약 9.5배 증가했지만, 2020년 무렵 AI 전체 프런티어에 도달한 뒤에는 약 5배 성장 추세로 낮아진 것으로 보인다.
• OpenAI, Google DeepMind, Meta AI의 상위 모델 규모 증가도 대체로 연간 5배 안팎의 흐름과 맞아, 저자들은 향후 전망의 기본선으로 4~5배/년을 사용할 것을 권한다.

🧩 주요 포인트

1. 지난 10년간 최첨단 AI 모델 학습에 투입되는 컴퓨트는 크게 증가했으며, 이런 스케일 확대는 모델의 범용성과 성능 향상에 중요한 역할을 했다.
2. Epoch AI는 이전 분석 이후 컴퓨트 추정 데이터베이스를 약 세 배로 확장했고, 2010년부터 2024년 5월까지 주목할 만한 모델의 학습 컴퓨트가 연평균 약 4.1배 증가했다고 분석했다.
3. 출시 당시 학습 컴퓨트 기준 상위 10위 안에 든 모델을 프런티어 모델로 정의하면, 2010년부터 2024년 5월까지 약 5.3배 성장 추세가 관찰되지만, 2018년 전후 이후에는 약 4.2배로 둔화된 것으로 해석된다.
4. 언어 모델은 Transformer 이후 빠르게 성장해 2017년 6월부터 2024년 5월까지 전체 주목 모델 기준 약 9.5배 증가했지만, 2020년 무렵 AI 전체 프런티어에 도달한 뒤에는 약 5배 성장 추세로 낮아진 것으로 보인다.
5. OpenAI, Google DeepMind, Meta AI의 상위 모델 규모 증가도 대체로 연간 5배 안팎의 흐름과 맞아, 저자들은 향후 전망의 기본선으로 4~5배/년을 사용할 것을 권한다.

🧠 상세 정리

1. 스케일 확대가 성능 향상의 핵심 동력이 됨

글은 지난 10년 동안 최첨단 AI 모델을 학습시키는 데 투입된 계산 자원이 극적으로 증가했다는 관찰에서 출발한다. 저자들은 이 전략이 매우 생산적이었고, 모델의 범용성과 성능을 크게 끌어올렸다고 본다. 특히 언어 모델 성능 향상의 약 3분의 2가 모델 스케일 증가에서 비롯되었다고 추정한다. 따라서 AI 발전을 이해하고 향후 추세를 예측하려면, 학습 컴퓨트가 실제로 얼마나 빠르게 늘어났는지를 추적하는 일이 중요하다고 설명한다.

2. 업데이트된 데이터는 4~5배/년 증가를 가리킴

Epoch AI는 이전 분석 이후 컴퓨트 추정치를 크게 늘려, 세 배 더 많은 데이터를 바탕으로 추세를 다시 평가했다. 그 결과 최근 주목할 만한 모델, 학습 컴퓨트 기준 상위권 모델, 대형 언어 모델, 주요 기업의 최상위 모델 모두에서 대체로 일관된 성장 패턴이 나타났다. 저자들이 제시하는 핵심 결론은 최근 학습 컴퓨트 증가율을 연간 4~5배로 요약하는 것이 가장 적절하다는 것이다. 다만 전체 추세가 가속되었을 가능성이나 특정 시점의 둔화 같은 불확실성은 남아 있다고 명시한다.

3. 주목할 만한 모델 전체의 장기 추세는 유지됨

2010년부터 2024년 5월까지 주목할 만한 머신러닝 모델의 학습 컴퓨트는 연평균 약 4.1배 증가한 것으로 추정된다. 90% 신뢰구간은 3.7배에서 4.6배로 제시되어, 2022년 당시의 약 4배/년 추정과 대체로 부합한다. 2022년 2월 이후만 따로 보면 약 4.4배/년이지만, 이 구간은 신뢰구간이 1.5배에서 11.8배로 넓어 불확실성이 크다. 저자들은 이런 결과를 바탕으로 기존의 장기 성장 추세가 현재까지 유지되었다고 해석한다.

4. 프런티어 모델 정의와 성장률 해석

저자들은 출시 당시 학습 컴퓨트 기준으로 상위 10위 안에 든 모델을 프런티어 모델로 정의한다. 이 새 정의는 이전 논문에서 사용한 정의보다 단순하고, 이상치나 낮은 컴퓨트 모델에 덜 민감하며, 직관적으로 프런티어라고 부를 만한 모델을 더 잘 포착한다고 설명한다. 이 기준으로 보면 2010년부터 2024년 5월까지 프런티어 모델의 컴퓨트는 연평균 약 5.3배 증가했다. 또한 상위 몇 개 모델을 포함하느냐에 따라 결과가 크게 달라지지는 않는다고 보고한다.

5. 2018년 전후 프런티어 성장 둔화 가능성

프런티어 모델의 성장률이 시간이 지나며 변했는지도 중요한 쟁점으로 다뤄진다. 저자들은 업데이트된 정의와 데이터를 사용해, 지난 10년 중 어느 시점에 성장 둔화가 있었다는 강한 증거를 찾았다고 말한다. 선호하는 요약은 2018년 이후 프런티어 컴퓨트 성장률이 약 4.2배/년으로 낮아졌다는 것이다. 다만 둔화 시점, 불연속적 변화 허용 여부, 이상치 포함 여부에 따라 결과가 민감하게 변하므로, 이 해석에 높은 확신을 두지는 않는다.

6. AlphaGo 계열 모델이 추세 해석에 미치는 영향

프런티어 추세를 계산할 때 저자들은 AlphaGo Master와 AlphaGo Zero를 제외했다. 두 모델은 현대 머신러닝의 중심적 사례라기보다, 게임 시뮬레이션을 통해 데이터를 생성하는 강화학습 과정에 학습 컴퓨트의 상당 부분을 사용한 게임 플레이 시스템으로 설명된다. 이 모델들을 포함하면 프런티어 모델의 전체 추세가 크게 왜곡되어, 출시 전에는 더 빠르고 이후에는 더 느린 성장처럼 보인다. 실제로 포함할 경우 2018년 전후 불연속적 둔화 모델이 가장 잘 맞고, 최근 성장률은 약 3.3배/년으로 낮아진다.

7. 언어 모델은 2020년 무렵 프런티어에 도달한 뒤 둔화

글은 현재 가장 주목해야 할 모델군으로 언어 모델과 GPT-4 같은 멀티모달 모델을 든다. Transformer가 공개된 2017년 6월 이후 데이터를 보면, 주목할 만한 언어 모델 전체의 컴퓨트는 2024년 5월까지 연평균 약 9.5배 증가했다. 이는 전체 주목 모델 추세보다 훨씬 빠르지만, 낮은 출발점에서 AI 분야의 프런티어로 빠르게 올라온 효과일 수 있다. 상위 10개 언어 모델만 보면 2020년 중반, GPT-3 출시 시점 부근에서 둔화가 관찰되며, 이후 성장률은 약 5.0배/년으로 전체 프런티어 모델과 비슷해진다.

8. 주요 기업의 상위 모델도 비슷한 스케일링 흐름

AI 개발이 소수 주요 기업에 집중되어 있다는 점에서, 저자들은 OpenAI, Google DeepMind, Meta AI의 상위 모델 성장도 별도로 분석한다. 각 회사에서 한때 조직 내 컴퓨트 상위 10위에 들었던 모델을 기준으로 보면, 세 회사의 스케일링은 대체로 분야 전체의 추세를 따라간다. OpenAI와 Google DeepMind는 약 5배/년, Meta AI는 약 7배/년의 중앙 추정치를 보이지만 신뢰구간은 넓다. Gemini Ultra처럼 최근 큰 모델도 Google DeepMind의 장기적 추세와 어긋나는 결정적 가속 증거로 보기는 어렵다고 설명한다.

9. 미래 전망의 기본선으로서 4~5배/년

저자들이 궁극적으로 관심을 두는 것은 과거의 컴퓨트 증가가 미래 프런티어 성장을 예측하는 데 어떤 기준선을 제공하느냐이다. 글은 GPT-4와 Gemini Ultra를 현재 학습 컴퓨트 추정치가 있는 가장 큰 모델 사례로 제시하며, 각각 2e25와 5e25 FLOP 규모로 추정된다고 밝힌다. 또한 2020년 5월 출시된 GPT-3 175B가 3e23 FLOP로 학습되었다는 점을 기준점으로 삼아, 4~5배/년 추세가 현재 대형 모델 규모를 어느 정도 되짚어 설명할 수 있는지를 논의하기 시작한다. 제공된 원문은 이 계산 설명 도중 끊기지만, 전체 결론은 4~5배/년을 향후 기대의 기본선으로 삼자는 데 있다.

🧾 핵심 주장 / 시사점

• 프런티어 AI 모델의 학습 컴퓨트 증가율은 단일 숫자로 고정하기보다, 전체 주목 모델·프런티어 모델·언어 모델·기업별 상위 모델을 함께 보아야 더 안정적으로 해석된다.
• 언어 모델의 9배/년 성장률은 장기적 일반 추세라기보다 낮은 출발점에서 프런티어까지 빠르게 따라잡은 구간의 효과일 가능성이 크며, 2020년 이후에는 5배/년 안팎으로 수렴한 모습이다.
• 저자들은 4~5배/년을 실용적 기준선으로 제안하지만, 2018년 전후 둔화, AlphaGo 계열 같은 이상치, 가속 가능성 등 때문에 이 수치를 확정적 법칙이 아니라 불확실성을 동반한 요약으로 다룬다.

✅ 액션 아이템

• 프런티어 AI 전망을 세울 때 학습 컴퓨트 증가율의 기본 가정으로 연 4~5배 범위를 우선 적용한다.
• 2018년 이후 성장률 둔화 해석을 반영해 장기 예측에는 5.3배보다 4.2배 안팎의 보수적 시나리오를 함께 둔다.
• 언어 모델 관련 분석에서는 Transformer 이후 9.5배 성장 구간과 2020년 이후 약 5배 구간을 분리해 비교한다.

❓ 열린 질문

• 프런티어 모델을 출시 당시 학습 컴퓨트 상위 10위로 정의할 때, 다른 기준을 쓰면 4~5배 전망은 얼마나 달라질까?
• 2018년 전후 이후 관찰된 둔화가 일시적 변동인지, 프런티어 AI 학습 컴퓨트의 구조적 감속 신호인지가 중요하다.
• OpenAI, Google DeepMind, Meta AI의 상위 모델 흐름이 앞으로도 연 5배 안팎을 유지할 수 있을지가 핵심 변수다.