Will we run out of ML data? Projecting dataset size trends

🖼️ 인포그래픽

Will we run out of ML data? Projecting dataset size trends 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Epoch AI는 현재의 ML 데이터 사용 증가 추세가 지속되고 데이터 효율성 혁신이 없다는 가정 아래, 고품질 언어 데이터는 2026년 전, 저품질 언어 데이터와 이미지 데이터는 2030~2060년 사이에 병목이 될 수 있다고 전망한다.

📌 핵심 요약

이 글은 대규모 언어 모델과 이미지 모델의 학습 데이터셋 크기 증가 추세를 바탕으로, 사용 가능한 언어·이미지 데이터 재고가 언제 소진될 수 있는지 추정한다.
핵심 전망은 저품질 언어 데이터가 2030~2050년, 고품질 언어 데이터가 2026년 이전, 이미지 데이터가 2030~2060년 사이에 소진될 수 있다는 것이다.
분석은 두 가지 접근을 사용한다. 하나는 과거 데이터셋 크기 증가 추세를 미래로 연장하는 방식이고, 다른 하나는 향후 사용 가능한 컴퓨트와 Chinchilla scaling laws를 이용해 compute-optimal 데이터셋 크기를 추정하는 방식이다.
저자들은 데이터셋 수요가 데이터 생산·축적 속도보다 훨씬 빠르게 늘고 있기 때문에 현재 추세가 계속되면 데이터 재고 소진은 피하기 어렵다고 본다.
다만 저자들은 이 결론이 비현실적인 가정에 의존하며, 데이터 효율성 향상, 합성 데이터 활용, 알고리즘·경제적 요인을 반영하면 결과가 달라질 수 있다고 강조한다.

🧩 주요 포인트

이 글은 대규모 언어 모델과 이미지 모델의 학습 데이터셋 크기 증가 추세를 바탕으로, 사용 가능한 언어·이미지 데이터 재고가 언제 소진될 수 있는지 추정한다.
핵심 전망은 저품질 언어 데이터가 2030~2050년, 고품질 언어 데이터가 2026년 이전, 이미지 데이터가 2030~2060년 사이에 소진될 수 있다는 것이다.
분석은 두 가지 접근을 사용한다. 하나는 과거 데이터셋 크기 증가 추세를 미래로 연장하는 방식이고, 다른 하나는 향후 사용 가능한 컴퓨트와 Chinchilla scaling laws를 이용해 compute-optimal 데이터셋 크기를 추정하는 방식이다.
저자들은 데이터셋 수요가 데이터 생산·축적 속도보다 훨씬 빠르게 늘고 있기 때문에 현재 추세가 계속되면 데이터 재고 소진은 피하기 어렵다고 본다.
다만 저자들은 이 결론이 비현실적인 가정에 의존하며, 데이터 효율성 향상, 합성 데이터 활용, 알고리즘·경제적 요인을 반영하면 결과가 달라질 수 있다고 강조한다.

🧠 상세 정리

1. 문제의식과 핵심 전망

글의 출발점은 ML 모델, 특히 대규모 언어 모델을 계속 키우는 과정에서 학습 데이터가 병목이 될 수 있는지 묻는 것이다. Epoch AI의 전망에 따르면 저품질 언어 데이터는 2030~2050년 사이, 고품질 언어 데이터는 2026년 이전, 비전 데이터는 2030~2060년 사이에 소진될 수 있다. 이런 결과가 현실화되면 ML 발전 속도는 컴퓨트가 아니라 데이터 부족 때문에 느려질 수 있다. 다만 저자들은 이 전망이 현재의 데이터 사용·생산 추세가 계속되고 데이터 효율성의 큰 혁신이 없다는 비현실적 가정에 의존한다고 먼저 밝힌다.

2. 배경: Chinchilla 논의와 데이터 병목

배경에는 Chinchilla 관련 논의가 있다. 이 논의는 대규모 언어 모델을 확장할 때 단순히 파라미터나 컴퓨트를 늘리는 것만으로는 충분하지 않고, 적절한 양의 학습 데이터가 필요하다는 점을 부각했다. Epoch AI는 ML 입력 요소의 추세를 수집해 왔고, 그중 학습 데이터에 관한 자료를 이용해 언어 모델과 이미지 모델에서 데이터셋 크기가 과거에 얼마나 빠르게 증가했는지 추정했다. 따라서 이 글은 모델 규모 확장의 한계를 데이터 공급 측면에서 살펴보는 예측 분석으로 구성된다.

3. 방법: 과거 추세와 컴퓨트 기반 전망

저자들은 단순히 과거 데이터셋 크기 증가 추세를 미래로 연장하는 방식만으로는 오해가 생길 수 있다고 본다. 지난 10년간 데이터셋 증가 추세는 비정상적으로 큰 컴퓨트 증가에 의해 뒷받침되었기 때문이다. 그래서 글은 과거 추세 기반 전망과 함께, 향후 사용 가능한 컴퓨트 전망을 사용해 Chinchilla scaling laws에 따른 compute-optimal 데이터셋 크기를 추정한다. 이 두 접근을 통해 앞으로 모델 학습에 요구될 데이터셋 규모가 어느 수준까지 커질 수 있는지 비교한다.

4. 데이터 재고 추정: 언어와 이미지

저자들은 미래 시점의 영어 언어 데이터와 이미지 데이터 전체 재고를 확률적 모델로 추정한다. 언어 데이터의 경우 전체 데이터뿐 아니라, 대규모 언어 모델 학습에 흔히 사용되는 고품질 언어 데이터의 재고도 따로 추정한다. 이 구분은 중요하다. 전체 텍스트가 많더라도 실제 모델 학습에 선호되는 고품질 텍스트는 훨씬 제한적일 수 있기 때문이다. 반면 비전 데이터 재고 모델은 투입한 시간이 더 적어 신뢰도가 낮으며, 저자들은 이를 정확한 추정보다는 하한에 가깝게 이해하는 편이 낫다고 설명한다.

5. 결과: 데이터셋 수요가 재고보다 빠르게 증가

결과적으로 학습 데이터셋 크기 전망과 전체 데이터 재고 전망을 비교하면, 데이터셋이 데이터 재고보다 훨씬 빠르게 증가하는 것으로 나타난다. 표의 중앙값 기준으로 고품질 언어 데이터는 역사적 추세 전망에서 2024.5년, 컴퓨트 기반 전망에서 2024.1년에 소진되는 것으로 제시된다. 저품질 언어 데이터는 각각 2032.4년과 2040.5년, 이미지 데이터는 각각 2046년과 2038.8년이 중앙값으로 제시된다. 이 날짜들은 이론적으로 ML 모델 성장의 주요 제약이 컴퓨트에서 데이터로 이동할 수 있음을 의미한다.

6. 한계, 보완 가능성, 최종 판단

저자들은 분석의 불확실성이 매우 크다고 강조한다. 더 현실적인 모델은 데이터 효율성 향상, 합성 데이터 사용, 알고리즘적 요인, 경제적 요인을 반영해야 한다. 특히 데이터가 실제로 더 큰 문제가 되면 데이터 효율성을 높이려는 진전도 더 커질 수 있으며, 검색 메커니즘을 갖춘 트랜스포머나 다른 영역의 EfficientZero 같은 사례가 효율성 개선 가능성을 보여준다고 언급한다. 고품질 데이터의 경우에도 양과 질의 절충, 저품질 소스에서 고품질 데이터를 추출하는 학습된 지표 같은 가능성이 있다. 최종적으로 저자들은 2040년까지 학습 컴퓨트 기준 ML 스케일링이 데이터 부족 때문에 크게 둔화될 확률을 약 20%로 본다.

🧾 핵심 주장 / 시사점

이 글의 핵심은 데이터가 무한한 배경 자원이 아니라, 컴퓨트 확장과 함께 별도의 병목으로 부상할 수 있다는 점이다.
가장 빠르게 제약이 드러나는 영역은 전체 언어 데이터가 아니라 대규모 언어 모델 학습에 선호되는 고품질 언어 데이터다.
저자들의 전망은 강한 가정에 의존하므로 결론 자체보다 데이터 효율성, 합성 데이터, 품질 선별 기술이 향후 ML 확장의 핵심 변수라는 점이 중요하다.

✅ 액션 아이템

고품질 언어 데이터가 2026년 이전 고갈될 수 있다는 가정 아래, 핵심 모델군의 연도별 데이터 소비율을 추적해 병목 전조를 조기에 분기한다.
저품질 언어 데이터(2030~2050년)와 이미지 데이터(2030~2060년)의 소진 추정치를 생산·축적 속도 대비 수요 격차 지표로 재구성해 대응 우선순위를 정한다.
데이터 효율성 개선·합성 데이터·알고리즘·경제적 요인을 포함한 대체 계산을 실행해 Chinchilla 기반 추정값과 시나리오별 변동폭을 비교한다.

❓ 열린 질문

현재 추세 연장 가정이 고수될 때 데이터 재고 소진 시점의 불확실성은 어느 구간까지 관리 가능한 범위인가?
고품질 언어 데이터 고갈이 2026년 이전으로 제시된 조건에서 compute-optimal 추정은 투자 회수와 학습 안정성에 어떤 제약을 추가할 수 있는가?
저품질 언어 데이터와 이미지 데이터 병목이 겹칠 경우, 어느 지표를 기준으로 우선 대응 영역을 정해 분담 배치를 설계할 것인가?