🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ATLAS는 영어 중심 스케일링 법칙의 공백을 메우기 위해 400개 이상 언어와 774회 학습 실험을 바탕으로 다국어 모델의 데이터 혼합, 모델 크기, 사전학습·미세조정 선택을 정량적으로 안내하는 연구입니다.

📌 핵심 요약

• 공개된 AI 스케일링 법칙은 주로 영어에 집중되어 있지만, AI 모델 사용자 절반 이상은 비영어권 언어를 사용한다는 문제의식에서 ATLAS 연구가 출발합니다.
• 연구진은 10M부터 8B 파라미터 모델까지 774회 학습 실행, 400개 이상 언어 데이터, 48개 언어 평가를 포함한 대규모 공개 다국어 사전학습 연구를 수행했습니다.
• ATLAS는 목표 언어 성능을 높이기 위해 목표 언어 데이터, 경험적으로 도움이 되는 전이 언어 데이터, 그 외 언어 데이터를 구분하고 각 데이터원이 실제로 돕거나 방해하는 정도를 모델링합니다.
• 언어 간 전이 행렬은 어떤 언어가 다른 언어 학습에 도움이 되는지 또는 해가 되는지를 정량화하며, 문자 체계와 언어 계통 공유가 긍정적 전이의 중요한 예측 변수임을 보여줍니다.
• 연구는 더 많은 언어를 지원할 때 필요한 모델 크기와 데이터 증가량, 그리고 다국어 체크포인트 미세조정과 목표 언어 사전학습 중 어느 쪽이 예산상 유리한지를 판단하는 실용적 기준을 제시합니다.

🧩 주요 포인트

1. 공개된 AI 스케일링 법칙은 주로 영어에 집중되어 있지만, AI 모델 사용자 절반 이상은 비영어권 언어를 사용한다는 문제의식에서 ATLAS 연구가 출발합니다.
2. 연구진은 10M부터 8B 파라미터 모델까지 774회 학습 실행, 400개 이상 언어 데이터, 48개 언어 평가를 포함한 대규모 공개 다국어 사전학습 연구를 수행했습니다.
3. ATLAS는 목표 언어 성능을 높이기 위해 목표 언어 데이터, 경험적으로 도움이 되는 전이 언어 데이터, 그 외 언어 데이터를 구분하고 각 데이터원이 실제로 돕거나 방해하는 정도를 모델링합니다.
4. 언어 간 전이 행렬은 어떤 언어가 다른 언어 학습에 도움이 되는지 또는 해가 되는지를 정량화하며, 문자 체계와 언어 계통 공유가 긍정적 전이의 중요한 예측 변수임을 보여줍니다.
5. 연구는 더 많은 언어를 지원할 때 필요한 모델 크기와 데이터 증가량, 그리고 다국어 체크포인트 미세조정과 목표 언어 사전학습 중 어느 쪽이 예산상 유리한지를 판단하는 실용적 기준을 제시합니다.

🧠 상세 정리

1. 영어 중심 스케일링 법칙의 한계

이 글은 AI 모델 사용자 중 절반 이상이 비영어권 언어를 사용하지만, 공개적으로 접근 가능한 스케일링 법칙은 압도적으로 영어에 치우쳐 있다는 문제를 제기합니다. 이런 불균형은 비영어권 사용자와 다국어 사용자를 대상으로 모델을 만들려는 개발자에게 직접적인 공백을 남깁니다. 특히 효율, 품질, 비용을 어떻게 균형 있게 설계할지에 대한 데이터 기반 지침이 부족하다는 점이 핵심 문제입니다. ATLAS 연구는 바로 이 지점을 겨냥해 영어 밖의 언어를 위한 모델 학습 결정을 정량화하려는 시도입니다.

2. 대규모 공개 다국어 사전학습 연구

연구진은 ICLR 2026에서 발표될 논문을 통해 지금까지 공개된 연구 중 가장 큰 규모의 다국어 사전학습 실험을 제시한다고 설명합니다. 실험은 10M에서 8B 파라미터에 이르는 모델을 대상으로 774회 학습 실행을 포함하며, 400개 이상 언어의 데이터와 48개 언어 평가를 사용합니다. 이를 통해 1,400개 언어 쌍 사이의 시너지까지 추정했습니다. 단순히 여러 언어를 함께 학습했다는 수준을 넘어, 특정 언어 조합이 실제 성능에 어떤 영향을 주는지 수치화한 점이 연구의 기반입니다.

3. ATLAS가 제공하는 세 가지 핵심 구성

ATLAS는 다국어 환경에서 최적의 모델 크기, 데이터 양, 언어 혼합을 결정하기 위한 실용적 접근법으로 소개됩니다. 기존 스케일링 법칙이 주로 단일 언어 상황에 집중했다면, ATLAS는 여러 언어가 섞인 더 복잡한 조건에서 목표 언어 성능을 최적화하려 합니다. 이를 위해 언어 간 전이 행렬, 지원 언어 수가 늘어날 때 모델과 데이터를 효율적으로 확장하는 스케일링 법칙, 그리고 처음부터 사전학습할지 다국어 체크포인트를 미세조정할지 판단하는 규칙을 제시합니다. 이 세 요소가 함께 작동해 다국어 모델 개발자가 데이터 혼합과 모델 규모를 더 근거 있게 선택하도록 돕습니다.

4. 목표 언어, 전이 언어, 기타 언어를 구분하는 방식

ATLAS는 MADLAD-400 말뭉치와 750회 이상의 다국어 실험을 바탕으로 세 종류의 데이터원을 구분합니다. 첫째는 실제로 성능을 높이고 싶은 목표 언어 데이터이고, 둘째는 경험적 분석상 목표 언어에 도움이 되는 유사 전이 언어 데이터이며, 셋째는 그 밖의 모든 언어 데이터입니다. 예를 들어 카탈루냐어를 목표로 할 때 스페인어, 포르투갈어, 이탈리아어 같은 라틴계 언어가 전이 언어로 고려될 수 있습니다. 이 구조 덕분에 ATLAS는 각 데이터원이 목표 언어에 얼마나 도움이 되거나 방해되는지를 학습할 수 있으며, 이전 법칙들이 다루지 못했던 다국어 혼합 효과를 반영합니다.

5. 평가와 최적 스케일링 궤적

연구진은 ATLAS가 새로운 모델 크기, 다양한 학습 데이터 양, 새로운 언어 혼합에서 성능을 얼마나 잘 예측하는지 평가했습니다. 평가는 단일 언어, 이중 언어, 대규모 다국어 설정을 포함한 750회 이상의 독립 실행에서 어휘에 민감하지 않은 손실을 기준으로 이루어졌습니다. 영어, 프랑스어, 러시아어, 중국어, 힌디어, 스와힐리어에 대해 최적 모델 크기와 데이터 크기의 확장 궤적도 분석했습니다. 결과적으로 언어별 곡선은 놀라울 만큼 비슷하지만, 다국어 어휘나 완전한 다국어 데이터를 쓰면 같은 품질을 얻기 위해 추가 계산 비용이 들며, 특히 영어에서 그 부담이 두드러진다고 설명합니다.

6. 언어 간 전이 행렬과 시너지

ATLAS 연구는 언어 A로 학습하는 것이 언어 B에 얼마나 도움이 되거나 해가 되는지를 나타내는 대규모 전이 행렬을 만듭니다. 결과는 직관적인 사례를 보여주는데, 노르웨이어는 주로 스웨덴어와 독일어에서 도움을 받고, 말레이어는 인도네시아어에서 도움을 받으며, 아랍어는 히브리어와의 관련성이 나타납니다. 영어, 프랑스어, 스페인어는 웹상의 텍스트 품질과 다양성, 양 때문에 여러 언어에 널리 도움이 되는 언어로 제시됩니다. 다만 영어가 모든 언어를 돕는 것은 아니며, A가 B를 돕는 정도와 B가 A를 돕는 정도가 항상 대칭적인 것도 아닙니다.

7. 다국어성의 저주를 스케일링 규칙으로 해석

글은 여러 언어를 함께 학습한 모델이 제한된 용량 때문에 새 언어가 추가될수록 성능 저하를 겪는 현상을 다국어성의 저주로 설명합니다. ATLAS는 이 문제를 모델 크기, 학습 데이터 양뿐 아니라 데이터에 포함된 언어 수까지 고려하는 스케일링 법칙으로 공식화합니다. 많은 실험에 이 법칙을 맞춘 결과, 언어를 추가하면 약한 용량 부담이 생기지만 동시에 높은 수준의 긍정적 전이도 발생한다고 제시됩니다. 예를 들어 지원 언어 수를 두 배로 늘리려면 모델 크기를 1.18배, 전체 데이터를 1.66배 늘리는 것이 효율적이며, 언어당 데이터가 줄어도 언어 간 시너지가 성능 저하를 상쇄할 수 있다고 설명합니다.

8. 사전학습과 미세조정 선택 기준

연구진은 열 개 언어에 대해 목표 언어로 처음부터 사전학습하는 방법과 강한 다국어 Unimax 체크포인트를 미세조정하는 방법을 비교합니다. 다국어 체크포인트는 이미 여러 언어에서 강한 성능을 갖고 있기 때문에, 추가 계산이 제한된 초기 구간에서는 미세조정이 더 좋은 선택일 가능성이 큽니다. 그러나 충분히 오래 학습할 수 있다면 목표 언어 중심의 사전학습이 장기적으로 더 나은 결과를 낼 수 있다고 설명합니다. 2B 파라미터 모델 실험에서는 교차점이 언어에 따라 대략 144B에서 283B 토큰 사이에 나타났으며, 정확한 임계값은 기본 모델과 언어 혼합에 따라 달라진다고 덧붙입니다.

🧾 핵심 주장 / 시사점

• 다국어 모델 개발에서 언어 혼합은 직감이 아니라 언어 간 전이 효과를 측정한 행렬을 바탕으로 결정해야 한다는 점이 핵심입니다.
• 지원 언어 수를 늘리는 일은 단순히 언어별 데이터를 같은 비율로 늘리는 문제가 아니며, 모델 크기와 전체 데이터 양을 함께 조정해야 효율을 유지할 수 있습니다.
• 계산 예산이 제한적이면 다국어 체크포인트 미세조정이 유리하지만, 충분한 토큰과 계산 자원이 있다면 목표 언어 사전학습이 장기적으로 더 나은 선택이 될 수 있습니다.

✅ 액션 아이템

• ATLAS 요약의 774회 실험, 400개 언어, 10M~8B 스케일을 기준으로 목표 언어 확장 시 필요한 모델 크기와 데이터량을 정량적으로 산출한다.
• ATLAS가 제시한 목표 언어, 전이 언어, 기타 언어 구분을 적용해 데이터 혼합 비중을 다시 배분하고 각 언어군의 기여도를 정량 점검한다.
• 언어 간 전이 행렬에서 문자 체계와 계통 공유를 핵심 변수로 두고 목표 성능 향상에 유리한 언어 조합의 우선순위를 정의한다.

❓ 열린 질문

• 예산 제약 하에서 다국어 체크포인트 미세조정이 목표 언어 사전학습보다 언제 더 유리한지 어떤 지표로 판단할 것인가?
• 언어 간 전이 행렬 수치로 어떤 기준을 두면 특정 언어를 제외했을 때 목표 언어 성능 저하를 사전에 예측할 수 있는가?
• 48개 평가 언어의 분포에서 ATLAS 기준을 얼마나 대표적으로 확장 검증해야 목표 언어 전이가 실제 적용 가능한지 판단할 수 있는가?