Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA와 IIT Madras·AI4Bharat는 인도 22개 언어에 걸친 약 2.8조 토큰의 Nemotron-pretraining-Indic-v1과 재사용 가능한 공개 GPU 가속 데이터 생성 파이프라인을 곧 공개할 예정이다.

📌 핵심 요약

• Nemotron-pretraining-Indic-v1은 22개 언어의 고유 문자 데이터와 그중 12개 언어의 로마자 데이터를 포함한다. Gemma-4 토크나이저 기준 고유 문자 데이터는 2조 6,010억 토큰, 로마자 데이터는 2,246억 토큰이며, 동일 원문에서 나온 번역·문자 변형이 함께 집계된다.
• 코퍼스는 Nemotron-CC-v2의 15개 하위 집합에서 가져온 영어 웹 문서·질의응답·수학·코드 등을 번역해 만든다. NeMo Data Designer로 생성 과정을 운영하고 원문 식별자를 보존하며, 자연적으로 작성된 인도 언어 텍스트의 지역 지식과 문화적 맥락을 보완하는 자료로 제시한다.
• 12개 언어는 Gemma-4-31B-it로 문서 번역·품질 평가·수정을 수행하고, 나머지 10개 언어는 Indic Translate로 번역한 뒤 Gemma-4-31B-it로 평가한다. 두 경로 모두 100점 만점의 평가 점수에서 75점 이상을 채택하며, 12개 언어 경로의 수정으로 회수한 4,384억 토큰은 전체 규모에 이미 포함돼 있다.
• Nemotron 3.5 Super VL의 인도 언어 지속 사전학습(CPT)은 총 1,000억 학습 토큰 중 10%인 100억 토큰을 합성·자연 인도 언어 텍스트에 배정했다. 해당 단계 전후 비교에서 보고된 5개 지식·추론 벤치마크가 모두 4.98~9.82%포인트 상승했지만, 합성 코퍼스만의 기여를 분리한 결과는 아니다.
• 최종 공개 모델인 Nemotron 3.5 Super VL은 Nemotron 3 Super보다 제시된 6개 과제 벤치마크 중 5개에서 높았고, IFEval 1.5는 2.04포인트 하락했다. IndiVibe의 4개 언어 품질 차원은 모두 개선됐으며, 이 비교에는 인도 언어 CPT와 후속 학습을 포함한 전체 학습 과정이 반영된다.

🧩 주요 포인트

1. 개 언어·34개 언어·문자 구성은 문자 노출을 넓히지만 동일 내용을 공유할 수 있으므로, 코퍼스 토큰 총량을 고유 문서 수나 실제 학습 토큰 예산으로 해석해서는 안 된다.
2. CPT의 개선은 합성·자연 인도 언어 텍스트를 함께 쓰는 방식의 근거이며, 다른 모델·언어의 적절한 혼합 비율과 수정 복구분·나머지 10개 언어를 포함한 전체 코퍼스의 통제 평가는 추가 연구 과제다.
3. 공개 예정인 코퍼스와 생성 파이프라인은 직접 활용하거나 자체 원문·프롬프트·품질 검사에 맞춰 확장할 수 있다. 활용 시 필요한 언어·문자 구성의 표본을 살펴보고 데이터셋 카드와 라이선스를 검토하는 것이 출발점이다.

🧠 상세 정리

1. 인도 언어 데이터 부족에 대응하는 공동 공개

NVIDIA는 IIT Madras 및 그 산하 인도 언어 연구소 AI4Bharat와 함께 약 2.8조 토큰 규모의 Nemotron-pretraining-Indic-v1과 이를 만든 공개 GPU 가속 데이터 생성 파이프라인을 곧 공개한다고 밝혔다. 대상은 인도 헌법에 등재된 22개 언어로, 원문에 따르면 2011년 인구조사 기준 인도인의 97%, 약 12억 명이 이 언어들을 제1언어로 사용한다. AI4Bharat는 기존에도 22개 언어의 공개 사전학습 코퍼스 Sangraha 등으로 연구 기반을 마련했으며, 이번 작업은 공개 합성 학습 데이터의 상당한 확장을 목표로 한다. AI4Bharat를 이끄는 Mitesh Khapra는 인도 언어 기술이 영어보다 뒤처지는 핵심 이유로 데이터 부족을 지목했다. 이에 이번 공개는 수학·코드·질의응답을 포함한 선별 영어 자료를 인도 언어로 옮기는 동시에, 개발자가 추가 데이터를 생성할 수 있도록 프롬프트·LLM 작업 흐름·품질 검사 방법까지 제공한다. 다만 번역 합성 데이터는 지역 지식과 문화적 맥락을 담은 자연 작성 인도 언어 텍스트를 보완하는 자원으로 설명된다.

2. 코퍼스의 언어·문자 구성과 규모 해석

코퍼스는 Gemma-4 토크나이저 기준 고유 문자 2조 6,010억 토큰과 로마자 2,246억 토큰으로 구성되며, 전체적으로 34개 언어·문자 구성을 제공한다. 벵골어·구자라트어·힌디어·칸나다어·말라얄람어·마라티어·네팔어·오디아어·펀자브어·타밀어·텔루구어·우르두어에는 고유 문자와 로마자 데이터가 모두 있다. 아삼어·보도어·도그리어·카슈미르어·콘칸어·마이틸리어·마니푸르어·산스크리트어·산탈리어·신디어에는 고유 문자 데이터만 제공된다. 여기서 고유 문자는 표기 체계를 뜻하며 내용은 영어에서 번역된 것이고, 로마자는 인도 언어를 라틴 문자로 적은 것으로 영어 번역을 의미하지 않는다. 12개 언어의 로마자 데이터는 채택된 고유 문자 번역 중 일부를 변환한 것이므로, 서로 다른 문자 구성에도 같은 원문 내용이 담길 수 있다. 따라서 문서 레코드 수는 고유 영어 문서 수가 아니며, 토큰 총량 역시 채택된 수정본을 포함한 보유 코퍼스 규모이지 특정 학습 실행의 토큰 예산이 아니다.

3. 원문 추적과 12개 언어의 문서 단위 번역·평가

생성의 출발점은 웹 텍스트·질의응답·수학·코드 및 기타 전문 내용을 포괄하는 Nemotron-CC-v2의 15개 하위 집합이다. NVIDIA의 공개 합성 데이터 생성 프레임워크 NeMo Data Designer가 번역·품질 검사·선별 수정을 운영하고, 각 단계에서 원문 식별자를 유지해 결과를 원본 문서까지 추적할 수 있게 한다. 12개 언어에서는 문서 전체를 번역해 문단과 표·수식 사이의 맥락을 활용하며, 완전한 문서에 대한 번역 품질과 기술 내용 보존을 비교한 뒤 Gemma-4-31B-it를 선택했다. 프롬프트는 번역할 산문과 보존해야 할 코드·수식·URL·서식을 구분한다. 번역 후에는 같은 모델이 영어 원문과 결과를 대조하고, Multidimensional Quality Metrics에서 착안한 기준으로 의미·유창성·용어·문체·서식을 평가한다. 채택 기준은 100점 만점에 75점 이상이며, 이 점수는 평가 기준표에 따른 점수이지 정확도 백분율이 아니다.

4. 저점수 번역의 복구와 로마자 변환

12개 언어 경로에서 기준에 미달한 번역은 평가 피드백을 바탕으로 수정한 뒤, 원문과 다시 대조해 동일한 75점 기준으로 재평가한다. 이 과정으로 고유 문자와 로마자 데이터를 합쳐 4,384억 토큰을 회수했으며, 이 양은 발표된 전체 코퍼스 규모에 이미 포함돼 있다. 표본에 대한 사람의 검토와 의도적으로 오류를 삽입한 시험은 내용 누락 및 남아 있는 영어를 찾아내는 데 활용됐고, 그 결과가 프롬프트와 검사 개선에 반영됐다. 로마자 데이터는 채택된 고유 문자 번역 일부를 라틴 문자로 변환하고, 변환 결과를 해당 고유 문자 입력과 대조하는 방식으로 생성한다. 이는 영어에서 곧바로 로마자 인도 언어 텍스트를 만드는 대신 번역과 문자 변환을 분리하는 접근이다. 초기 사람 비교에서는 이 두 단계 방식이 영어에서 직접 생성하는 방식보다 환각성 내용 추가와 잔존 영어를 줄였다고 보고했지만, 이를 모든 조건에 대한 확정적 결과로 제시하지는 않는다.

5. 나머지 10개 언어에 적용한 별도 번역 경로

나머지 10개 언어에서는 비교 과정에서 관찰한 긴 문서의 품질 문제와 문자 안정성 문제에 대응하기 위해 번역 방식을 조정했다. 번역에는 IIT Madras에서 육성된 비영리 교육 AI 센터 Bodhan AI의 Indic Translate를 사용하며, 이 모델은 영어와 인도 22개 언어를 지원하는 문서 단위 번역 모델이다. 이후 Gemma-4-31B-it가 각 번역을 영어 원문과 대조해 평가하고, 100점 만점에 75점 이상인 결과를 유지한다. 8개 언어에는 문서 전체를 한 번에 처리하는 방식을 유지하지만, 긴 산탈리어 문서는 겹치는 구간으로 나눠 번역한 뒤 다시 조립한다. 마니푸르어는 먼저 벵골 문자로 번역한 다음 고유 문자인 메이테이 마예크로 변환한다. 이 경로는 고유 문자 데이터만 생성하며, 12개 언어 경로와 달리 평가 피드백을 이용한 재작성은 수행하지 않는다.

6. 지속 사전학습의 성과와 인과 해석의 범위

Nemotron 3.5 Super VL 기술 보고서는 인도 언어 지속 사전학습(CPT) 직전과 직후의 체크포인트를 비교한다. 해당 단계의 설정 예산은 총 1,000억 학습 토큰이며, 그중 10%인 100억 토큰을 이 코퍼스의 12개 언어 부분집합과 자연 인도 언어 텍스트의 혼합에 배정하고 나머지 90%는 직전 학습 혼합의 상대적 비율을 유지했다. MILU·Indic MMLU-Pro·Indic ARC-Challenge·Indic ARC-Easy·Indic GSM8K의 5개 지식·추론 벤치마크는 모두 개선됐고, 상승 폭은 4.98~9.82%포인트였다. 다만 이는 합성·자연 데이터를 함께 사용한 학습 단계 전체의 변화로, 합성 코퍼스만의 기여를 분리하거나 최종 공개 모델끼리 비교한 결과는 아니다. 벤치마크마다 언어 범위가 다르며, GSM8K에서는 평가가 서빙 문맥 한도를 초과해 오디아어가 제외됐다. 별도 인도 언어 보고서의 통제 연구도 12개 언어의 최초 평가 통과 데이터에 기반하므로, 수정 복구분과 나머지 10개 언어를 포함한 전체 코퍼스 평가 및 다른 모델·언어의 혼합 비율 연구는 후속 과제로 남는다.

7. 공개 모델 세대 간 비교에서 드러난 개선과 예외

원문은 CPT 단계 전후 비교에 이어 최종 공개된 Nemotron 3.5 Super VL과 이전 세대 Nemotron 3 Super의 인도 언어 성능을 비교한다. 이 결과에는 인도 언어 CPT뿐 아니라 후속 학습까지 포함한 전체 학습 과정이 반영되므로, 앞선 단계별 비교와 해석 범위가 다르다. Nemotron 3.5 Super VL은 지식·추론·수학·코드·번역에 걸쳐 제시된 6개 과제 벤치마크 중 5개에서 더 높은 점수를 기록했지만, 지시 준수를 평가하는 IFEval 1.5에서는 2.04포인트 하락했다. Sarvam AI의 공개 인도 언어 보조자 프롬프트 벤치마크 IndiVibe에서는 유용성·유창성·언어 및 문자 충실도·적절한 답변 길이의 4개 차원이 모두 개선됐다. 다만 제시된 IndiVibe 값은 예비 조건부 선호 점수이며, 모델 간 직접 대결 승률이 아니다. 도표의 변화량은 일반적으로 %포인트로 표시되지만 WMT24++에는 chrF 점수가 사용돼, 모든 지표를 같은 단위로 읽어서는 안 된다.

8. 공개 데이터와 생성 절차를 활용하는 출발점

이번 공개는 완성된 코퍼스를 직접 사용하는 경로와 생성 절차를 자체 자료에 맞춰 확장하는 경로를 함께 제공한다. 개발자는 공개되는 프롬프트와 품질 검사를 조정하거나 자신의 원문 문서를 작업 흐름에 투입해 추가 인도 언어 데이터를 만들 수 있으며, 원문 추적 정보는 결과의 근거를 확인하는 데 쓰인다. 원문은 학습에 앞서 모델에 필요한 언어와 문자 구성을 고르고, 표본을 살펴보며, 데이터셋 카드와 라이선스를 검토할 것을 안내한다. 구성 이름은 언어·문자·지역 태그를 사용하며, hi-Deva-IN은 데바나가리 문자 힌디어, hi-Latn-IN은 로마자 힌디어를 뜻한다. 이어지는 사용 예시는 데이터셋 카드에서 저장소 ID를 받아 이용 가능한 분할을 확인하고 표본을 스트리밍하는 취지지만, 제공된 본문에서는 코드가 중간에 끊겨 있다. NVIDIA는 향후 Nemotron 모델에서도 이 코퍼스를 활용할 계획이라고 밝혔으며, 데이터와 생성 방법의 동시 공개를 통해 인도 언어 모델 개발 참여를 넓히려 한다.

🧾 핵심 주장 / 시사점

• 약 2.8조 토큰이라는 규모는 번역·문자 변형·채택된 수정본을 포함한 데이터 재고를 나타낸다. 실제 학습에서는 동일 내용의 반복과 문자별 노출을 함께 고려해야 하므로, 총량만으로 내용의 다양성이나 학습 예산을 판단하기 어렵다.
• 12개 언어와 나머지 10개 언어에 서로 다른 번역·수정 경로를 적용한 점은 긴 문서 품질과 문자 안정성에 따라 생성 방식을 조정했음을 보여준다. 공개 파이프라인의 활용 가치는 이러한 선택과 품질 검사 절차까지 재사용할 수 있다는 데 있다.
• CPT 단계의 일관된 개선과 최종 모델의 IFEval 1.5 하락은 평가 범위를 구분해야 함을 보여준다. 합성·자연 데이터 혼합의 단계별 효과, 전체 학습 과정의 결과, 합성 코퍼스 자체의 기여는 서로 다른 질문이다.

✅ 액션 아이템

• 공개 예정인 Nemotron-pretraining-Indic-v1의 데이터셋 카드와 라이선스를 검토하고, 필요한 언어·문자 구성의 표본 확인.
• 22개 언어·34개 언어·문자 구성의 활용 범위 검토 시 동일 내용의 공유 가능성과 코퍼스 토큰 총량·실제 학습 토큰 예산의 구분 반영.
• 합성·자연 인도 언어 텍스트를 함께 쓰는 CPT의 적용 가능성을 검토하고, 다른 모델·언어의 혼합 비율과 전체 코퍼스 평가가 추가 연구 과제임을 반영.

❓ 열린 질문

• Nemotron-pretraining-Indic-v1의 22개 언어·34개 언어·문자 구성 중 대상 모델에 필요한 범위는 무엇인가?
• CPT에서 관찰된 4.98~9.82%포인트 상승 중 합성 코퍼스의 기여는 자연 인도 언어 텍스트의 기여와 어떻게 분리해 평가할 수 있는가?
• 수정 복구분과 나머지 10개 언어를 포함한 전체 코퍼스의 통제 평가에서는 어떤 결과가 나올 것인가?