mmBERT: ModernBERT goes Multilingual

🖼️ 인포그래픽

mmBERT: ModernBERT goes Multilingual 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

mmBERT는 1,833개 언어와 3조 개 이상의 토큰으로 학습해 XLM-R을 넘어서는 다국어 성능, 최대 8,192토큰의 문맥 처리, 기존 다국어 인코더 대비 2~4배의 효율을 함께 달성한 ModernBERT 기반 인코더 모델이다.

📌 핵심 요약

mmBERT는 ModernBERT의 빠른 구조를 기반으로 하되 Gemma 2 토크나이저와 다국어 학습 기법을 결합했으며, 기본 모델은 임베딩을 제외하면 1억 1천만 개, 전체로는 3억 700만 개의 매개변수를 갖는다.
학습에는 1,800개가 넘는 언어를 포함한 3조 개 이상의 토큰이 사용됐고, 고품질 영어 데이터와 광범위한 다국어 데이터를 결합해 영어 성능과 언어 범위를 동시에 확보했다.
학습은 60개 언어의 사전 학습, 110개 언어의 중간 학습, 1,833개 언어의 감쇠 단계로 진행됐으며 마스킹 비율과 언어 샘플링 분포도 단계적으로 조정됐다.
영어 GLUE와 다국어 XTREME, 영어·다국어 MTEB v2, 코드 검색 벤치마크에서 기존 다국어 모델보다 전반적으로 향상됐지만, 개체명 인식과 품사 태깅 같은 일부 구조적 예측 과제에서는 이전 세대와 비슷한 수준을 보였다.
마지막 1천억 토큰의 짧은 감쇠 단계에서 처음 추가한 저자원 언어도 빠르게 학습했으며, Flash Attention 2와 언패딩을 통해 최대 8,192토큰을 높은 처리량으로 다룬다.

🧩 주요 포인트

mmBERT는 ModernBERT의 빠른 구조를 기반으로 하되 Gemma 2 토크나이저와 다국어 학습 기법을 결합했으며, 기본 모델은 임베딩을 제외하면 1억 1천만 개, 전체로는 3억 700만 개의 매개변수를 갖는다.
학습에는 1,800개가 넘는 언어를 포함한 3조 개 이상의 토큰이 사용됐고, 고품질 영어 데이터와 광범위한 다국어 데이터를 결합해 영어 성능과 언어 범위를 동시에 확보했다.
학습은 60개 언어의 사전 학습, 110개 언어의 중간 학습, 1,833개 언어의 감쇠 단계로 진행됐으며 마스킹 비율과 언어 샘플링 분포도 단계적으로 조정됐다.
영어 GLUE와 다국어 XTREME, 영어·다국어 MTEB v2, 코드 검색 벤치마크에서 기존 다국어 모델보다 전반적으로 향상됐지만, 개체명 인식과 품사 태깅 같은 일부 구조적 예측 과제에서는 이전 세대와 비슷한 수준을 보였다.
마지막 1천억 토큰의 짧은 감쇠 단계에서 처음 추가한 저자원 언어도 빠르게 학습했으며, Flash Attention 2와 언패딩을 통해 최대 8,192토큰을 높은 처리량으로 다룬다.

🧠 상세 정리

1. mmBERT의 목표와 핵심 성과

mmBERT는 ModernBERT를 대규모 다국어 환경으로 확장한 인코더 모델로, 1,800개가 넘는 언어와 3조 개 이상의 텍스트 토큰을 학습했다. 글은 mmBERT가 기존 다국어 모델보다 성능과 처리 속도를 모두 크게 높였으며, 특히 XLM-R의 성능을 처음으로 실질적으로 개선한 모델이라고 소개한다. 영어 전용 모델이 아님에도 영어 과제에서 강한 경쟁력을 유지하고, 다국어 자연어 이해와 검색에서도 일관된 향상을 보이는 것이 핵심 결과다. 이와 함께 저자원 언어를 학습 후반의 짧은 단계에서 효과적으로 습득하는 새로운 전략을 제시하고, ModernBERT에서 이어받은 현대적 구조로 실제 활용에 필요한 처리 효율까지 높였다.

2. 3조 토큰 규모의 다국어 학습 데이터

학습 데이터의 중심은 DCLM 및 필터링된 DCLM, FineWeb2, FineWeb2-HQ라는 세 종류의 공개 웹 데이터다. DCLM 계열은 높은 품질의 영어 콘텐츠를 제공하며, mmBERT는 이 품질을 활용하기 위해 이전 다국어 인코더보다 높은 비율인 최대 18%까지 영어 데이터를 사용했다. FineWeb2는 1,800개가 넘는 언어를 포괄해 광범위한 언어와 문자 체계를 지원하고, FineWeb2-HQ는 그중 자원이 풍부한 20개 언어를 선별해 영어 중심의 고품질 데이터와 폭넓은 다국어 데이터 사이를 보완한다. 여기에 Dolma, MegaWika v2, ProLong을 비롯해 코드 저장소, ArXiv와 PeS2o의 학술 자료, 위키백과와 교과서, StackExchange 토론, 지시문 및 수학 데이터도 함께 포함됐다.

3. 언어를 점진적으로 확대하는 데이터 전략

mmBERT는 처음부터 1,833개 언어를 동시에 학습하지 않고, 학습 단계가 진행될수록 언어 수를 늘리는 점진적 포함 전략을 사용했다. 사전 학습에서는 자원이 풍부한 60개 언어로 시작하고, 중간 학습에서 110개 언어로 확장한 뒤, 마지막 감쇠 단계에서 FineWeb2의 전체 1,833개 언어를 포함했다. 동시에 데이터 샘플링 분포를 점차 균등한 방향으로 바꿔, 초기에는 러시아어처럼 데이터가 많은 언어의 비중을 높게 두고 후반에는 그 비중을 낮추면서 저자원 언어에 더 많은 학습 기회를 부여했다. 이 방식은 제한된 저자원 데이터를 지나치게 반복하지 않으면서도 학습 후반에 그 효과를 극대화하고, 전체 데이터의 품질과 주요 언어의 성능을 함께 유지하기 위해 설계됐다.

4. ModernBERT 기반 구조와 3단계 학습

기본 모델은 ModernBERT-base와 같은 핵심 구조를 사용하며, 22개 층과 1,152차원의 중간 표현을 갖는다. 다국어 텍스트를 더 잘 처리하기 위해 토크나이저는 Gemma 2 기반으로 교체됐고, 기본형은 임베딩을 제외하면 1억 1천만 개, 큰 어휘 임베딩까지 포함하면 총 3억 700만 개의 매개변수를 가진다. 소형 모델은 임베딩 제외 4,200만 개, 전체 1억 4천만 개의 매개변수로 구성된다. 학습은 2조 3천억 토큰의 사전 학습, 6천억 토큰의 중간 학습, 1천억 토큰의 감쇠 단계로 나뉘며, 중간 학습에서는 문맥 길이를 8,192토큰으로 확장하고 더 높은 품질의 데이터를 사용한다.

5. 마스킹·샘플링·모델 병합의 결합

mmBERT는 전체 학습 기간에 고정된 마스킹 비율을 적용하는 대신, 단계별로 30%에서 15%, 다시 5%로 낮추는 역방향 마스킹 비율 일정을 사용했다. 초기에는 높은 마스킹 비율로 기본 표현을 학습하고, 후반에는 더 낮은 비율을 통해 세밀한 문맥 이해에 집중하도록 한 것이다. 다국어 데이터 샘플링의 온도도 τ=0.7에서 0.5와 0.3으로 낮춰, 자원이 풍부한 언어에 상대적으로 무게를 둔 초기 분포에서 점차 균등한 분포로 이동했다. 마지막 감쇠 단계에서는 영어 중심 모델, 110개 언어 모델, 전체 언어 모델을 따로 학습한 뒤 TIES 병합을 사용해 각 모델의 강점을 최종 모델에 결합했다.

6. 자연어 이해와 검색 평가 결과

영어 GLUE 평가에서 mmBERT 기본형은 XLM-R 기본형과 mGTE 기본형 같은 기존 다국어 모델을 크게 앞섰고, 전체 학습 데이터에서 영어가 25% 미만임에도 영어 전용 모델과 경쟁할 수 있는 성능을 보였다. 다국어 XTREME에서는 XNLI 분류와 TyDiQA 질의응답에서 두드러진 향상을 기록했으며, PAWS-X와 XCOPA에서도 경쟁력 있는 교차 언어 이해 능력을 나타냈다. 다만 개체명 인식과 품사 태깅처럼 단어 경계에 민감한 구조적 예측 과제에서는 토크나이저 차이의 영향으로 이전 세대와 비슷한 수준에 머물렀지만, 적용 가능한 언어 범위는 더 넓다. 검색 평가에서는 영어와 다국어 MTEB v2 모두 기존 다국어 모델보다 향상됐고, 영어 평가에서는 영어 전용 ModernBERT와 동등한 수준을 보였으며, Gemma 2 기반 토크나이저 덕분에 코드 검색에서도 강한 결과를 기록했다.

7. 감쇠 단계에서의 저자원 언어 학습

mmBERT의 중요한 실험적 결과는 전체 학습 중 마지막 1천억 토큰에 해당하는 감쇠 단계에서 처음 추가된 저자원 언어도 효과적으로 학습할 수 있다는 점이다. 연구진은 티그리냐어 TiQuaD와 페로어 FoQA를 사용해 이를 검증했으며, 해당 언어를 마지막 단계에 포함했을 때 성능이 크게 높아지는 결과를 확인했다. 특히 페로어 질의응답에서는 이 짧은 노출만으로 Google Gemini 2.5 Pro와 OpenAI o3보다 높은 성능을 기록했다고 보고한다. 글은 앞선 단계에서 구축된 강한 다국어 표현을 활용해 새 언어를 처음부터 학습하지 않고 기존 교차 언어 표현에 빠르게 적응할 수 있었으며, TIES 병합 후에도 이러한 감쇠 단계의 개선 효과가 대부분 유지됐다고 설명한다.

8. 처리 효율과 실제 사용 방식

mmBERT는 ModernBERT에서 이어받은 Flash Attention 2와 언패딩 기법을 통해 기존 다국어 인코더보다 텍스트를 훨씬 빠르게 처리한다. Flash Attention 2는 어텐션 계산의 메모리 사용과 속도를 개선하고, 언패딩은 입력 처리 과정에서 불필요한 패딩 토큰을 제거해 낭비되는 연산을 줄인다. 그 결과 소형과 기본형 모두 여러 시퀀스 길이에서 기존 모델보다 높은 처리량을 보이며, 글은 전체적으로 2~4배 수준의 효율 향상을 제시한다. 기존 모델이 주로 512토큰에 제한됐던 것과 달리 mmBERT는 최대 8,192토큰을 높은 처리량으로 다룰 수 있어 긴 다국어 문서 처리에도 적합하며, 높은 처리량은 추론 계산 비용도 낮춘다. 또한 Transformers의 AutoTokenizer와 AutoModelForMaskedLM으로 모델을 불러와 여러 언어의 마스킹 토큰을 예측할 수 있고, Sentence Transformers 기반의 밀집 임베딩 모델 등으로 미세 조정할 수 있는 예시도 제공된다.

🧾 핵심 주장 / 시사점

mmBERT의 성능은 단순히 언어 수를 늘린 결과가 아니라, 고품질 영어·다국어 데이터의 결합, 언어의 단계적 추가, 샘플링 분포의 평탄화, 마스킹 비율 조정, 모델 병합을 하나의 학습 일정으로 구성한 결과다.
저자원 언어를 마지막 1천억 토큰 단계에서 추가하고도 큰 성능 향상을 얻은 결과는, 초기부터 모든 언어를 반복 학습하지 않아도 앞서 형성된 교차 언어 표현을 이용해 새 언어를 빠르게 습득할 수 있음을 보여준다.
mmBERT는 영어와 다국어 이해·검색 성능뿐 아니라 긴 문맥, 코드 검색, 높은 처리량을 함께 제공하지만, 단어 경계에 민감한 개체명 인식과 품사 태깅에서는 토크나이저에 따른 한계가 남아 있다.

✅ 액션 아이템

mmBERT의 파라미터 구조를 1억1천만(임베딩 제외), 3억7백만(전체)로 정리해 기존 다국어 인코더 대비 효율·성능 교체 판단 기준을 계산한다.
60언어 사전학습-110언어 중간학습-1,833언어 감쇠의 단계별 마스킹 비율·언어 샘플링 조정 설계를 동일 조건으로 재현해 학습 안정성의 재현성을 점검한다.
영어 GLUE·XTREME·영어·다국어 MTEB v2·코드검색 성능 개선 폭과 NER·POS의 정체 구간을 분리해 실제 적용 시 우선 반영 항목을 정의한다.

❓ 열린 질문

Flash Attention 2와 언패딩 조합으로 8,192토큰 처리 시, 요약에서 언급된 2~4배 효율이 실제 추론 환경에서도 유지될 것인가?
마지막 1000억 토큰 감쇠 단계가 저자원 언어 적응에 충분한지, 어떤 언어군에서 추가 학습이 필요한지 어떻게 판단할 것인가?
Gemma 2 토크나이저 결합이 영어 고품질 데이터와 광범위 다국어 데이터 결합에서 기여한 부분을 정량적으로 분리해 검증할 수 있는 방법이 무엇인가?