Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality | Article 정리

🖼️ 인포그래픽

Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

IBM의 Granite Embedding Multilingual R2는 200개 이상의 언어와 32K 토큰 문맥을 지원하며, 97M 소형 모델과 311M 고성능 모델로 다국어·장문·코드 검색의 성능과 배포 효율을 함께 높인 Apache 2.0 임베딩 모델군이다.

📌 핵심 요약

Granite Embedding Multilingual R2는 97M 매개변수의 소형 모델과 311M 매개변수의 대형 모델로 구성되며, 두 모델 모두 200개 이상의 언어를 지원하고 52개 언어에 대해 검색 쌍 및 교차 언어 학습을 강화했다.
두 모델은 R1의 512토큰 한계를 32,768토큰으로 확대했으며, ModernBERT 구조와 개선된 다국어 토크나이저를 도입해 장문 처리량과 다국어 토큰 효율을 높였다.
97M 모델은 다국어 MTEB 검색에서 60.3점을 기록해 공개된 100M 미만 다국어 임베딩 모델 중 가장 높은 성능을 보였고, 311M 모델은 65.2점으로 공개된 500M 미만 모델 가운데 2위에 올랐다.
학습에는 다중 교사 지식 증류, 대조 학습, 모델 병합, 어휘 축소가 활용됐으며, 311M 모델에는 임베딩 차원을 768에서 512·384·256·128로 줄일 수 있는 마트료시카 표현 학습도 적용됐다.
두 모델은 Apache 2.0으로 공개되고 sentence-transformers와 transformers를 지원하며, LangChain·LlamaIndex·Haystack·Milvus에서는 모델 이름만 바꿔 적용할 수 있고 CPU 추론용 ONNX 및 OpenVINO 가중치도 제공한다.

🧩 주요 포인트

Granite Embedding Multilingual R2는 97M 매개변수의 소형 모델과 311M 매개변수의 대형 모델로 구성되며, 두 모델 모두 200개 이상의 언어를 지원하고 52개 언어에 대해 검색 쌍 및 교차 언어 학습을 강화했다.
두 모델은 R1의 512토큰 한계를 32,768토큰으로 확대했으며, ModernBERT 구조와 개선된 다국어 토크나이저를 도입해 장문 처리량과 다국어 토큰 효율을 높였다.
97M 모델은 다국어 MTEB 검색에서 60.3점을 기록해 공개된 100M 미만 다국어 임베딩 모델 중 가장 높은 성능을 보였고, 311M 모델은 65.2점으로 공개된 500M 미만 모델 가운데 2위에 올랐다.
학습에는 다중 교사 지식 증류, 대조 학습, 모델 병합, 어휘 축소가 활용됐으며, 311M 모델에는 임베딩 차원을 768에서 512·384·256·128로 줄일 수 있는 마트료시카 표현 학습도 적용됐다.
두 모델은 Apache 2.0으로 공개되고 sentence-transformers와 transformers를 지원하며, LangChain·LlamaIndex·Haystack·Milvus에서는 모델 이름만 바꿔 적용할 수 있고 CPU 추론용 ONNX 및 OpenVINO 가중치도 제공한다.

🧠 상세 정리

1. 다국어 검색의 크기와 품질 문제

다국어 임베딩 모델은 지원 언어를 넓힐수록 모델이 커지고, 모델을 작게 만들수록 언어 범위나 검색 품질이 떨어지는 상충 관계를 안고 있다. 이는 다국어 문서를 대상으로 하는 검색 증강 생성, 언어를 넘나드는 검색, 국제 개발팀의 코드 검색에서 속도와 정확도 중 하나를 선택하게 만드는 문제였다. Granite Embedding Multilingual R2는 이 간극을 줄이기 위해 용도가 다른 두 모델을 함께 제시한다. 97M 모델은 제한된 연산 자원과 빠른 추론을 겨냥하고, 311M 모델은 더 높은 다국어 검색 품질과 조절 가능한 임베딩 차원을 제공하는 방식으로 선택지를 나눈다.

2. 두 모델의 지원 범위와 배포 특성

granite-embedding-97m-multilingual-r2는 384차원 임베딩을 출력하는 97M 매개변수 모델이고, granite-embedding-311m-multilingual-r2는 768차원 임베딩을 출력하는 311M 매개변수 모델이다. 두 모델의 기반 인코더는 200개 이상의 언어로 사전 학습됐으며, 한국어를 포함한 52개 언어에는 검색 쌍과 교차 언어 학습을 추가해 검색 품질을 강화했다. Python, Go, Java, JavaScript, PHP, Ruby, SQL, C, C++ 코드도 학습해 자연어와 코드 사이의 교차 언어 검색을 지원한다. Apache 2.0 라이선스, 32,768토큰 문맥, 별도의 작업 지시문이 필요 없는 사용 방식, CPU 최적화용 ONNX·OpenVINO 가중치를 공통으로 제공한다.

3. 기존 도구와의 통합 및 기업 활용 고려

두 모델은 sentence-transformers와 transformers에서 바로 사용할 수 있으며, LangChain·LlamaIndex·Haystack·Milvus에서도 기존 모델 이름을 한 줄 변경하는 방식으로 교체할 수 있다. 특히 영어 전용 임베딩을 기본값으로 사용하던 프레임워크는 응용 프로그램의 API나 의존성, 사용자 측 코드를 바꾸지 않고도 200개 이상 언어 지원을 제공할 수 있다. 학습 데이터는 IBM이 선별한 자료, 공개 데이터, 내부 생성 또는 합성 데이터의 혼합으로 구성됐다. 공개 웹 기반 자료에는 품질 검사, 중복 제거, 거버넌스 절차를 적용했고, MS-MARCO와 명시적인 비상업적 라이선스 제한이 있는 데이터셋은 의도적으로 사용하지 않았다고 설명한다.

4. 97M 소형 모델의 성능 도약

이번 공개에서 가장 두드러지는 결과는 97M 모델이 18개 언어로 평가한 다국어 MTEB 검색에서 60.3점을 기록한 것이다. 원문이 조사한 공개 다국어 임베딩 모델 가운데 100M 매개변수 미만 모델로서는 가장 높은 점수이며, 비교 대상으로 제시된 multilingual-e5-small의 50.9점보다 9.4점 높다. 또한 직접적인 이전 세대인 107M R1 모델의 48.1점보다 12.2점 향상됐고, 크기가 약 세 배인 여러 300M급 모델보다 종합 및 다수 개별 벤치마크에서 우위를 보였다. 널리 사용되는 paraphrase-multilingual-MiniLM-L12-v2와 비교하면 매개변수는 더 적으면서 같은 384차원 출력을 제공하고, 다국어 검색 점수는 23.7점 높다.

5. R1에서 ModernBERT로의 구조 전환

R1은 XLM-RoBERTa 인코더와 512토큰 문맥 창을 사용했지만, R2는 ModernBERT를 기반으로 처음부터 다시 구축됐다. ModernBERT의 교대식 어텐션 길이는 긴 입력에서 계산량을 줄여 처리량을 높이고, 회전식 위치 임베딩은 기존 구조에서 필요했던 위치 보간 방식 없이 32K 문맥을 지원한다. 최신 그래픽 처리 장치에서는 플래시 어텐션 2.0을 활용해 인코딩 속도를 높일 수 있다. 이 구조 변화로 모델이 문서 앞부분만 보는 데 그치지 않고 법률 계약서, 기술 설명서, 연구 논문, 여러 페이지의 보고서처럼 긴 자료를 더 넓은 범위에서 표현할 수 있게 됐다.

6. 다국어·코드 토크나이저의 재설계

R2는 XLM-RoBERTa의 250K 규모 어휘를 그대로 재사용하지 않고, 다국어와 프로그래밍 코드에 강한 기존 토크나이저를 모델별로 채택했다. 311M 모델은 262K 어휘를 가진 Gemma 3 토크나이저를 사용하며, 97M 모델은 GPT-OSS 토크나이저에서 출발해 어휘를 180K로 줄였다. 소형 모델의 어휘 축소는 광범위한 언어 범위를 유지하면서 임베딩 테이블이 차지하는 매개변수 수를 줄이기 위한 조치다. 원문은 토크나이저의 비효율로 특정 언어의 짧은 문단이 지나치게 많은 토큰을 소비하면 32K 문맥의 실질적인 이점이 줄어든다는 점을 강조한다.

7. 311M 모델의 다단계 학습

311M 모델은 22개 층의 ModernBERT 인코더와 262K 다국어 어휘로 구성되며, 여러 단계의 학습 절차를 거쳤다. 먼저 임베딩용으로 추가 미세 조정된 Granite 3.3 Instruct와 Mistral v0.2 Instruct 계열 교사 모델들로부터 검색 지식을 동시에 증류했다. 이어 52개 언어와 코드에서 질의, 관련 문서, 어려운 부정 문서로 구성된 검색 쌍을 사용해 대조 학습을 수행하고 관련 결과와 무관한 결과를 구별하는 능력을 강화했다. 서로 다른 목표에 최적화된 체크포인트를 병합하고 마트료시카 표현 학습을 적용한 결과, 다국어 검색 65.2점과 전체 평균 56.3점을 기록했으며 전체 평균은 R1보다 14.5점 높아졌다.

8. 97M 모델의 어휘 축소와 지식 증류

97M 모델은 작은 크기에서도 언어 범위를 유지하기 위해 어휘 선택과 지식 증류를 결합해 제작됐다. 먼저 262K 어휘를 목적에 맞게 선별한 180K 어휘로 축소해 임베딩 테이블의 크기를 줄이면서 폭넓은 다국어 적용 범위를 보존했다. 이후 Granite 4.1 8B와 Mistral Instruct 기반 교사 등을 포함한 여러 강한 교사 모델로부터 검색 지식을 증류하고, 대조 학습으로 검색 품질을 개선했다. 최종적으로 311M 모델보다 약 세 배 작으면서 다국어 검색에서 60.3점을 기록해, 대형 모델의 65.2점에 비교적 가까운 품질을 더 낮은 모델 크기로 제공한다.

9. 장문·코드 벤치마크에서 확인된 효과

R1에서 R2로 넘어오며 가장 큰 상승이 나타난 분야는 장문 검색이다. LongEmbed 점수는 97M 모델이 R1보다 31.3점, 311M 모델이 34.0점 상승했으며, 최종 점수는 각각 65.6점과 71.7점으로 제시됐다. 코드 검색도 이전 세대보다 각각 19.7점과 15.3점 높아져 새 코드 학습 자료, 32K 문맥, 개선된 학습 방법의 효과를 보여준다. 전체 표에서 311M 모델은 다국어 검색 65.2점, 코드 63.8점, 영어 검색 52.6점, LongEmbed 71.7점, RaR-b 28.0점을 기록했고, 특히 LongEmbed에서는 비교 대상 중 1위에 올랐다.

🧾 핵심 주장 / 시사점

97M 모델은 최고 절대 성능보다 크기 대비 검색 품질이 핵심 가치다. 311M 모델과의 다국어 검색 차이는 4.9점이지만 모델 크기는 약 세 배 작아, 처리량과 메모리 제약이 큰 환경에서 유력한 선택지가 된다.
R2의 성능 향상은 단순한 모델 확대가 아니라 ModernBERT 전환, 32K 문맥, 언어별 토큰 효율 개선, 코드 데이터 추가, 다중 교사 증류와 대조 학습을 함께 적용한 결과로 제시된다.
311M 모델의 마트료시카 지원은 하나의 학습된 모델에서 저장 공간과 검색 품질의 균형을 조절할 수 있게 한다. 768차원 임베딩을 512·384·256·128차원으로 줄일 수 있어 벡터 저장량과 검색 비용에 맞춘 운용이 가능하다.

✅ 액션 아이템

97M와 311M 모델을 다국어 검색 정확도·32K 문맥 처리량·배포비용 관점에서 비교해 적용 범위를 분리한다.
52개 언어 강화 학습 효과를 기반으로 도메인별 쿼리셋을 구성하고 recall·MTEB 계열 지표·장문 처리율을 점검한다.
sentence-transformers/transformers 환경에서 모델명을 교체해 LangChain·LlamaIndex·Haystack·Milvus 연동을 검증하고 ONNX·OpenVINO CPU 경로 성능을 정리한다.