Visual Document Retrieval Goes Multilingual

🖼️ 인포그래픽

Visual Document Retrieval Goes Multilingual 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LlamaIndex는 문서 화면을 OCR 없이 단일 벡터로 표현하는 다국어 검색 모델과 약 50만 건 규모의 공개 학습 데이터를 선보였으며, 검색 성능·추론 속도·언어 간 검색·저장 효율을 함께 개선했다.

📌 핵심 요약

vdr-2b-multi-v1은 이탈리아어·스페인어·영어·프랑스어·독일어 문서 화면과 질의를 지원하며, OCR·정보 추출·청킹 없이 시각적으로 복잡한 문서를 검색하도록 설계된 단일 벡터 임베딩 모델이다.
공개 인터넷 PDF에서 수집한 약 5만 개의 다국어 문서와 합성 질의를 바탕으로 496,167개 PDF 페이지 규모의 vdr-multilingual-train 데이터를 구축했으며, 필터링을 통과한 질의는 280,679개다.
문서 페이지를 텍스트 중심·시각 중심·혼합 유형으로 분류해 균형 있게 표본화하고, 두 개의 시각언어모델로 질의를 생성한 뒤 언어·형식·단일 질문 여부·근거 지시 표현 등을 정제했다.
다국어 모델은 자체 평가에서 기반 모델보다 모든 언어와 페이지 유형에서 우수해 평균 2.3% 향상됐고, 이탈리아어 질의로 독일어 문서를 찾는 교차 언어 검색에서도 평균 2.3% 개선됐다.
영어 전용 vdr-2b-v1은 이미지 토큰을 2,560개에서 768개로 줄이고도 기반 모델과 동등하거나 더 나은 성능을 기록해 약 3배 빠른 추론과 낮은 VRAM 사용량을 달성했다.

🧩 주요 포인트

vdr-2b-multi-v1은 이탈리아어·스페인어·영어·프랑스어·독일어 문서 화면과 질의를 지원하며, OCR·정보 추출·청킹 없이 시각적으로 복잡한 문서를 검색하도록 설계된 단일 벡터 임베딩 모델이다.
공개 인터넷 PDF에서 수집한 약 5만 개의 다국어 문서와 합성 질의를 바탕으로 496,167개 PDF 페이지 규모의 vdr-multilingual-train 데이터를 구축했으며, 필터링을 통과한 질의는 280,679개다.
문서 페이지를 텍스트 중심·시각 중심·혼합 유형으로 분류해 균형 있게 표본화하고, 두 개의 시각언어모델로 질의를 생성한 뒤 언어·형식·단일 질문 여부·근거 지시 표현 등을 정제했다.
다국어 모델은 자체 평가에서 기반 모델보다 모든 언어와 페이지 유형에서 우수해 평균 2.3% 향상됐고, 이탈리아어 질의로 독일어 문서를 찾는 교차 언어 검색에서도 평균 2.3% 개선됐다.
영어 전용 vdr-2b-v1은 이미지 토큰을 2,560개에서 768개로 줄이고도 기반 모델과 동등하거나 더 나은 성능을 기록해 약 3배 빠른 추론과 낮은 VRAM 사용량을 달성했다.

🧠 상세 정리

1. 다국어 시각 문서 검색 모델 공개

LlamaIndex는 다국어 시각 문서 검색을 위한 임베딩 모델 vdr-2b-multi-v1과 영어 전용 모델 vdr-2b-v1을 공개했다. 다국어 모델은 이탈리아어·스페인어·영어·프랑스어·독일어로 학습됐으며, 여러 언어와 문서 영역에 걸친 검색을 목표로 한다. 문서 페이지의 스크린숏을 밀집된 단일 벡터 표현으로 변환하므로 OCR, 별도의 데이터 추출 파이프라인, 문서 청킹 없이도 시각적으로 복잡한 자료를 검색할 수 있다. 이 모델은 MrLight/dse-qwen2-2b-mrl-v1을 기반으로 하고, 이전 모델 mcdse-2b-v1에서 사용한 학습 방법과 데이터를 확장한 후속 결과물이다. 함께 공개된 vdr-multilingual-train은 약 50만 건의 고품질 표본을 포함한 공개 다국어 합성 시각 문서 검색 데이터다.

2. 단일 벡터 검색과 모델 사용 방식

vdr-2b-multi-v1은 문서 이미지와 자연어 질의를 같은 검색 공간의 벡터로 변환해 관련 페이지를 찾는 방식으로 사용된다. LlamaIndex에서는 HuggingFaceEmbedding에 모델 이름과 실행 장치를 지정한 뒤 get_image_embedding으로 이미지 벡터를, get_query_embedding으로 질의 벡터를 생성할 수 있다. 예시에서는 문서 이미지와 이탈리아어 질문인 ‘비트코인을 누가 발명했는가’를 각각 임베딩한다. SentenceTransformers에서도 같은 모델을 불러와 이미지 파일을 직접 encode할 수 있으며, CUDA 환경에서는 bfloat16, 장치 매핑, Flash Attention 설정을 적용하는 예제가 제시됐다. 모델은 CPU와 애플 실리콘용 MPS, 엔비디아 GPU용 CUDA 등 실행 환경에 맞춰 장치를 선택할 수 있도록 제공된다.

3. 다국어 학습 데이터 구축 배경

저자들은 시각 문서 검색용 단일 벡터 모델을 제대로 학습하려면 고품질 데이터가 필요하지만, 기존에 바로 사용할 수 있는 멀티모달 데이터가 부족하고 다국어 자료는 더욱 희소하다고 지적한다. 이를 해결하기 위해 공개 인터넷 PDF를 바탕으로 다국어 질의와 이미지 쌍을 처음부터 수집하고 생성했다. 원시 데이터는 약 50만 건의 다국어 질의·이미지 표본으로 구성되며, 이미지에 연결된 질의는 시각언어모델을 이용해 합성됐다. 저자들에 따르면 이 데이터는 기존 ColPali 학습용으로 생성된 문서 데이터보다 표본 수가 약 10배 많다. 최종 데이터는 언어별 하위 집합으로 나뉘어 Hugging Face에 공개됐고, 필요한 언어만 선택해 불러올 수도 있다.

4. 주제 중심 PDF 수집과 페이지 표본화

데이터 수집 단계에서는 각 언어에 대해 여러 주제와 영역을 포괄하는 긴 검색어 목록을 만든 뒤, 검색 엔진의 언어 필터를 사용해 해당 언어로 작성된 PDF를 수집했다. 저자들은 이러한 ‘주제별 검색’ 방식이 모델에 다양한 현실 세계의 주제와 문서 영역을 노출하는 데 도움이 된다고 설명한다. 수집 과정에서 약 5만 개의 다국어 문서를 확보했으며, 이전 모델처럼 PDF 페이지를 무작위로 추출하지 않았다. 대신 모든 페이지를 문서 레이아웃 분석 모델에 통과시켜 텍스트 전용, 시각 요소 전용, 텍스트와 시각 요소가 섞인 혼합 페이지로 분류했다. 이 분류 결과를 바탕으로 약 10만 개 페이지를 표본화하면서 세 페이지 유형이 고르게 포함되도록 구성했다.

5. 합성 질의 생성과 품질 정제

각 문서 이미지에 대응하는 질의는 gemini-1.5-pro와 Qwen2-VL-72B를 이용해 생성됐다. 두 모델에는 특정 정보를 묻는 질문과 일반적인 질문을 함께 만들도록 지시했지만, 실제 모델 학습에는 특정 질문만 사용했다. 저자들은 두 종류의 질문을 구분해 생성하게 하는 과정이 정보 검색 학습에 더 적합하고 구체적인 질문을 만드는 데 도움이 됐다고 설명한다. 생성 후에는 질문의 언어가 올바른지 확인하고, 형식 오류와 마크다운을 제거하며, 하나의 질문만 포함됐는지 검사했다. 또한 ‘그림 1에 따르면’, ‘이 문서에서’처럼 특정 문서나 위치를 직접 지시하는 근거 표현을 제거해 독립적인 검색 질의로 정제했다.

6. 검색 적합성 필터링과 어려운 음성 표본 채굴

구문과 형식을 정제한 것만으로는 생성된 질문이 정보 검색에 적합하다고 보장할 수 없어 별도의 의미 기반 필터링을 수행했다. 먼저 모든 일반 질문을 voyage-3 임베딩 모델로 벡터화해 색인하고, 각각의 특정 질문으로 이 색인을 검색했다. 특정 질문과 연결된 원래 일반 질문이 검색 결과 상위 100개 안에 들어갈 때만 해당 질문을 좋은 표본으로 판정했다. 이 절차는 정보량이 낮거나 중복됐거나 지나치게 유사한 질문을 제거했으며, 언어별 데이터에서 평균 40%의 질의가 제외됐다. 어려운 음성 표본은 특정 질문에 대해 voyage-3와 고정 임계값 0.75를 사용해 채굴했고, 양성 표본을 고려하는 다른 방식은 이 데이터에서 너무 쉽거나 거리가 먼 음성 표본을 만드는 것으로 나타났다.

7. 공개 데이터의 실제 구성과 언어별 규모

공개된 vdr-multilingual-train은 총 496,167개의 PDF 페이지로 구성되며, 이 가운데 필터링을 통과한 질의와 연결된 페이지는 280,679개다. 필터링된 질의 수는 영어 53,512개, 스페인어 58,738개, 이탈리아어 54,942개, 독일어 58,217개, 프랑스어 55,270개다. 필터링 전 언어별 수량은 영어 94,225개, 스페인어 102,685개, 이탈리아어 98,747개, 독일어 100,713개, 프랑스어 99,797개로 합계 496,167개다. 질의가 제거된 이미지도 버리지 않고 학습 과정의 어려운 음성 표본으로 활용했다. 데이터는 다섯 개 언어별 하위 집합으로 제공되며, datasets 라이브러리에서 it·en·fr·de·es 구성을 지정해 개별적으로 내려받을 수 있다.

8. 다국어 평가와 ViDoRe 성능

평가는 ViDoRe 벤치마크와 별도로 구축한 다국어 평가 집합에서 진행됐으며, 텍스트 중심·시각 중심·혼합 페이지를 구분해 검색 능력을 측정했다. 평가 오염을 막기 위해 학습 데이터에 포함된 페이지는 평가 집합에서 제외했고, 평가 질의는 자동 필터링이 아니라 사람이 직접 검토하고 필요할 경우 수정했다. 모든 평가는 최대 768개 이미지 토큰으로 표현되는 해상도와 1,536차원 벡터를 사용해 NDCG@5를 계산했다. vdr-2b-multi-v1은 모든 언어와 모든 페이지 유형에서 기반 모델보다 높은 결과를 기록했으며, 언어별 평균 개선 폭을 종합하면 2.3%였다. 특히 독일어 시각 전용 페이지 검색에서는 NDCG@5가 기반 모델보다 6.33% 향상됐고, 전체 ViDoRe 벤치마크에서도 0.5% 높은 성능을 기록했다.

9. 빠른 추론과 교차 언어·축소 임베딩

영어 전용 vdr-2b-v1은 ViDoRe의 합성 데이터 평가에서 이미지 토큰을 2,560개가 아닌 768개만 사용하고도 기반 모델과 동등하거나 더 높은 평균 성능을 보였다. 이미지 토큰 사용량이 약 30%로 줄어든 결과, 추론 속도는 약 3배 빨라지고 VRAM 요구량도 크게 낮아졌다. 다국어 모델은 언어별로 분리된 자료를 학습했음에도 이탈리아어 질의로 독일어 문서를 검색하는 평가에서 기반 모델보다 평균 2.3% 향상됐다. 이는 유럽의 결정문, 설명서, 금융상품 핵심정보문서, 의약품 설명서처럼 여러 언어로 분산된 자료를 질의 언어와 무관하게 검색하는 사례와 연결된다. 또한 마트료시카 표현 학습을 적용해 중요한 식별 정보를 벡터 앞부분에 배치했으며, 벡터 크기를 3분의 1로 줄여도 임베딩 품질의 98%를 유지해 검색 속도와 저장 비용을 조절할 수 있다.

🧾 핵심 주장 / 시사점

이 연구의 핵심은 다국어 지원만이 아니라 문서 화면 자체를 단일 벡터로 검색함으로써 OCR·정보 추출·청킹으로 이어지는 전처리 단계를 생략할 수 있게 한 데 있다.
성능 향상에는 데이터 규모뿐 아니라 페이지 유형의 균형 표본화, 특정·일반 질문의 동시 생성, 의미 기반 질의 필터링, 어려운 음성 표본 채굴로 이어지는 품질 관리 과정이 함께 작용했다.
768개 이미지 토큰과 축소 가능한 임베딩을 사용하면서도 검색 품질을 유지한 결과는 대규모 문서 검색에서 추론 시간, VRAM, 벡터 저장 공간을 성능과 함께 조정할 수 있음을 보여준다.

✅ 액션 아이템

5개 언어를 지원하는 vdr-2b-multi-v1 조건에서 OCR·정보추출·청킹 없는 단일 벡터 처리 성능을 언어별로 정렬한다.
vdr-multilingual-train의 5만 문서, 496,167 페이지, 280,679 필터 질의를 텍스트·시각·혼합 유형별로 재분류해 표본 구성을 점검한다.
이미지 토큰 2,560개에서 768개로 줄인 vdr-2b-v1 실험을 통해 3배 추론 속도와 VRAM 절감이 2.3% 개선치와 함께 유지되는지 비교한다.