Training and Finetuning Multi-Vector Embedding Models with Sentence Transformers

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Sentence Transformers v6.0의 MultiVectorEncoder는 토큰 단위 검색 모델의 학습을 지원하며, 제시된 의료 검색 실험은 도메인 미세조정에서 문서 길이 설정과 지도 미세조정 이전 체크포인트 선택의 중요성을 보여준다.

📌 핵심 요약

• Sentence Transformers v6.0은 ColBERT 방식의 지연 상호작용 검색을 위한 MultiVectorEncoder와 학습 체계를 추가했으며, 다중 벡터 모델은 토큰별 대응을 보존하는 대신 더 큰 인덱스를 사용한다.
• 평균 941토큰인 의료 지문 평가에서 문서 잘림에 따른 성능 손실은 최대 0.24 NDCG@10으로 측정됐으며, 저자는 이 손실이 모델 구조 간 성능 차이보다 컸다고 설명한다.
• MIRIAD 의료 질문·지문 25,000쌍으로 동일한 학습 방식을 비교한 결과, lightonai/mLateOn-unsupervised는 NDCG@10이 0.9087에서 0.9398로 상승했고 일부 지도 미세조정 완료 모델은 성능이 하락했다.
• 기존 체크포인트의 길이 제한과 문서 토큰 제외 설정을 조정할 수 있으며, 문장부호 제외는 해당 데이터에서 검색 품질을 소폭 개선하고 문서 인덱스를 9.6% 줄였다.
• 저자는 단일 RTX 3090에서 14.5시간 학습한 multi-vector-encoder/mLateOn-medical이 자신이 비교한 범용 검색 모델들을 의료 평가에서 앞섰다고 소개한다. 제공된 본문은 약 440만 건의 MIRIAD 학습 데이터 설명 도중 끝나므로 최종 평가의 상세 결과는 포함하지 않는다.

🧩 주요 포인트

1. 토큰별 대응 보존과 문서 잘림 손실 → 도메인 검색에서는 모델 구조뿐 아니라 문서 길이 설정과 인덱스 크기를 함께 고려할 필요가 있다.
2. 지도 미세조정 이전 체크포인트의 높은 적응 성과 → 제시된 의료 실험에서는 범용 검색의 초기 성능보다 도메인 학습 이후의 성능이 출발점 선택에 더 유용한 기준이다.
3. 단일 RTX 3090 학습 사례와 제공 본문의 범위 제한 → 제한된 장비에서의 도메인 특화 가능성은 제시되지만, 최종 성능 주장의 상세 검증에는 누락된 평가 내용이 필요하다.

🧠 상세 정리

1. MultiVectorEncoder 도입과 글의 범위

Sentence Transformers는 검색 증강 생성, 의미 검색, 문장 간 의미 유사도 등의 작업에 쓰이는 임베딩 모델과 재순위화 모델을 사용하고 학습하는 파이썬 라이브러리다. v6.0에서는 네 번째 모델 유형으로 MultiVectorEncoder를 추가하고, ColBERT 방식의 지연 상호작용 검색 모델을 학습하는 체계를 제공한다. 글은 기존 다중 벡터 모델을 특정 도메인에 맞게 미세조정하는 방법을 중심으로 설명하면서, 새로운 다중 벡터 모델을 만드는 방식도 다룬다. 학습 구성요소는 모델, 데이터셋, 손실 함수, 학습 인자, 평가기, 트레이너의 여섯 가지이며 학습 인자와 평가기는 선택 사항으로 소개된다. 다만 제공된 본문은 데이터셋 소개 중간에서 끝나므로, 목차에 열거된 후반부 구성요소의 구현과 최종 평가 절차까지 확인할 수 있는 것은 아니다.

2. 다중 벡터 검색의 동작과 비용

밀집 임베딩 모델은 텍스트 전체를 하나의 벡터로 압축하고, 두 텍스트의 유사도를 그 요약 벡터 사이의 내적으로 계산한다. 다중 벡터 모델은 이 압축을 생략하고 토큰마다 작은 벡터를 유지해 질의와 문서 사이의 세밀한 대응 관계를 보존한다. 점수 계산에 사용하는 MaxSim 연산에서는 각 질의 토큰이 가장 잘 맞는 문서 토큰을 찾고, 그렇게 얻은 일치 점수들을 합산한다. 저자는 이러한 토큰 수준의 대응이 단일 벡터로 요약하는 과정에서 희석될 수 있는 정보를 유지하므로 일반적으로 더 강한 검색 성능을 제공한다고 설명한다. 반면 문서마다 여러 벡터를 보관해야 하므로 인덱스가 커지는 비용이 있으며, 이 글은 인코딩과 데이터베이스 색인의 상세 사용법보다 모델 학습에 초점을 맞춘다.

3. 도메인 미세조정과 문서 길이의 중요성

저자는 웹 검색, 법률 문서 탐색, 코드 검색, 과학 문헌 검토에서 어휘와 질문 방식, 관련성의 기준이 달라지므로 도메인 미세조정이 필요하다고 설명한다. 다중 벡터 모델은 토큰별로 질의와 문서를 비교하기 때문에 세밀한 도메인 신호를 학습할 수 있으며, 비교적 적은 도메인 데이터에도 잘 반응한다고 서술한다. 또 다른 핵심 문제는 짧은 지문 중심으로 학습된 검색 모델의 길이 제한으로, 기존 ColBERT 체크포인트는 문서를 180 또는 300토큰에서 자르고 여러 밀집 모델도 256 또는 512토큰으로 제한한다. 평균 길이가 941토큰인 저자의 의료 지문 평가에서는 이러한 잘림으로 최대 0.24 NDCG@10의 손실이 발생했으며, 이는 모델 구조 사이의 차이보다 컸다. 따라서 직접 학습할 때는 도메인 어휘에 적응시키는 것과 함께 실제 데이터에 필요한 문서 길이를 설정하는 일이 중요하다.

4. 기존 체크포인트의 길이와 문장부호 설정

기존 다중 벡터 체크포인트를 불러오면 질의와 문서의 구분 토큰, 투영층, 점수 계산에서 제외할 토큰 설정이 함께 제공되므로, 저자는 기본 구성을 유지하면서 데이터에 필요한 부분만 바꾸는 접근을 제시한다. 예제는 lightonai/mLateOn-unsupervised를 불러올 때 토크나이저의 최대 길이를 8192로 설정하며, 메모리가 허용하면 학습에는 32비트 부동소수점으로 로드하는 방식을 권장한다. mLateOn 계열은 이미 기반 모델의 전체 8192토큰 문맥을 지원하지만, 별도 제한이 있는 체크포인트에서는 질의와 문서 길이 제한을 해제하면 토크나이저의 최대 길이가 적용된다. 저자는 문서의 점수 계산과 저장에서 문장부호 토큰을 제외하는 설정도 추가했고, 제외 없음·문장부호·불용어·둘 다 제외의 네 조건을 비교했다. 해당 데이터에서는 문장부호만 제외한 조건이 품질에서 소폭 우세하고 문서 인덱스를 9.6% 줄였으며, 제외 목록을 변경한 뒤에는 토크나이저를 이용해 캐시된 토큰 식별자를 다시 계산해야 한다.

5. 기반 트랜스포머에서 새 모델 구성

MultiVectorEncoder에 기존 다중 벡터 체크포인트 대신 기반 트랜스포머를 지정하면 무작위로 초기화한 토큰 수준의 투영층이 자동으로 추가된다. ModernBERT-base 예제의 구조는 문맥화된 토큰 임베딩을 생성하는 트랜스포머, 768차원 출력을 128차원으로 줄이는 투영층, 점수에 반영할 토큰을 선택하는 마스크, 토큰별 정규화로 구성된다. 투영층이 무작위 상태에서 시작하므로 학습이 필요하지만, 강한 밀집 검색 임베딩 기반 모델을 출발점으로 삼는 방식도 가능하다. 저자의 실험에서는 gte-modernbert-base에 새 투영층을 붙여 25,000쌍으로 학습한 모델이 기존 체크포인트를 출발점으로 한 결과와 NDCG@10 차이 0.03 이내에 도달했다. 전통적인 ColBERT의 마스크 토큰 질의 확장, 질의·문서 접두 토큰, 문서 길이 제한, 문장부호 제외는 기본적으로 꺼져 있으며 설정할 수 있고, 저자가 시험한 네 가지 질의 확장 조건에서는 측정 가능한 차이가 없었다.

6. 출발점 비교에서 나타난 도메인 적응 차이

저자는 여섯 출발점에 동일한 학습 방식을 적용해 MIRIAD 의료 질문·지문 25,000쌍으로 학습하고, 학습에서 제외한 질문 1,000개와 지문 50,000개로 평가했다. mLateOn-unsupervised의 NDCG@10은 0.9087에서 0.9398로 상승한 반면, mLateOn은 0.9277에서 0.9319로 소폭 상승했다. LateOn-unsupervised도 0.9026에서 0.9206으로 개선됐지만, LateOn은 0.9185에서 0.9105로, GTE-ModernColBERT-v1은 0.9198에서 0.9007로 하락했고 새 투영층을 붙인 gte-modernbert-base는 0.9177을 기록했다. 저자는 두 모델 계열에서 대규모 대조 사전학습 이후이면서 범용 검색용 지도 미세조정 이전인 체크포인트가 더 잘 적응했다고 해석하며, 완료된 모델의 정체나 하락은 자신이 시험한 모든 학습률에서 관찰됐다고 설명한다. 이 결과를 바탕으로 지도 미세조정 이전 체크포인트를 우선 선택하고, 없다면 검색 사전학습 기반 모델에 새 투영층을 추가하는 방식을 차선으로 권한다.

7. 학습 데이터 형식과 MIRIAD 예제

MultiVectorEncoderTrainer는 학습과 평가 데이터로 datasets.Dataset 또는 datasets.DatasetDict 인스턴스를 사용한다. 데이터는 Hugging Face Datasets Hub에서 불러오거나 CSV, JSON, Parquet, Arrow, SQL 등의 로컬 형식에서 가져올 수 있으며, 허브에서는 sentence-transformers 태그가 붙은 공개 데이터셋도 찾을 수 있다. 본문의 예제는 tomaarsen/miriad-4.4M-split의 학습 분할을 불러오며, 출력에는 question과 passage_text 두 열 및 4,467,542개 행이 표시된다. 저자는 이를 약 440만 개의 MIRIAD 의료 질문과 각 질문의 답이 담긴 출처 지문으로 설명하고, 지문의 평균 길이는 941토큰이라고 밝힌다. 제공된 본문은 이러한 질문과 관련 지문의 쌍을 소개하는 도중 끝나므로, 이후의 데이터 형식 세부 설명이나 손실 함수별 데이터 요구사항은 확인할 수 없다.

8. 의료 특화 성과 소개와 확인 가능한 근거의 범위

글의 도입부에서 저자는 multi-vector-encoder/mLateOn-medical을 단일 RTX 3090으로 14.5시간 동안 학습했다고 소개한다. 이 모델이 자신의 의료 검색 평가에서 찾아 비교한 모든 범용 검색 모델을 앞섰으며, 비교 범주에는 밀집, 희소, 어휘 기반, 다중 벡터 검색이 포함됐다고 서술한다. 다만 제공된 본문에는 해당 최종 평가 절이 없어, 이 소개에 대응하는 모델별 점수나 전체 비교 조건을 직접 확인할 수 없다. 본문 안에서 수치로 확인 가능한 근거는 출발점 여섯 가지의 비교, 문서 잘림에 따른 최대 0.24 NDCG@10 손실, 문장부호 제외에 따른 인덱스 9.6% 감소 등이다. 따라서 의료 특화 모델의 최종 우위는 저자가 소개한 결과로 구분하고, 구체적인 설계 판단에는 본문에 실제로 제시된 실험 조건과 수치를 연결해 이해해야 한다.

🧾 핵심 주장 / 시사점

• 의료 지문의 잘림 손실이 모델 구조 간 차이보다 컸다는 결과는 검색 모델 선택과 입력 길이 설정을 분리해서 판단하기 어렵다는 점을 보여준다.
• 초기 검색 성능이 낮았던 지도 미세조정 이전 체크포인트가 도메인 학습 후 역전했으므로, 제시된 실험에서 초기 성능 순위는 도메인 적응 성과의 순위를 보장하지 않았다.
• 문장부호 제외 실험은 저장할 토큰을 줄이는 설정이 검색 품질 개선과 함께 나타날 수 있음을 보여주지만, 확인된 개선 폭은 해당 의료 데이터의 결과다.

✅ 액션 아이템

• 평균 941토큰 의료 지문의 사례를 기준으로 적용 대상 문서 길이와 모델의 문서 길이 설정을 비교 검토.
• 도메인 미세조정의 출발점으로 lightonai/mLateOn-unsupervised와 지도 미세조정 완료 모델의 학습 후 성능을 비교.
• multi-vector-encoder/mLateOn-medical의 범용 검색 모델 대비 우위 판단에 앞서 제공 본문에 누락된 최종 평가의 상세 결과를 확인.

❓ 열린 질문

• 평균 941토큰 의료 지문에서 나타난 최대 0.24 NDCG@10의 문서 잘림 손실은 문서 길이 설정에 따라 어떻게 달라지는가?
• lightonai/mLateOn-unsupervised의 높은 도메인 적응 성과는 다른 도메인에서도 나타나는가?
• multi-vector-encoder/mLateOn-medical의 최종 평가에서 비교한 범용 검색 모델과 각 모델의 성능 수치는 무엇인가?