Multimodal Embedding & Reranker Models with Sentence Transformers

🖼️ 인포그래픽

Multimodal Embedding & Reranker Models with Sentence Transformers 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Sentence Transformers 5.4는 텍스트·이미지·오디오·비디오를 같은 인터페이스로 임베딩하고, 서로 다른 형식의 입력 쌍을 재평가해 교차 모달 검색과 멀티모달 검색 증강 생성 파이프라인을 구축할 수 있게 한다.

📌 핵심 요약

멀티모달 임베딩 모델은 텍스트, 이미지, 오디오, 비디오를 하나의 공유 벡터 공간에 배치해 서로 다른 입력 형식 사이의 유사도를 계산한다.
Sentence Transformers 5.4에서는 기존과 같은 모델 로딩 및 인코딩 인터페이스로 이미지 주소, 로컬 이미지 경로, 이미지 객체 등을 처리할 수 있다.
검색 작업에서는 질의와 문서에 맞는 지시문을 자동 적용하는 질의 인코딩 및 문서 인코딩 메서드가 권장되며, 전용 지시문이 없는 모델에서는 일반 인코딩과 동일하게 동작한다.
멀티모달 재순위화 모델은 텍스트·이미지·복합 문서 쌍을 개별적으로 처리해 관련성 점수를 산출하므로 임베딩 검색보다 느리지만 일반적으로 더 높은 품질을 제공한다.
대규모 자료에서는 미리 계산한 문서 임베딩으로 후보를 빠르게 검색한 뒤 상위 결과만 재순위화하는 2단계 구성이 속도와 품질을 함께 확보하는 일반적인 방식이다.

🧩 주요 포인트

멀티모달 임베딩 모델은 텍스트, 이미지, 오디오, 비디오를 하나의 공유 벡터 공간에 배치해 서로 다른 입력 형식 사이의 유사도를 계산한다.
Sentence Transformers 5.4에서는 기존과 같은 모델 로딩 및 인코딩 인터페이스로 이미지 주소, 로컬 이미지 경로, 이미지 객체 등을 처리할 수 있다.
검색 작업에서는 질의와 문서에 맞는 지시문을 자동 적용하는 질의 인코딩 및 문서 인코딩 메서드가 권장되며, 전용 지시문이 없는 모델에서는 일반 인코딩과 동일하게 동작한다.
멀티모달 재순위화 모델은 텍스트·이미지·복합 문서 쌍을 개별적으로 처리해 관련성 점수를 산출하므로 임베딩 검색보다 느리지만 일반적으로 더 높은 품질을 제공한다.
대규모 자료에서는 미리 계산한 문서 임베딩으로 후보를 빠르게 검색한 뒤 상위 결과만 재순위화하는 2단계 구성이 속도와 품질을 함께 확보하는 일반적인 방식이다.

🧠 상세 정리

1. 멀티모달 임베딩과 재순위화의 의미

기존 임베딩 모델은 텍스트를 고정된 크기의 벡터로 변환하지만, 멀티모달 임베딩 모델은 텍스트뿐 아니라 이미지·오디오·비디오까지 하나의 공유 임베딩 공간에 배치한다. 따라서 텍스트 질의와 이미지 문서를 비교하거나, 반대로 이미지를 이용해 관련 텍스트를 찾는 작업에도 익숙한 유사도 함수를 그대로 적용할 수 있다. 멀티모달 재순위화 모델은 두 텍스트의 관련성만 판단하던 기존 교차 인코더를 확장해, 한쪽 또는 양쪽이 이미지이거나 텍스트와 이미지가 결합된 경우에도 점수를 계산한다. 이러한 기능은 시각적 문서 검색, 설명과 일치하는 영상 탐색, 서로 다른 입력 형식을 함께 다루는 검색 증강 생성 파이프라인으로 이어진다.

2. 설치 옵션과 실행 자원

멀티모달 기능을 사용하려면 필요한 입력 형식에 맞는 추가 의존성을 설치해야 한다. 이미지, 오디오, 비디오 지원은 각각 해당 추가 옵션을 선택해 설치할 수 있으며, 이미지와 비디오 및 학습 기능처럼 여러 옵션을 한 번에 조합하는 것도 가능하다. Qwen3-VL-2B와 같은 시각 언어 모델 기반 모델은 약 8기가바이트 이상의 그래픽 메모리가 필요하고, 8B 계열은 약 20기가바이트가 요구된다고 설명한다. 로컬 그래픽 처리 장치가 없다면 클라우드 그래픽 처리 환경이나 구글 코랩을 고려할 수 있지만, 중앙처리장치에서 이런 모델을 실행하면 매우 느리므로 그 환경에서는 텍스트 전용 모델이나 CLIP 계열 모델이 더 적합하다.

3. 모델 로딩과 이미지 인코딩

멀티모달 임베딩 모델은 텍스트 전용 모델과 같은 방식으로 SentenceTransformer에 모델 식별자를 전달해 불러온다. 일부 모델은 통합 작업이 아직 반영되지 않은 동안 특정 개정판을 지정해야 할 수 있지만, 통합이 완료되면 별도 개정판 인수 없이 로딩할 수 있다. 모델은 자신이 지원하는 입력 형식을 자동으로 감지하므로 기본적인 사용을 위해 추가 형식 설정을 할 필요가 없다. 모델을 불러온 뒤 일반 인코딩 메서드에 이미지 주소, 로컬 파일 경로 또는 이미지 객체를 전달하면 이미지 임베딩이 생성되며, 예시의 2B 임베딩 모델은 두 이미지를 각각 2,048차원 벡터로 변환한다.

4. 교차 모달 유사도와 모달리티 간격

텍스트와 이미지가 같은 임베딩 공간으로 변환되므로 텍스트 임베딩과 이미지 임베딩 사이의 유사도를 직접 계산할 수 있다. 예시에서는 노란 건물 앞의 초록색 자동차를 묘사한 문장이 자동차 이미지와 가장 높은 0.51의 유사도를 보였고, 분홍색 꽃 위의 벌을 묘사한 문장은 벌 이미지와 0.67로 가장 잘 대응했다. 고속도로를 달리는 빨간 자동차나 나무 탁자 위의 말벌처럼 의도적으로 어렵게 구성한 부정 예시는 각각의 대상 이미지보다 낮은 점수를 받았다. 최고 점수가 1에 가깝지 않은 이유는 서로 다른 입력 형식의 임베딩이 공간의 별도 영역에 모이는 모달리티 간격 때문이며, 교차 모달 절대 점수는 낮아도 상대적인 순서가 유지되므로 검색에는 유효하게 활용할 수 있다.

5. 질의와 문서를 구분한 검색 인코딩

검색 작업에서는 일반 인코딩보다 질의 인코딩과 문서 인코딩 메서드를 사용하는 것이 권장된다. 많은 검색 모델은 채팅 모델이 목적에 따라 서로 다른 시스템 지시문을 적용하는 것처럼, 입력이 질의인지 문서인지에 따라 다른 지시문을 앞에 붙인다. 질의 인코딩은 모델에 질의용 지시문이 있으면 이를 사용하고 작업 유형을 질의로 설정하며, 문서 인코딩은 문서·구절·말뭉치용 지시문 가운데 먼저 제공되는 것을 선택해 작업 유형을 문서로 설정한다. 두 메서드는 일반 인코딩을 감싼 얇은 인터페이스이므로 이미지 주소와 멀티모달 사전 등 같은 입력 형식과 매개변수를 지원하고, 전용 지시문이 없는 모델에서는 일반 인코딩과 동일하게 동작한다.

6. 혼합 형식 문서의 재순위화

멀티모달 교차 인코더는 질의와 각 문서를 한 쌍씩 처리해 관련성 점수를 산출하고, 그 결과에 따라 문서 목록을 정렬한다. 문서는 이미지 주소나 로컬 이미지 경로, 일반 텍스트 또는 텍스트와 이미지를 함께 담은 복합 입력으로 구성할 수 있으며, 현재 제공되는 사전 학습 재순위화 모델은 주로 텍스트와 이미지에 초점을 둔다. 초록색 자동차에 관한 질의를 사용한 예시에서는 실제 자동차 이미지가 0.9375로 가장 높은 점수를 받고, 자동차 설명과 이미지를 결합한 문서가 0.5000으로 뒤를 이었으며, 벌 이미지는 가장 낮게 평가됐다. 다만 텍스트와 이미지 쌍의 점수 범위는 텍스트끼리 또는 이미지끼리의 점수 범위와 다를 수 있으므로, 모달리티 간격이 절대 점수에 미치는 영향을 고려해야 한다.

7. 지원 형식 확인과 개별 입력 쌍 점수

재순위화 모델은 자신이 지원하는 입력 형식 목록과 특정 형식의 지원 여부를 확인하는 인터페이스를 제공한다. 예시 모델은 텍스트, 이미지, 비디오, 메시지를 지원하는 것으로 표시되며, 이미지 단독 지원 여부뿐 아니라 이미지와 텍스트로 구성된 특정 입력 쌍을 처리할 수 있는지도 검사할 수 있다. 순위화 메서드가 하나의 질의에 대해 여러 문서를 정렬한다면, 예측 메서드는 사용자가 지정한 입력 쌍마다 원시 관련성 점수를 직접 반환한다. 자동차 문장과 자동차 이미지, 벌 문장과 벌 이미지는 각각 약 0.94와 0.97의 높은 점수를 받았지만, 자동차 문장과 벌 이미지는 약 0.46으로 더 낮게 평가되어 일치하는 쌍과 불일치하는 쌍을 구분했다.

8. 빠른 검색과 정밀 재순위화의 결합

일반적인 멀티모달 검색 구성은 임베딩 모델을 이용한 초기 검색과 교차 인코더를 이용한 재순위화를 두 단계로 결합한다. 먼저 질의를 질의용 임베딩으로 변환하고, 문서 화면 이미지들은 문서용 임베딩으로 미리 계산해 저장한 뒤 코사인 유사도로 상위 후보를 빠르게 찾는다. 원문 예시는 수백만 개까지 늘어날 수 있는 문서 화면 이미지 가운데 유사도가 높은 상위 10개를 선택한 다음, 시각 입력을 처리하는 재순위화 모델로 이 후보들을 다시 평가한다. 재순위화 모델은 각 쌍을 개별 처리하기 때문에 더 느리지만 일반적으로 품질이 높으며, 전체 자료에 적용하지 않고 초기 검색에서 좁힌 후보에만 사용하면 대규모 검색에서도 속도와 정밀도를 조합할 수 있다.

🧾 핵심 주장 / 시사점

교차 모달 검색에서는 서로 다른 입력 형식의 절대 유사도만 보고 성능을 판단하기보다, 관련 후보가 비관련 후보보다 앞서는지 상대적 순서를 확인하는 것이 중요하다.
질의와 문서에 서로 다른 지시문을 사용하는 모델에서는 일반 인코딩 대신 전용 질의·문서 인코딩 메서드를 사용해야 모델 설정에 포함된 검색 의도를 자동으로 반영할 수 있다.
임베딩을 미리 계산할 수 있는 자료에는 빠른 후보 검색을 적용하고, 계산 비용이 큰 재순위화는 상위 후보에 한정하는 방식이 멀티모달 검색의 품질과 처리 비용을 균형 있게 결합한다.

✅ 액션 아이템

Sentence Transformers 5.4에서 텍스트·이미지·오디오·비디오를 동일 임베딩 인터페이스로 묶어 교차 모달 검색 파이프라인을 구성한다.
질의·문서 인코딩은 모델별 권장 지시문을 적용하고, 전용 지시문이 없으면 일반 인코딩 동작으로 정렬한다.
대규모 코퍼스에서는 사전 계산한 문서 임베딩으로 후보를 선별한 뒤 상위만 멀티모달 재순위화해 정밀도와 처리 속도를 동시에 점검한다.