🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Ettin Reranker는 1,760만~10억 매개변수의 여섯 가지 교차 인코더로, 검색 속도와 재정렬 품질 사이에서 선택 가능한 장문 지원 모델군이다.

📌 핵심 요약

• 톰 아르센은 Ettin ModernBERT 인코더를 기반으로 만든 여섯 가지 Sentence Transformers 교차 인코더 재정렬 모델과 학습 데이터 및 학습 방법을 공개했다.
• 재정렬기는 질의와 문서를 함께 인코딩해 관련성 점수를 산출하므로 정확하지만, 전체 문서 집합이 아니라 임베딩 검색기가 추린 상위 후보에 적용하는 검색 후 재정렬 방식이 적합하다.
• 모든 모델은 최대 8,192토큰을 처리하며, 모델 크기는 1,760만·3,280만·6,860만·1억 5,090만·4억 160만·10억 매개변수로 구성된다.
• MTEB 영어 검색 평가에서 Ettin 모델들은 크기에 따라 일관된 품질 향상을 보였고, 10억 모델은 교사 모델인 mxbai-rerank-large-v2와 거의 같은 평균 NDCG@10을 기록했다.
• 일반적인 Sentence Transformers 인터페이스로 바로 사용할 수 있으며, bfloat16과 Flash Attention 2를 적용하면 모델 크기와 입력 길이에 따라 기본 로딩 대비 1.7배에서 8.3배의 처리량 향상을 기대할 수 있다.

🧩 주요 포인트

1. 톰 아르센은 Ettin ModernBERT 인코더를 기반으로 만든 여섯 가지 Sentence Transformers 교차 인코더 재정렬 모델과 학습 데이터 및 학습 방법을 공개했다.
2. 재정렬기는 질의와 문서를 함께 인코딩해 관련성 점수를 산출하므로 정확하지만, 전체 문서 집합이 아니라 임베딩 검색기가 추린 상위 후보에 적용하는 검색 후 재정렬 방식이 적합하다.
3. 모든 모델은 최대 8,192토큰을 처리하며, 모델 크기는 1,760만·3,280만·6,860만·1억 5,090만·4억 160만·10억 매개변수로 구성된다.
4. MTEB 영어 검색 평가에서 Ettin 모델들은 크기에 따라 일관된 품질 향상을 보였고, 10억 모델은 교사 모델인 mxbai-rerank-large-v2와 거의 같은 평균 NDCG@10을 기록했다.
5. 일반적인 Sentence Transformers 인터페이스로 바로 사용할 수 있으며, bfloat16과 Flash Attention 2를 적용하면 모델 크기와 입력 길이에 따라 기본 로딩 대비 1.7배에서 8.3배의 처리량 향상을 기대할 수 있다.

🧠 상세 정리

1. 여섯 가지 Ettin 재정렬 모델 공개

톰 아르센은 Ettin 인코더를 기반으로 한 여섯 가지 Sentence Transformers 교차 인코더 재정렬 모델을 공개했다. 모델은 1,700만급부터 10억급까지 단계적으로 구성되어 있어, 사용자가 처리 비용과 검색 품질의 균형에 맞춰 크기를 선택할 수 있다. 학습에는 mixedbread-ai/mxbai-rerank-large-v2가 산출한 점수를 목표로 삼는 점별 평균제곱오차 증류 방식이 사용됐다. 학습 데이터인 cross-encoder/ettin-reranker-v1-data는 lightonai/embeddings-pre-training의 일부와 lightonai/embeddings-fine-tuning에서 다시 순위를 매긴 일부를 혼합해 만들었다. 모델뿐 아니라 데이터와 전체 학습 방법도 함께 공개했다는 점이 발표의 핵심이다.

2. 재정렬기의 역할과 검색 후 재정렬 구조

재정렬기 또는 점별 교차 인코더는 질의와 문서 한 쌍을 입력받아 하나의 관련성 점수를 출력한다. 질의와 문서를 따로 벡터화한 뒤 두 벡터의 유사도를 계산하는 임베딩 모델과 달리, 교차 인코더는 모든 트랜스포머 계층에서 두 텍스트가 서로를 참조하도록 함께 처리한다. 이 공동 인코딩은 일반적으로 더 정확하지만 질의와 문서의 모든 조합마다 모델을 실행해야 하므로 계산량이 크다. 따라서 실제 검색 시스템에서는 빠른 임베딩 모델이 상위 K개 후보를 먼저 찾고, 교차 인코더가 그 후보만 정밀하게 재정렬하는 검색 후 재정렬 구조를 사용한다. 이 방식은 전체 비용을 제한하면서도 전 문서를 교차 인코더로 평가한 결과에 가까운 최종 순위를 얻도록 설계된다.

3. 간단한 사용법과 장문 처리

공개된 모델들은 표준 Sentence Transformers CrossEncoder 모델이므로 별도의 전용 실행 체계 없이 불러와 사용할 수 있다. predict에 질의와 문서의 쌍을 전달하면 각 쌍의 관련성 점수가 반환되며, 점수가 클수록 질의와 문서가 더 관련 있다고 해석한다. 하나의 질의와 여러 후보 문서가 있을 때는 rank를 사용해 점수와 정렬된 문서 또는 인덱스를 바로 받을 수 있다. 예시에서는 ‘붉은 행성’이라는 질의에 대해 화성을 설명한 문서가 가장 높은 점수를 받았고, 애플 창업 장소에 관한 질의에서도 회사 창업 정보를 담은 문서가 다른 후보보다 높은 순위에 배치됐다. 여섯 모델은 모두 최대 8,192토큰을 지원하므로 짧은 문장뿐 아니라 긴 문서의 재정렬에도 활용할 수 있다.

4. 검색부터 최종 순위까지의 전체 흐름

전체 예시는 SentenceTransformer 기반 검색기와 Ettin CrossEncoder 재정렬기를 결합하는 전형적인 이단계 검색 구조를 보여준다. 먼저 검색기가 질의와 문서 집합을 각각 인코딩하고 벡터 유사도를 계산해 상위 100개 후보의 인덱스를 선택한다. 이어서 선택된 문서만 교차 인코더에 전달하고, 재정렬기가 질의와 각 문서를 함께 읽어 최종 상위 결과를 결정한다. 애플 창업 장소 예시에서는 실제 창업 장소와 창업자를 설명한 문서가 가장 높은 점수를 얻었고, 스티브 잡스의 아이폰 발표나 후지 사과에 관한 문서는 그 아래로 밀렸다. 원문은 이 구조를 검색기가 후보 진입을 결정하고 재정렬기가 최종 승자를 결정하는 깔때기 형태로 설명한다.

5. ModernBERT 기반 구조와 모델 규모

여섯 모델은 동일한 재정렬 구조를 공유하며, 차이는 기반으로 사용하는 Ettin 인코더의 크기에 있다. Ettin 인코더는 패딩을 제거한 어텐션, RoPE 위치 인코딩, GeGLU와 공개 라이선스 데이터 2조 토큰의 사전 학습을 활용하는 ModernBERT 계열 모델이며 최대 8,192토큰을 처리한다. 재정렬 머리는 트랜스포머, CLS 풀링, 편향 없는 은닉 차원 선형층과 GELU, 계층 정규화, 단일 점수 출력층으로 이어진다. 실험에서는 평균 풀링보다 CLS 풀링이 더 좋은 결과를 냈으며, 로컬 윈도 어텐션 계층이 많아도 일부 전역 어텐션 계층이 CLS에 충분한 정보를 전달한 것으로 관찰됐다. 모델 규모는 1,760만에서 10억 매개변수까지이며, 여섯 모델 모두 Ettin 인코더와 동일한 아파치 2.0 라이선스로 공개됐다.

6. Flash Attention 2를 통한 처리량 개선

기반 트랜스포머는 AutoModelForSequenceClassification이 아니라 일반 AutoModel을 사용하며, 이를 통해 길이가 서로 다른 입력에서 시퀀스 패딩을 제거하고 Flash Attention 2를 적용할 수 있다. 원문은 높은 처리량이 필요할 때 kernels를 설치하고 모델 자료형을 bfloat16, 어텐션 구현을 flash_attention_2로 설정할 것을 권장한다. 중간 길이 문서를 처리한 측정에서는 모델 크기와 입력 길이에 따라 기본 fp32와 SDPA 조합보다 약 1.7배에서 8.3배 빠른 결과가 보고됐다. 이 최적화는 재정렬기가 후보 문서마다 반복 실행된다는 비용 문제를 완화하는 데 직접적으로 연결된다. 사용자는 작은 모델 선택뿐 아니라 자료형과 어텐션 구현 설정을 통해서도 품질을 유지하면서 처리량을 높일 수 있다.

7. MTEB 영어 검색 평가 방식

평가는 MTEB 영어 버전 2의 검색 과제 10개를 대상으로 진행됐으며, 각 검색기가 가져온 상위 100개 문서를 재정렬하는 이단계 평가 절차를 사용했다. 재정렬 성능이 특정 검색기에만 의존하지 않는지 확인하기 위해 매개변수가 없는 정적 검색 모델부터 약 5억 9,600만 활성 매개변수의 검색 모델까지 총 여섯 가지 임베딩 모델을 조합했다. 각 검색기의 단독 NDCG@10은 0.3495에서 0.5980까지 차이가 났고, 그래프에서는 이 단독 성능이 재정렬기의 유효성을 판단하는 기준선으로 사용됐다. 재정렬 후 점수가 기준선 아래로 내려가면 재정렬기가 평균적으로 전체 검색 절차를 오히려 악화한 것으로 해석한다. 최종 비교표는 여섯 검색기 조합에서 얻은 평균 NDCG@10을 기준으로 여러 기존 재정렬 모델과 Ettin 제품군을 비교했다.

8. 모델 크기별 성능과 NanoBEIR 결과

MTEB 평균 NDCG@10에서 Ettin 10억 모델은 0.6114를 기록해 15억 4,000만 매개변수의 교사 모델이 기록한 0.6115와 거의 같은 수준에 도달했다. 4억 모델은 0.6091, 1억 5,000만 모델은 0.5994, 6,860만 모델은 0.5915를 기록했으며, 더 작은 3,280만과 1,760만 모델도 각각 0.5779와 0.5576을 얻었다. 전체 표에서 가장 높은 값은 Qwen3-Reranker-4B의 0.6367이지만, 이 모델과 또 다른 40억급 모델은 단일 H100 80GB에서 원래 문맥 길이를 처리하지 못해 최대 길이를 8,192로 제한해 평가했다. 학습 중 최적 모델 선택과 실험 방향 설정에는 13개 데이터셋에서 각 50개 질의를 사용하는 NanoBEIR가 활용됐다. NanoBEIR에서도 Ettin 10억 모델은 0.7237, 4억 모델은 0.7193, 1억 5,000만 모델은 0.7086을 기록해 크기가 커질수록 성능이 높아지는 흐름을 보였다.

🧾 핵심 주장 / 시사점

• 재정렬 성능은 재정렬기 자체 점수만이 아니라 어떤 문서를 상위 후보로 전달하는 검색기와의 조합으로 평가해야 하며, 검색기의 단독 기준선보다 낮아지는지도 반드시 확인해야 한다.
• 10억 매개변수 Ettin 모델이 더 큰 교사 모델과 거의 같은 MTEB 평균 점수를 기록한 결과는 점수 증류가 모델 크기를 줄이면서 교사의 순위 판단을 전달하는 데 효과적이었음을 보여준다.
• 실제 적용에서는 전체 문서에 재정렬기를 실행하기보다 임베딩 검색으로 후보 수를 제한하고, 요구 지연 시간에 맞는 모델 크기와 bfloat16·Flash Attention 2 설정을 함께 선택하는 것이 중요하다.

✅ 액션 아이템

• Ettin ModernBERT 기반 6개 교차 인코더를 매개변수 규모별로 묶어 조회 정확도와 처리량 요구에 맞춘 적용 구간을 정한다.
• 재정렬은 전체 문서가 아니라 임베딩 검색 상위 후보에만 적용해 연산비용과 정밀도 균형을 맞춘다.
• 10억 매개변수 모델의 평균 NDCG@10 성능을 mxbai-rerank-large-v2와 동일 조건에서 비교해 실사용 적합도를 판단한다.

❓ 열린 질문

• 1,760만~10억 매개변수 모델 중 장문 길이와 SLA 조합에서 어느 크기를 우선 배치할지 판단 기준은 무엇인가?
• bfloat16와 Flash Attention 2를 적용했을 때 보고된 1.7배~8.3배 처리량 향상이 실제 환경에서도 동일 조건으로 재현될까?
• 임베딩 검색 상위 후보 재정렬 방식이 8,192토큰 장문 쿼리에서 원본 적중률 저하를 유발하는 구간은 어디인가?