LFM2.5-Encoders for Fast Long-Context Inference on CPU

🖼️ 인포그래픽

LFM2.5-Encoders for Fast Long-Context Inference on CPU 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

리퀴드 AI의 LFM2.5-Encoder-230M과 350M은 최대 8,192토큰의 긴 입력을 지원하면서 CPU 추론 비용을 낮추고, 분류·라우팅·추출·정책 검사 등 상시 실행되는 자연어 이해 작업을 겨냥한 범용 인코더 모델이다.

📌 핵심 요약

리퀴드 AI는 허깅 페이스에 오픈 웨이트 모델인 LFM2.5-Encoder-230M과 LFM2.5-Encoder-350M을 공개했으며, 두 모델 모두 최대 8,192토큰의 문맥을 지원한다.
두 모델은 각각 LFM2.5 디코더 백본을 양방향 주의집중과 비인과적 짧은 합성곱 구조로 전환하고, 학습 과정에서 토큰의 30%를 가리는 마스크 언어 모델링을 적용했다.
GLUE·SuperGLUE·다국어 분류에서 가져온 17개 과제를 14개 모델로 비교한 결과, 350M 모델은 전체 4위였고 230M 모델은 ModernBERT-base와 모든 EuroBERT 비교 모델보다 높은 점수를 기록했다.
기사에 제시된 CPU 측정에서는 8,192토큰 입력의 순전파 시간이 ModernBERT-base의 1분 30초 이상에 비해 230M 모델은 약 28초였으며, 이를 약 3.7배 빠른 결과로 설명했다.
공개된 CPU 전용 데모에는 제로샷 프롬프트 라우팅, 정책 검사, 맞춤법 교정, 16개 언어와 40종의 개인정보 탐지, 반복적 마스크 해제를 이용한 텍스트 생성이 포함된다.

🧩 주요 포인트

디코더 백본을 범용 양방향 인코더로 전환하고 두 단계 장문맥 학습을 적용했다는 사실은 하나의 모델 계열을 분류·토큰 단위 처리·검색 등 여러 이해 작업에 확장하려는 설계를 보여준다.
작은 매개변수 규모로 더 큰 비교 모델들과 경쟁하고 긴 입력에서 CPU 지연 시간을 낮춘 결과는 대량·상시 처리 환경에서 정확도와 운영 비용을 함께 고려한 선택지를 제공한다.
모델과 학습 자료는 공개됐지만 기사 본문에는 CPU 측정 장비의 구체적인 사양과 정수 양자화·ONNX·OpenVINO 배포 경로가 제시되지 않아 실제 운영 규모의 성능 판단에는 추가 검증이 필요하다.

🧠 상세 정리

1. 두 가지 범용 장문맥 인코더 공개

리퀴드 AI는 2026년 7월 28일 허깅 페이스를 통해 LFM2.5-Encoder-230M과 LFM2.5-Encoder-350M을 공개했다. 두 모델은 최대 8,192토큰의 문맥을 처리하며, 입력이 길어져도 지연 시간이 비교적 완만하게 증가하도록 설계됐다고 소개된다. 글은 이 모델들이 GLUE·SuperGLUE·다국어 과제에서 더 큰 일부 인코더와 대등하거나 더 높은 품질을 보이면서도 긴 입력의 CPU 추론에서는 빠르다는 점을 핵심 장점으로 제시한다. 주요 대상은 문서 단위 분류, 의도 라우팅, 정책 검사, 개인정보 탐지처럼 하루 종일 반복 실행되며 비용과 처리량이 중요한 자연어 이해 작업이다.

2. 검색 전용 모델과 구분한 개발 목적

LFM2.5-Encoders는 앞서 공개된 다국어 검색용 LFM2.5-Retrievers와 같은 계열이지만, 검색에 한정되지 않는 범용 모델로 개발됐다. 마스크 언어 모델링 방식으로 사전 학습되기 때문에 분류, 토큰 단위 예측, 회귀, 추출, 검색 등 과제별 헤드를 붙여 미세 조정할 수 있다. 저자들은 검색이 인코더가 수행할 수 있는 여러 기능 중 하나에 불과하므로 검색 전용 리트리버를 그대로 재사용하지 않았다고 설명한다. BERT가 확립하고 ModernBERT가 정확도·속도·문맥 길이 측면에서 확장한 인코더 계열을 이어받되, LFM2 구조를 이용해 입력 증가에 따른 계산 비용을 더 완만하게 만드는 것이 이번 모델의 방향이다.

3. 디코더 백본의 양방향 인코더 전환

각 인코더는 매개변수 규모가 대응하는 LFM2.5-230M과 LFM2.5-350M 인과적 디코더 백본에서 초기화된다. 이후 각 토큰이 앞선 토큰뿐 아니라 양쪽의 토큰을 모두 볼 수 있도록 주의집중 마스크를 양방향으로 변경한다. 백본의 짧은 합성곱도 좌우를 대칭으로 채우는 비인과적 방식으로 바꿔, 각 토큰의 합성곱 표현에 양쪽 이웃 정보가 함께 섞이게 한다. 학습에서는 전체 토큰의 30%를 가린 뒤 원래 토큰을 예측하는 마스크 언어 모델링을 사용하며, 이러한 변경으로 생성 중심 디코더를 문맥 전체를 동시에 이해하는 인코더로 전환한다.

4. 일반 언어 능력과 장문맥 적응의 두 단계 학습

학습은 일반 언어 능력을 확보하는 단계와 긴 문맥에 적응하는 단계로 나뉜다. 첫 단계에서는 대규모 웹 말뭉치를 사용해 1,024토큰 문맥에서 짧은 문맥 중심의 마스크 언어 모델링을 수행한다. 두 번째 단계에서는 문맥 길이를 8,192토큰으로 늘리고 전체 데이터 구성을 활용해 학습을 이어가며, 사실·법률·다국어 영역의 능력을 강화한다. 즉 처음부터 긴 문서만 학습하는 대신 일반적인 언어 표현을 먼저 익힌 뒤 입력 길이와 데이터 범위를 확장하는 절차를 채택했으며, 이 과정이 문서 규모의 분류와 토큰 단위 처리에 필요한 장문맥 지원의 기반이 된다.

5. 17개 과제의 품질 평가 결과

품질 평가는 GLUE, SuperGLUE, 다국어 분류에서 가져온 17개 과제를 대상으로 총 14개 모델을 비교하는 방식으로 진행됐다. 저자들은 각 모델을 모든 과제에 대해 전체 미세 조정했으며, 실행마다 달라지는 수치를 완화하기 위해 보류된 다섯 개 시드의 평균 점수를 보고했다. LFM2.5-Encoder-350M은 14개 모델 중 4위를 기록했고, 그보다 앞선 세 모델은 모두 더 컸으며 그중에는 크기가 거의 열 배인 35억 매개변수 모델도 포함됐다. 230M 모델은 ModernBERT-base와 비교 대상인 모든 EuroBERT 모델보다 높은 점수를 냈고 이들 대부분보다 작았으며, 두 인코더 모두 같은 계열의 LFM2.5-Retrievers보다 해당 평가에서 높은 성능을 보였다. 평가 프레임워크와 원시 결과도 공개돼 측정 절차와 개별 결과를 확인할 수 있도록 했다.

6. CPU와 그래픽 처리 장치의 긴 입력 추론 속도

두 LFM2.5 인코더와 ModernBERT가 모두 8,192토큰을 지원하기 때문에 속도 평가는 짧은 입력부터 최대 문맥까지 전 구간에서 이뤄졌다. 기사에 따르면 CPU에서는 230M 모델이 모든 시퀀스 길이에서 가장 빨랐고, 짧은 입력에서도 더 작은 ModernBERT-base보다 빨랐다. 8,192토큰에서 ModernBERT-base의 순전파는 1분 30초 이상 걸린 반면 230M 모델은 약 28초가 걸려 약 3.7배의 차이를 보였으며, 저자들은 이를 노트북 CPU에서 계약서·대화 기록·긴 지원 문의를 30초 이내에 처리할 수 있는 수준으로 설명한다. 애플 그래픽 처리 장치에서는 약 1,000토큰 이하에서 ModernBERT-base가 앞섰지만 약 2,000토큰부터 LFM2.5 인코더가 선두로 전환돼, 성능 우위가 특히 긴 입력과 CPU 환경에서 커지는 양상이 제시됐다.

7. CPU 전용 데모와 적용 가능한 작업

공개된 데모는 모두 CPU만 사용하는 허깅 페이스 스페이스에서 실행되며, 미세 조정된 LFM2.5 인코더가 실제 작업에 어떻게 쓰이는지를 보여준다. 제로샷 프롬프트 라우팅은 사용자가 자유문으로 정의한 여러 경로와 전체 프롬프트의 적합도를 한 번에 계산하고, 제로샷 정책 검사는 자유문으로 작성한 회사 규칙마다 각 토큰을 한 번에 평가한다. 맞춤법 교정은 토큰 단위로 오타를 수정하며, 개인정보 탐지는 16개 언어에서 40종의 개인정보를 찾아 제거한다. 추가 데모인 마스크 확산식 텍스트 생성은 왼쪽에서 오른쪽으로 토큰을 생성하는 대신 반복적으로 마스크를 해제해 챗봇 응답을 만든다. 이 사례들은 동일한 범용 백본이 문장 분류뿐 아니라 토큰 판별, 규칙 준수 검사, 정보 제거와 실험적 생성까지 서로 다른 형태로 미세 조정될 수 있음을 보여준다.

8. 모델 선택과 미세 조정 방법

저자들은 분류·라우팅·추출·점수화처럼 처리량이 많고 지속적으로 실행돼야 하는 이해 작업에 LFM2.5 인코더를 사용할 것을 권한다. 이런 작업에서는 과제별로 미세 조정된 인코더가 생성형 대규모 언어 모델보다 작고 빠르며 운영 비용이 낮고, 기존 CPU에도 올릴 수 있다는 설명이다. 두 크기 중 350M 모델은 정확도가 가장 중요한 경우에, 230M 모델은 하드웨어 제약이 크거나 더 높은 처리량이 필요한 경우에 적합하다고 구분한다. 모델은 최신 트랜스포머스 라이브러리에서 원격 사용자 정의 코드를 허용해 마스크 토큰 예측용으로 불러오거나, 인코더 본체만 불러와 분류·토큰 분류·회귀·검색용 헤드를 붙일 수 있다. 기본 인코더는 범용 표현만 제공하므로 실제 과제의 출력값을 얻으려면 별도의 미세 조정이 필요하며, 지원되는 그래픽 처리 장치에서는 플래시 어텐션 2를 사용할 수 있다.

9. 공개 범위와 운영 관점의 미확인 사항

두 모델은 오픈 웨이트로 허깅 페이스에서 내려받을 수 있고, 별도 설치 없이 브라우저 데모를 실행하거나 공개된 장문맥 법률 문서 미세 조정 안내서를 따라 과제에 적용할 수 있다. 다만 기사 본문은 8,192토큰에서 약 28초가 나온 CPU의 구체적인 종류, 코어 수, 단일 입력 여부를 밝히지 않았으며, 댓글 작성자는 노트북과 다중 코어 서버의 결과를 구분해야 대규모 문서 처리에 적용할 수 있다고 지적했다. 같은 댓글은 예제가 원격 사용자 정의 코드와 파이토치 즉시 실행 방식에 의존하고 있으며, ORT·OpenVINO 경로나 정수 8비트·ONNX 내보내기 계획이 제시되지 않았다는 점도 운영상의 질문으로 남겼다. 따라서 글이 공개한 결과는 긴 입력에서의 모델 간 상대 성능을 보여주지만, 특정 서버 환경의 대량 처리량과 최적화된 배포 성능은 별도의 측정이 필요한 상태다. 댓글 작성자는 16·64·128 가상 중앙처리장치 환경에서 지연 시간 평가를 실행하겠다고 제안했고, CPU 기반 정책 검사 데모를 실제로 가치 있는 사용 사례로 평가했다.

🧾 핵심 주장 / 시사점

이 모델의 핵심 차별점은 단순한 소형화가 아니라 입력 길이가 늘어날 때 비용이 증가하는 양상을 개선한 데 있으며, 공개된 속도 결과에서도 짧은 입력보다 긴 입력과 CPU 환경에서 상대적 이점이 크게 나타났다.
리트리버를 재활용하지 않고 마스크 언어 모델링 기반의 범용 인코더를 별도로 만든 선택은 검색뿐 아니라 분류·토큰 판별·회귀·정책 검사처럼 출력 구조가 다른 여러 작업을 하나의 백본 계열로 지원하려는 방향과 연결된다.
품질 평가의 다섯 시드 평균과 원시 결과 공개는 비교의 재현성을 높이지만, 실제 도입 판단에는 CPU 사양, 동시 처리량, 양자화와 표준 배포 형식 지원 여부까지 포함한 운영 환경별 검증이 추가로 필요하다.

✅ 액션 아이템

LFM2.5-Encoder-230M·350M을 분류·라우팅·추출·정책 검사 등 상시 NLU 작업 후보로 두고 8,192토큰 장문맥 적합 범위를 정의한다.
GLUE·SuperGLUE·다국어 17개 과제 순위와 8,192토큰 CPU 순전파 약 28초·3.7배 결과를 ModernBERT-base 대비 정확도·지연 기준으로 비교한다.
공개 데모의 제로샷 라우팅·정책 검사·16개 언어·40종 개인정보 탐지에서 대량 상시 처리 시 정확도와 운영 비용 우선순위를 점검한다.