Run fast, private agents on-device with LFM2.5-24B-A2B

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LiquidAI의 LFM2.5-24B-A2B는 전체 24B 중 토큰당 2B 파라미터를 활성화하는 추론 전용 모델로, 도구 사용과 지시 이행 성능 및 빠른 로컬 추론을 앞세워 기기 내 비공개 에이전트 실행을 지향한다.

📌 핵심 요약

• LFM2.5-24B-A2B는 답변 전에 명시적 추론 과정을 생성하며, 도구 호출과 다단계 작업을 지원한다. 이전 모델의 40개 레이어와 MoE 블록당 64개 전문가·top-4 라우팅 구조를 유지하면서 문맥 길이를 32K에서 131K 토큰으로, 어휘를 65K에서 128K 토큰으로 확대했다.
• 사전학습 규모를 약 17T에서 약 33T 토큰으로 늘렸고, 중간학습에는 32K 문맥의 2T 토큰과 131K 문맥의 300B 토큰을 추가했다. 이후 SFT, 교사 모델 전문화, 비에이전트·에이전트 과제별 지식 증류, 에이전트 강화학습의 5단계를 거쳤다.
• 16개 벤치마크 비교에서 도구 사용·에이전트 평가 8개 중 5개에서 선두이거나 대등했고, 지시 이행 평가 3개에서는 모두 선두였다. LiveClaw는 48.09로 Qwen3.6-35B-A3B의 38.19를 앞섰지만, 지식 및 코딩 평가에서는 더 큰 비교 모델들이 우위를 보이는 영역이 있어 원문은 지식 중심 작업에 검색이나 웹 검색을 결합하도록 권한다.
• 원문에 따르면 M5 Max에서 184 tokens/s, Ryzen AI Max+ 395에서 114 tokens/s를 기록했으며, 비교한 MoE 중 메모리 사용량이 가장 적고 차상위 모델보다 최대 1.7배 빨랐다. 단일 NVIDIA B300에서는 높은 동시성 조건에서 출력 처리량이 초당 21K 토큰을 넘었다.
• llama.cpp, MLX, vLLM, SGLang, ONNX를 출시일부터 지원하며, transformers>=5.0.0으로 실행하거나 OpenAI 호환 로컬 백엔드를 Hermes Agent 등의 에이전트 도구에 연결할 수 있다. LFM2.5-24B-A2B와 LFM2.5-24B-A2B-Base는 모두 Hugging Face에 공개 가중치로 제공된다.

🧩 주요 포인트

1. 토큰당 2B 활성 파라미터와 추론 전용 설계 → LiquidAI는 추론 토큰의 계산 부담을 낮춰 자체 하드웨어에서 에이전트를 지속 실행할 수 있다고 주장한다.
2. 도구 사용·지시 이행의 강점과 지식·코딩 평가의 상대적 약점 → 작업 성격에 맞춰 모델 적합성을 판단하고, 지식 중심 작업에는 검색 결합을 고려할 필요가 있다.
3. 기기별 추론 속도와 폭넓은 실행 환경 지원 → 로컬 에이전트 도입 경로가 다양하며, M5 Max의 생성 속도와 NVIDIA B300의 고동시성 처리량은 각각의 조건에 맞춰 해석해야 한다.

🧠 상세 정리

1. 기기 내 에이전트를 위한 추론 전용 설계

LiquidAI가 2026년 10월 13일 소개한 LFM2.5-24B-A2B는 전체 24B 파라미터 중 토큰당 2B만 활성화하는 모델로, 빠르고 비공개로 실행되는 기기 내 에이전트를 목표로 한다. 답변 전에 명시적 추론 과정을 생성하고, 도구를 호출하며, 여러 단계의 작업을 에이전트 실행 환경 안에서 수행하도록 설계됐다. 이전 LFM2-24B-A2B의 40개 레이어, MoE 블록당 64개 전문가와 top-4 라우팅, 게이트형 짧은 합성곱과 GQA의 혼합 구조는 유지한다. 문맥 길이는 32K에서 131K 토큰으로 늘리고, 기존 토크나이저의 어휘를 65K에서 128K 토큰으로 확장해 비라틴 문자 토큰화를 개선했다. LiquidAI는 활성 파라미터가 적어 추론 토큰의 비용이 낮으며, 이를 통해 자체 하드웨어에서 에이전트를 지속 실행할 수 있다고 설명한다.

2. 학습 규모 확대와 5단계 에이전트 후속학습

사전학습 규모는 이전의 약 17T 토큰에서 약 33T 토큰으로 확대됐다. 중간학습에서는 추론·수학·코드·지시 이행·다국어 텍스트에 비중을 둔 32K 문맥 데이터 2T 토큰과, 긴 문맥 데이터에 비중을 둔 131K 문맥 데이터 300B 토큰을 추가했다. 도구 호출과 여러 턴에 걸친 작업 궤적은 두 중간학습 단계 모두에 포함됐다. 후속학습은 지도 미세조정인 SFT와 교사 모델 전문화를 거친 뒤, 전문 교사들의 비에이전트 과제를 증류하는 다중 도메인 온폴리시 증류인 MOPD와 에이전트 과제에 집중하는 두 번째 MOPD로 이어진다. 마지막 단계에서는 OpenClaw, Hermes Agent, Pi, OpenCode 같은 실행 환경 안에서 에이전트 강화학습을 진행해 기본 모델을 에이전트로 전환한다.

3. 도구 사용과 지시 이행에서 나타난 강점

평가는 Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it, Nemotron-3.5-Lightning과 함께 도구 사용·에이전트 작업, 지식, 지시 이행, 수학, 코딩을 다루는 16개 벤치마크에서 수행했다. 모든 모델은 vLLM으로 실행하고 각 벤치마크가 권장하는 생성 설정을 사용했으며, LFM2.5-24B-A2B는 비교군 중 가장 작은 모델이다. 원문은 도구 사용·에이전트 평가 8개 중 AutomationBench, BFCLv4, ToolSandbox, LiveClaw, τ³-Bench Banking의 5개에서 선두이거나 대등하다고 정리한다. AutomationBench에서는 27.69로 차상위인 Qwen3.6-35B-A3B의 8.72보다 3배 이상 높았고, LiveClaw에서도 48.09로 같은 모델의 38.19를 앞섰다. 지시 이행 평가인 IFEval, IFBench, Multi-IF에서는 각각 96.75, 74.69, 84.38로 비교 모델 전체를 앞서, 원문은 도구 사용과 지시 이행을 실제 애플리케이션에서의 핵심 강점으로 제시한다.

4. 지식·코딩 평가의 한계와 검색 결합 권고

도구 사용의 강점이 모든 에이전트 평가에서의 우세로 이어지는 것은 아니며, PinchBench에서는 83.18로 Qwen3.6-35B-A3B의 89.93보다 낮았고 WebArena Verified에서도 26.75로 같은 모델의 37.62에 못 미쳤다. 지식 중심 평가인 GPQA Diamond에서는 74.42로 Qwen3.6-35B-A3B의 83.69보다 낮았으며, HLE와 AA-Omniscience에서도 비교군의 더 큰 모델이 앞서는 결과가 나타났다. 코딩에서는 SWE-Bench Verified를 OpenCode로 평가했을 때 51.00을 기록해 Qwen3.6-35B-A3B의 66.20과 Nemotron-3.5-Lightning의 53.40보다 낮았다. SciCode 점수는 32.71로 Qwen3.6-35B-A3B와 Gemma-4-26B-A4B-it보다 낮았고, 수학 평가인 MATH-500에서는 96.04를 기록했다. 이러한 결과를 바탕으로 원문은 추론과 도구 호출이 필요한 로컬 에이전트의 기반으로 모델을 제안하면서도, 지식 중심 작업에는 검색이나 웹 검색을 결합하도록 권한다.

5. 기기별 생성 속도와 GPU 처리량

LFM2.5-24B-A2B는 출시일부터 llama.cpp, MLX, vLLM, SGLang, ONNX를 지원해 여러 추론 환경에서 사용할 수 있도록 제공됐다. 기기 내 추론에서는 M5 Max에서 초당 184토큰, Ryzen AI Max+ 395에서 초당 114토큰의 디코딩 속도를 기록했다고 설명한다. 원문은 비교한 MoE 모델 중 가장 빠르고 메모리 사용량도 가장 적으며, 차상위 모델보다 최대 1.7배 빠르다고 주장한다. GPU에서는 단일 NVIDIA B300의 높은 동시성 조건에서 출력 처리량이 초당 21K 토큰을 넘었고, 해당 규모의 모델 중 가장 빠르다고 제시한다. 따라서 기기 내 디코딩 속도와 GPU의 고동시성 출력 처리량은 각각의 실행 조건에 연결된 결과로 읽어야 하며, 원문은 두 결과를 빠른 로컬 에이전트 실행을 뒷받침하는 근거로 사용한다.

6. 실행 방법과 로컬 에이전트 연결

직접 실행하려면 transformers>=5.0.0과 호환되는 최신 transformers를 설치하고, LiquidAI/LFM2.5-24B-A2B를 AutoModelForCausalLM과 AutoTokenizer로 불러오면 된다. 예제는 device_map을 auto로, 자료형을 bfloat16으로 지정하며, 생성에는 temperature 0.1, top_k 50, repetition_penalty 1.05, max_new_tokens 512를 사용한다. 에이전트와 연결할 때는 OpenAI 호환 백엔드로 모델을 로컬 제공한 뒤 실행 환경이 해당 주소를 사용하도록 설정하며, Hermes Agent 예제는 문맥 길이 131072와 chat_completions 모드, 도구 사용 강제 옵션을 지정한다. 기본 포트는 llama.cpp와 MLX가 8080, vLLM이 8000, SGLang이 30000, LM Studio가 1234이므로 백엔드에 맞춰 연결 주소를 설정한다. LFM2.5-24B-A2B와 LFM2.5-24B-A2B-Base는 모두 Hugging Face에 공개 가중치로 제공되며, 원문은 OpenClaw·Pi 설정과 로컬 에이전트 실행 안내, 미세조정 튜토리얼도 함께 안내한다.

🧾 핵심 주장 / 시사점

• 전체 파라미터 수보다 토큰당 활성 파라미터를 줄이는 설계가 추론 과정의 계산 부담과 기기 내 실행 가능성을 연결하는 핵심 논리다.
• 벤치마크는 도구 사용·지시 이행 중심의 적합성을 뒷받침하지만, 지식·코딩 작업까지 일괄적인 우위를 주장할 근거로 확대하기는 어렵다.
• 131K 문맥 확장, 에이전트 실행 환경 안에서의 강화학습, 로컬 백엔드 지원은 긴 입력 처리부터 도구 호출과 실제 실행까지 연결하려는 방향을 보여준다.

✅ 액션 아이템

• 도구 사용·지시 이행이 중심인 작업에서 LFM2.5-24B-A2B의 적용 적합성 검토.
• 지식 중심 작업에 LFM2.5-24B-A2B를 사용할 경우 검색이나 웹 검색 결합 검토.
• M5 Max의 184 tokens/s와 NVIDIA B300의 고동시성 처리량을 구분해 로컬 실행 환경 선택에 반영.

❓ 열린 질문

• LFM2.5-24B-A2B의 도구 사용·지시 이행 강점은 적용하려는 다단계 작업에서도 유지되는가?
• 지식 중심 작업에서 검색이나 웹 검색을 결합하면 LFM2.5-24B-A2B의 상대적 약점을 얼마나 보완할 수 있는가?
• 실제 실행 조건에서 M5 Max의 184 tokens/s와 NVIDIA B300의 초당 21K 토큰 초과 처리량은 각각 어느 정도 재현되는가?