Introducing Mellum2: A 12B Mixture-of-Experts Model by JetBrains

🖼️ 인포그래픽

Introducing Mellum2: A 12B Mixture-of-Experts Model by JetBrains 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

JetBrains는 텍스트·코드 워크로드의 저지연 추론을 겨냥해, 총 12B 파라미터 중 토큰당 2.5B만 활성화하는 Apache 2.0 라이선스의 MoE 모델 Mellum2를 공개했다.

📌 핵심 요약

Mellum2는 JetBrains가 처음부터 자연어와 코드 데이터로 학습한 12B 파라미터 Mixture-of-Experts 모델이며, 기존 Mellum의 코드 완성 기반을 더 넓은 자연어 및 소프트웨어 엔지니어링 작업으로 확장한 모델이다.
이 모델은 전체 용량은 12B로 유지하면서 토큰마다 2.5B 파라미터만 활성화해, 고처리량·저지연 추론과 실시간 워크로드의 서빙 비용 절감을 목표로 한다.
JetBrains는 기술 보고서에서 Mellum2를 코드 생성, 추론, 과학, 수학 벤치마크로 평가했으며, 유사한 크기의 공개 모델과 경쟁력 있는 성능을 내면서도 2배 이상 빠른 추론을 달성한다고 설명한다.
주요 활용처는 라우팅과 오케스트레이션, RAG 파이프라인의 컨텍스트 압축·요약·검색 후처리, 에이전트의 계획·검증·변환·컨텍스트 준비 같은 하위 작업이다.
Mellum2는 모든 모델을 대체하려는 범용 모델이 아니라, 더 큰 AI 시스템 안에서 자주 호출되는 작업을 빠르고 통제 가능하게 처리하기 위한 잘 범위화된 ‘focal’ 모델로 제시된다.

🧩 주요 포인트

Mellum2는 JetBrains가 처음부터 자연어와 코드 데이터로 학습한 12B 파라미터 Mixture-of-Experts 모델이며, 기존 Mellum의 코드 완성 기반을 더 넓은 자연어 및 소프트웨어 엔지니어링 작업으로 확장한 모델이다.
이 모델은 전체 용량은 12B로 유지하면서 토큰마다 2.5B 파라미터만 활성화해, 고처리량·저지연 추론과 실시간 워크로드의 서빙 비용 절감을 목표로 한다.
JetBrains는 기술 보고서에서 Mellum2를 코드 생성, 추론, 과학, 수학 벤치마크로 평가했으며, 유사한 크기의 공개 모델과 경쟁력 있는 성능을 내면서도 2배 이상 빠른 추론을 달성한다고 설명한다.
주요 활용처는 라우팅과 오케스트레이션, RAG 파이프라인의 컨텍스트 압축·요약·검색 후처리, 에이전트의 계획·검증·변환·컨텍스트 준비 같은 하위 작업이다.
Mellum2는 모든 모델을 대체하려는 범용 모델이 아니라, 더 큰 AI 시스템 안에서 자주 호출되는 작업을 빠르고 통제 가능하게 처리하기 위한 잘 범위화된 ‘focal’ 모델로 제시된다.

🧠 상세 정리

1. Mellum2 공개와 모델의 출발점

JetBrains는 2026년 6월 1일 Mellum2를 공개하며, 이 모델을 저지연 텍스트 및 코드 워크로드에 최적화된 공개 Mixture-of-Experts 모델로 소개한다. Mellum은 원래 코드 완성 모델에서 출발했지만, Mellum2는 그 기반을 자연어와 소프트웨어 엔지니어링 전반의 작업으로 확장했다. 원문은 현대 AI 시스템이 라우팅, 검색, 요약, 계획, 검증, 도구 사용처럼 여러 번의 모델 호출에 의존한다는 점을 강조한다. Mellum2는 이런 호출 중 가장 큰 모델이 필요하지 않지만 지연 시간이 중요한 작업을 겨냥해 설계된 모델이다.

2. 아키텍처와 추론 효율성

Mellum2는 총 12B 파라미터를 가진 MoE 모델이지만, 각 토큰을 처리할 때는 2.5B 파라미터만 활성화한다. 이 구조는 전체 모델 용량을 유지하면서도 실제 추론 시 계산량을 줄여, 고처리량 서비스와 실시간 응답이 필요한 환경에 맞도록 한다. 원문은 이러한 특성이 서빙 비용을 낮추고 저지연 추론을 가능하게 한다고 설명한다. 또한 Mellum2는 멀티모달 작업이 아니라 텍스트와 코드에 의도적으로 집중해, 소프트웨어 엔지니어링 워크로드에 맞는 compact하고 효율적인 모델로 자리매김한다.

3. 벤치마크와 성능 포지셔닝

JetBrains는 기술 보고서에서 Mellum2를 코드 생성, 추론, 과학, 수학 벤치마크 전반에서 평가했다고 밝힌다. 원문에 따르면 Mellum2는 유사한 크기의 공개 모델들과 비교해 경쟁력 있는 벤치마크 성능을 제공한다. 동시에 추론 속도는 2배 이상 빠르다고 제시되어, 단순한 성능 점수보다 생산 환경에서의 처리량과 응답 지연을 함께 중시하는 모델임을 보여준다. 따라서 Mellum2의 핵심 포지션은 가장 큰 범용 모델이 아니라, 빈번하게 호출되는 작업을 빠르게 수행하는 실용적 생산용 모델에 가깝다.

4. 활용 사례와 시스템 내 역할

원문은 Mellum2의 주요 사용 사례로 라우팅과 오케스트레이션, RAG 파이프라인, 서브 에이전트, 프라이빗 배포를 제시한다. 라우팅 영역에서는 프롬프트 분류, 도구 선택, 중간 제어 흐름 단계에 활용될 수 있고, RAG에서는 컨텍스트 압축, 요약, 검색 후처리에 적합하다고 설명한다. 에이전트 워크플로에서는 계획, 검증, 변환, 컨텍스트 준비 같은 하위 작업을 맡아 더 큰 모델을 매번 호출할 필요를 줄인다. 또한 오픈 모델이고 효율적으로 서빙할 수 있기 때문에, 독점 코드나 내부 데이터를 다루는 자체 호스팅 환경에도 배포할 수 있다는 점이 강조된다.

5. 잘 범위화된 모델이 중요한 이유

JetBrains는 AI 시스템이 성숙할수록 단일 거대 모델 중심의 구조보다 여러 특화 구성요소가 함께 작동하는 구조가 중요해진다고 본다. 원문은 검색기, 라우터, 코드 인식 모델, 검증기, 도구 호출기, 더 큰 추론 모델이 함께 쓰이는 생산 시스템의 모습을 제시한다. Mellum2는 이런 구조 안에서 모든 모델을 대체하는 역할이 아니라, 자주 반복되는 고빈도 작업을 빠르게 처리하는 ‘focal’ 모델로 정의된다. 목표는 전체 스택을 더 빠르고, 더 저렴하며, 더 쉽게 통제할 수 있게 만드는 것이며, 모델은 Hugging Face에서 받을 수 있고 상세 구조와 평가 방법은 기술 보고서에서 확인할 수 있다.

🧾 핵심 주장 / 시사점

Mellum2의 핵심 메시지는 “더 큰 모델”보다 “자주 호출되는 작업에 맞는 빠른 모델”이 실제 AI 시스템에서 큰 가치를 가질 수 있다는 점이다.
MoE 구조로 토큰당 활성 파라미터를 줄인 설계는 라우팅, 요약, 검증처럼 반복 호출이 많은 중간 단계에서 지연 시간과 비용을 낮추는 데 초점을 맞춘 선택이다.
프라이빗 배포 가능성과 Apache 2.0 라이선스는 내부 코드나 민감한 데이터를 다루는 소프트웨어 엔지니어링 조직이 자체 환경에서 실험하기 쉬운 조건을 제공한다.

✅ 액션 아이템

JetBrains가 공개한 Mellum2의 12B/토큰당 2.5B MoE 구조를 반영해, 실시간 텍스트·코드 하위 작업군의 우선 적용 범위를 정한다.
Mellum2의 코드·추론·과학·수학 벤치마크 결과를 동급 공개 모델과 나란히 두고, 2배 이상 빠른 추론 주장 대비 성능·비용 타당성을 비교한다.
RAG 컨텍스트 압축·요약·검색 후처리와 에이전트 계획·검증·변환 단계에서 호출 빈도와 비용을 분해해 focal 배치의 운영 효율을 점검한다.