🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Apriel-H1은 기존 150억 매개변수 추론 모델의 주의층을 단계적으로 맘바층으로 교체하면서, 일반 사전학습 데이터가 아니라 교사가 생성한 고품질 추론 궤적을 증류해 추론 품질을 거의 유지하고 처리량을 최대 2.1배 높인 하이브리드 모델이다.

📌 핵심 요약

• 연구진은 처음부터 대규모 사전학습을 다시 수행하지 않고, 이미 강력한 150억 매개변수 추론 모델에 효율적인 맘바 구조를 사후 적용하는 현실적인 전환 방법을 탐구했다.
• 일반 사전학습 데이터나 사전학습·지도 미세조정 혼합 데이터로 증류했을 때는 추론 성능이 크게 저하됐지만, 교사 모델의 고품질 지도 미세조정 추론 궤적을 사용하자 성능을 안정적으로 보존할 수 있었다.
• 핵심 원리는 새 구조가 일반적인 다음 토큰 예측 능력을 다시 배우게 하는 것이 아니라, 주의 메커니즘 교체로 손상된 다단계 추론 패턴을 명시적이고 정확한 사례를 통해 복원하도록 만드는 데 있다.
• 층 변환은 단일 층 제거 분석과 학습 동역학 기반 교체 난이도 평가를 결합해 25개에서 40개 맘바층까지 단계적으로 진행했으며, 대표 모델은 30개 맘바층과 20개 주의층으로 구성됐다.
• 대표 모델은 총 768억 토큰의 학습으로 문맥 길이에 따라 약 1.89~2.09배의 처리량을 달성하면서 벤치마크 성능을 대체로 유지했지만, 연구진은 현재 하이브리드 모델 배포 도구가 완전히 성숙하지 않았다는 현실적인 한계도 밝혔다.

🧩 주요 포인트

1. 연구진은 처음부터 대규모 사전학습을 다시 수행하지 않고, 이미 강력한 150억 매개변수 추론 모델에 효율적인 맘바 구조를 사후 적용하는 현실적인 전환 방법을 탐구했다.
2. 일반 사전학습 데이터나 사전학습·지도 미세조정 혼합 데이터로 증류했을 때는 추론 성능이 크게 저하됐지만, 교사 모델의 고품질 지도 미세조정 추론 궤적을 사용하자 성능을 안정적으로 보존할 수 있었다.
3. 핵심 원리는 새 구조가 일반적인 다음 토큰 예측 능력을 다시 배우게 하는 것이 아니라, 주의 메커니즘 교체로 손상된 다단계 추론 패턴을 명시적이고 정확한 사례를 통해 복원하도록 만드는 데 있다.
4. 층 변환은 단일 층 제거 분석과 학습 동역학 기반 교체 난이도 평가를 결합해 25개에서 40개 맘바층까지 단계적으로 진행했으며, 대표 모델은 30개 맘바층과 20개 주의층으로 구성됐다.
5. 대표 모델은 총 768억 토큰의 학습으로 문맥 길이에 따라 약 1.89~2.09배의 처리량을 달성하면서 벤치마크 성능을 대체로 유지했지만, 연구진은 현재 하이브리드 모델 배포 도구가 완전히 성숙하지 않았다는 현실적인 한계도 밝혔다.

🧠 상세 정리

1. 대규모 재학습 대신 기존 모델을 효율화하는 문제

이 연구는 효율적 주의 방식 자체의 성패를 일반화하기보다, 모델 규모와 계산 예산, 개발 시점 같은 제약에 따라 적합한 선택이 달라진다는 관점에서 출발한다. 연구진에게는 이미 강력한 150억 매개변수 추론 모델이 있었고, 20조 토큰 규모의 사전학습을 처음부터 다시 수행하거나 아키텍처와 학습 과정을 처음부터 공동 설계할 계산 여력이 없었다. 따라서 해결해야 할 문제는 새로운 효율 모델을 만드는 것이 아니라, 기존 모델의 일부 주의층을 선형 상태공간 모델인 맘바층으로 교체하고 지식 증류를 통해 성능을 복구할 수 있는지를 확인하는 것이었다. Apriel-H1은 바로 이러한 사후 효율화가 실용적으로 가능한지, 가능하다면 어떤 데이터와 변환 절차가 필요한지를 검증한 결과다.

2. Apriel-H1 계열의 구성과 대표 성과

Apriel-H1 계열은 전체 50개 층 가운데 25개에서 40개를 맘바층으로 바꾼 일곱 개 체크포인트로 구성되며, 각 모델은 처리량과 품질 사이의 서로 다른 절충점을 보여준다. 대표 모델인 Apriel-H1-15b-Thinker-SFT는 맘바층 30개와 주의층 20개를 사용하고, 문맥 길이에 따라 원래의 완전 주의 교사 모델보다 약 1.89~2.09배 높은 처리량을 기록했다. MATH500 점수는 0.90에서 0.92로, MTBench는 8.30에서 8.58로 상승한 반면, GSM8K는 0.97에서 0.95, GPQA는 0.59에서 0.55, AIME24는 0.70에서 0.65로 소폭 하락했다. 즉 모든 평가에서 동일한 개선이 나타난 것은 아니지만, 전반적인 추론 품질을 거의 유지하면서 약 2.1배의 처리량을 확보했다는 것이 대표적인 성과다.

3. 사전학습 데이터 증류가 실패한 이유

연구진의 초기 직관은 새로 삽입한 맘바층이 일반적인 토큰 혼합 능력을 처음부터 배워야 하므로, 원래 주의층이 접했던 것과 비슷한 광범위한 사전학습 데이터가 필요하다는 것이었다. 이에 따라 사전학습 데이터만 사용하거나 사전학습 데이터와 지도 미세조정 데이터를 섞어 증류했지만, 이렇게 만든 하이브리드 모델은 추론 품질을 잃었고 일부 실험에서는 저하 폭이 컸다. 문제는 기존 기반 모델이 이미 일반적인 다음 토큰 예측 능력을 갖고 있다는 점과, 구조 변환 과정에서 실제로 손상되는 능력이 그보다 더 구체적이고 취약한 다단계 추론 패턴이라는 점을 구분하지 못한 데 있었다. 광범위하지만 잡음이 많고 목적이 분산된 사전학습 데이터에서는 보존해야 할 추론 신호가 희석되므로, 단순히 더 일반적인 데이터를 공급하는 방식으로는 구조 교체로 사라진 계산 경로를 효과적으로 복구할 수 없었다.

4. 고품질 추론 궤적과 역방향 발산의 역할

실제로 효과가 있었던 데이터는 교사 모델의 지도 미세조정 데이터셋에 포함된 고품질 추론 궤적이었다. 기존 주의층은 먼 문맥을 검색하는 헤드, 논리적 연쇄를 인식하고 이어 가는 유도 헤드, 앞선 전제와 훨씬 뒤의 결론을 연결하는 장거리 의존성 등을 통해 다단계 추론을 수행하는데, 주의층을 맘바의 선형 순환 구조로 바꾸면 이러한 계산 방식이 직접적으로 흔들린다. 따라서 학생 모델에는 각 단계가 앞 단계에서 어떻게 이어지는지 드러나는 수학 증명, 논리적 의존관계가 명확한 코딩 과제, 설명 연쇄가 상세한 과학적 분석처럼 정확하고 집중된 사례가 필요했다. 손실 함수로는 온도 1의 역방향 쿨백-라이블러 발산이 일관되게 더 좋은 결과를 냈으며, 교사가 확신을 갖고 구조화된 답을 제시하는 문제에서 학생도 그 고확률 예측에 집중하도록 만드는 모드 추구 특성이 유리하게 작용했다.

5. 층 중요도와 학습 난이도를 결합한 단계적 증류

연구진은 다수의 주의층을 한꺼번에 맘바층으로 교체하지 않고 세 단계의 점진적 절차를 사용했다. 첫 단계에서는 MMLU를 대상으로 각 층을 하나씩 항등 변환으로 대체한 뒤 성능 하락을 측정하는 단일 층 제거 분석을 수행하고, 중요도가 낮은 25개 층을 Mamba-in-Llama 방식으로 초기화한 맘바 혼합기로 교체해 전체 모델을 증류했다. 그러나 25개를 넘어가면 개별적으로는 중요하지 않았던 층들이 함께 제거될 때 핵심적인 역할을 할 수 있어 정적인 중요도 분석이 제대로 작동하지 않았고, 이를 보완하기 위해 각 후보 층을 맘바로 초기화한 뒤 100단계 학습하여 증류 손실을 측정하는 MIL-Mamba-Replacement 휴리스틱을 개발했다. 손실이 더 낮게 수렴하는 층을 교체하기 쉬운 층으로 판단해 25개, 27개, 30개, 34개, 37개, 40개 순으로 변환했으며, 각 체크포인트는 바로 이전 체크포인트에서 증류했다. 목표 층 수에 도달한 뒤에는 추론 성능이 안정될 때까지 지도 미세조정을 수행했고, 대표 모델에는 증류 559억 토큰과 지도 미세조정 209억 토큰을 합쳐 총 768억 토큰이 사용됐다.

6. 하나의 최적점이 아닌 효율성과 품질의 선택지

연구진이 모든 중간 체크포인트를 공개한 이유는 최적 모델이 하나로 고정되는 것이 아니라 실제 배포 제약에 따라 달라진다고 보기 때문이다. 맘바층 30개를 사용하는 대표 모델은 평균 점수 0.76과 약 2.1배 처리량을 제공해 품질과 효율의 균형점으로 제시됐고, 40개 층을 바꾼 공격적인 변형은 1,365억 토큰을 사용해 약 3.4배의 처리량을 달성했다. 비교 대상으로 언급된 Nemotron-Nano-9B-v2는 점수 0.77에서 약 4.6배의 처리량을 보였지만, 처음부터 학습되었고 훨씬 많은 규모의 계산을 요구했기 때문에 Apriel-H1과 같은 사후 변환 경로와는 조건이 다르다. 또한 맘바의 계산 복잡도는 시퀀스 길이에 대해 선형으로 증가하는 반면 주의 방식은 이차적으로 증가하므로, 실제 속도 향상 폭은 문맥 길이가 길어질수록 달라진다.

7. Fast-LLM을 통한 모듈화와 재현성

모든 실험은 대규모 언어 모델의 혼합 계층을 교체 가능한 구성요소로 다루는 오픈소스 학습 프레임워크 Fast-LLM 위에서 수행됐다. 이 프레임워크에서는 주의와 맘바가 동일한 혼합 인터페이스의 서로 다른 구현으로 취급되며, 구성 파일의 패턴 필드에서 전체 50개 층의 순서와 유형을 지정할 수 있다. 대표 모델은 층 중요도에 따라 배치된 맘바 블록 30개와 주의 블록 20개로 표현되며, 교사 모델과 역방향 쿨백-라이블러 발산을 사용하는 증류 설정 역시 구성으로 정의된다. Fast-LLM은 경사 누적, 분산 학습, 텐서 병렬화, 체크포인트 관리 등 대규모 실험에 필요한 기능을 제공하고 아파치 2.0 라이선스로 공개되어 있어, 연구진은 모델뿐 아니라 해당 결과를 재현할 수 있는 학습 기반까지 함께 제공하는 것을 목표로 했다.

8. 실험 범위와 주장할 수 있는 결론의 한계

연구진은 검증된 증류 이력과 경험적 성능, 프레임워크 구현의 단순성을 이유로 Mamba-1에만 집중했으며, 상태 크기 16, 시간 간격 랭크 16, 내부 차원 4096을 사용했다. 초기 실험에서 뚜렷한 이점이 확인되지 않았기 때문에 더 복잡한 다단계 변환 절차 대신 Mamba-in-Llama 초기화와 지식 증류를 선택했고, 지도 미세조정은 증류된 하이브리드도 표준 후처리로 개선할 수 있음을 확인하기 위해 30개 맘바층 모델에만 적용했다. 강화학습은 지식 증류만으로 추론을 이전할 수 있는지를 분리해 확인하려는 범위 설정 때문에 제외됐으며, 남은 품질 격차를 줄일 가능성은 후속 연구 대상으로 남겼다. 또한 동일한 계산 예산과 학습 절차로 완전 주의 모델과 하이브리드 모델을 처음부터 비교한 실험은 수행하지 않았으므로, 연구진이 직접 뒷받침하는 결론은 하이브리드가 본질적으로 우월하다는 것이 아니라 기존 강력한 모델을 증류로 효율화하는 방법이 실용적이고 효과적이라는 것이다.

9. 배포 현실과 최종 교훈

Apriel-H1은 Hugging Face Transformers와 vLLM에 구현됐으며, Transformers에서는 주의층과 맘바층을 교환할 수 있는 새로운 모델 클래스를 제공하는 방식으로 통합됐다. vLLM 구현은 연속 배치, 접두사 캐싱, 분할 사전 채우기를 위해 맘바 캐시 연산을 사용하고 플러그인도 준비됐지만, 원문 작성 시점에는 최종 법률 승인을 기다리고 있어 아직 공개되지 않았다. 연구진은 현재 하이브리드 모델 배포가 완전한 즉시 사용 단계는 아니며, 사용자 정의 코드 작성, 수치 동작의 세심한 검증, 프레임워크 제약에 대한 우회 작업이 필요하다고 평가했다. 이러한 비용을 감당할 수 있는 팀에는 처리량 향상이 가치가 있지만 그렇지 않은 팀은 도구가 성숙할 때까지 기다리는 것이 합리적일 수 있으며, 최종 교훈은 증류 데이터를 새로 구축하려는 일반 능력이 아니라 보존하려는 구체적 능력에 맞춰야 한다는 것이다.

🧾 핵심 주장 / 시사점

• 아키텍처 변환 증류의 핵심 병목은 새 계층에 일반 언어 능력을 다시 학습시키는 것이 아니라, 구조 교체로 손상된 특정 계산 패턴을 어떤 데이터로 다시 형성하느냐에 있다.
• 층의 교체 가능성은 각 층을 독립적으로 제거했을 때의 정적 중요도만으로 판단하기 어렵고, 실제로 교체한 뒤 나타나는 단기 학습 손실과 수렴 특성까지 함께 관찰해야 한다.
• Apriel-H1의 가치는 단일 최고 성능 모델보다 기존 모델 투자와 제한된 계산 예산을 활용해 품질·처리량 절충점을 여러 단계로 선택할 수 있는 실용적인 전환 경로를 제시했다는 데 있다.

✅ 액션 아이템

• 일반 사전학습 혼합 데이터 증류 대신 교사 기반 추론 궤적 증류를 기준선으로 두고 성능·추론 품질 변화를 정량 비교한다.
• 단일 층 제거 분석과 학습 동역학 난이도 지표를 결합해 25~40개 맘바 교체 범위를 단계적으로 탐색하고 30개 맘바·20개 주의 비중을 검증한다.
• 대표 모델은 768억 토큰 학습 조건에서 벤치마크 성능 유지와 문맥 길이별 1.89~2.09배 처리량 목표를 동시에 만족하는지 점검한다.

❓ 열린 질문

• 일반 데이터 증류에서 성능이 크게 하락한 원인은 다단계 추론 패턴 붕괴 때문인가, 아니면 데이터 정합성 차이 때문인가?
• 문맥 길이별 1.89~2.09배 처리량 개선이 운영 추론 워크로드에서도 동일하게 재현될 수 있을까?
• 현재 하이브리드 모델 배포 도구 미성숙이 실제 적용에서 성능 회복·안정성에 어떤 제약으로 가장 먼저 드러날까?