🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Granite 4.1은 3B·8B·30B 밀집형 디코더 전용 LLM 제품군으로, 약 15조 토큰의 5단계 사전학습, 512K 장문 컨텍스트 확장, 약 410만 개 고품질 SFT 샘플, 다단계 강화학습을 통해 수학·코딩·지시수행·대화 성능을 강화한 모델이다.

📌 핵심 요약

• Granite 4.1은 3B, 8B, 30B 세 가지 크기의 dense decoder-only LLM으로, GQA, RoPE, SwiGLU, RMSNorm, 공유 입출력 임베딩을 사용하는 동일한 설계 계열 위에 구축되었다.
• 사전학습은 약 15조 토큰 규모로 진행되며, 1~2단계는 기초 언어·수학·코드 능력 확보, 3~4단계는 고품질 데이터 annealing과 instruction·chain-of-thought 데이터 반영, 5단계는 512K까지의 장문 컨텍스트 확장에 초점을 둔다.
• SFT 단계에서는 LLM-as-Judge와 규칙 기반 필터링을 결합해 hallucination, false premise, 계산 오류, 구조 위반, 스키마 문제, 데이터 누출 등을 걸러내고 약 410만 개의 고품질 샘플로 모델을 미세조정한다.
• 강화학습은 단일 단계가 아니라 multi-domain RL, RLHF, identity and knowledge-calibration RL, math RL로 이어지는 순차 파이프라인으로 구성되며, on-policy GRPO와 DAPO loss를 사용해 여러 능력을 단계적으로 보강한다.
• 본문은 Granite 4.1의 핵심 차별점을 단순한 파라미터 확장보다 데이터 품질, 단계별 학습 혼합비, 장문 컨텍스트 보존, SFT 품질 통제, RL 단계 설계의 결합에서 찾고 있으며, 8B instruct 모델이 이전 32B-A9B MoE 계열과 맞먹거나 앞선다고 설명한다.

🧩 주요 포인트

1. Granite 4.1은 3B, 8B, 30B 세 가지 크기의 dense decoder-only LLM으로, GQA, RoPE, SwiGLU, RMSNorm, 공유 입출력 임베딩을 사용하는 동일한 설계 계열 위에 구축되었다.
2. 사전학습은 약 15조 토큰 규모로 진행되며, 1~2단계는 기초 언어·수학·코드 능력 확보, 3~4단계는 고품질 데이터 annealing과 instruction·chain-of-thought 데이터 반영, 5단계는 512K까지의 장문 컨텍스트 확장에 초점을 둔다.
3. SFT 단계에서는 LLM-as-Judge와 규칙 기반 필터링을 결합해 hallucination, false premise, 계산 오류, 구조 위반, 스키마 문제, 데이터 누출 등을 걸러내고 약 410만 개의 고품질 샘플로 모델을 미세조정한다.
4. 강화학습은 단일 단계가 아니라 multi-domain RL, RLHF, identity and knowledge-calibration RL, math RL로 이어지는 순차 파이프라인으로 구성되며, on-policy GRPO와 DAPO loss를 사용해 여러 능력을 단계적으로 보강한다.
5. 본문은 Granite 4.1의 핵심 차별점을 단순한 파라미터 확장보다 데이터 품질, 단계별 학습 혼합비, 장문 컨텍스트 보존, SFT 품질 통제, RL 단계 설계의 결합에서 찾고 있으며, 8B instruct 모델이 이전 32B-A9B MoE 계열과 맞먹거나 앞선다고 설명한다.

🧠 상세 정리

1. 모델 제품군과 전체 개발 관점

본문은 Granite 4.1을 3B, 8B, 30B 크기의 dense decoder-only LLM 제품군으로 소개한다. 핵심 메시지는 좋은 소형 언어모델을 만들기 위해서는 단순히 계산량을 늘리는 것만으로는 부족하며, 학습 전 과정에서 데이터 품질을 체계적으로 관리해야 한다는 점이다. Granite 4.1은 약 15조 토큰의 다단계 사전학습, 약 410만 개 고품질 샘플 기반 SFT, 그리고 다단계 강화학습을 조합해 수학, 코딩, 지시수행, 일반 대화 능력을 강화한다. 또한 모든 Granite 4.1 모델이 Apache 2.0 라이선스로 공개된다는 점도 명시되어 있어, 기술적 구축 방식뿐 아니라 공개 활용 가능성까지 함께 강조된다.

2. 아키텍처: 단순한 dense 구조 위의 공통 설계

Granite 4.1 모델들은 모두 디코더 전용 밀집형 트랜스포머 구조를 사용하며, 세 모델은 같은 학습 파이프라인과 데이터 전략을 공유하고 구조적 차이는 주로 차원 수와 레이어 수에 있다. 공통 구성 요소로는 Grouped Query Attention, Rotary Position Embeddings, SwiGLU 활성화 함수, RMSNorm, 공유 입력·출력 임베딩이 제시된다. 3B 모델은 2560 임베딩 크기와 40개 레이어를 가지며, 8B 모델은 4096 임베딩 크기와 40개 레이어, 30B 모델은 4096 임베딩 크기와 64개 레이어를 가진다. 본문은 특히 8B instruct 모델이 더 단순하고 작은 dense 구조를 쓰면서도 이전 Granite 4.0-H-Small 32B-A9B MoE 모델과 맞먹거나 능가한다고 설명해, 설계와 데이터 전략의 효율성을 부각한다.

3. 5단계 사전학습의 큰 흐름

사전학습은 약 15조 토큰 규모로 처음부터 진행되며, 총 다섯 단계로 나뉜다. 1~2단계는 foundational pre-training으로 넓은 언어 이해와 수학·코드 추론 기반을 만드는 데 초점을 둔다. 3~4단계는 mid-training으로 분류되며, 데이터 품질을 점차 높이는 annealing을 통해 일반 웹 중심 데이터에서 더 선별된 고품질·도메인·instruction·reasoning 데이터로 비중을 이동한다. 5단계는 long context training으로, 컨텍스트 창을 기존 4K에서 최대 512K까지 확장하는 과정이다. 각 단계는 서로 다른 데이터 혼합비와 학습률 스케줄을 사용해, 넓은 지식 습득에서 고품질 추론 및 장문 처리 능력으로 점진적으로 목적을 전환한다.

4. 1~2단계: 일반 언어 기반에서 수학·코드 강화로

1단계는 10조 토큰 규모의 일반 사전학습으로, CommonCrawl 약 59%, 코드 약 20%, 수학 약 7%, 기술 문서 약 10.5%, 다국어 약 2%, 도메인 특화 데이터 약 1.5%로 구성된다. 이 단계는 broad language understanding을 확보하기 위한 기반 단계이며, power learning rate schedule과 warmup이 사용된다. 2단계는 2조 토큰 규모로, 수학 데이터 비중을 약 35%로 1단계 대비 5배 높이고 코드도 약 30%로 늘려 추론 능력 강화를 노린다. 동시에 CommonCrawl-HQ, synthetic high-quality data, technical, multilingual, domain 데이터를 유지해 일반 언어 범위를 완전히 포기하지 않는다. 이 흐름은 모델을 웹 기반 범용 언어 이해에서 수학·코딩 중심의 강한 reasoning 모델로 이동시키는 전환점으로 제시된다.

5. 3~4단계: 고품질 데이터 annealing과 instruction 데이터 투입

3단계는 2조 토큰 규모의 high-quality data annealing 단계로, CommonCrawl-HQ, math, code가 각각 약 16.67%로 균형 있게 배치된다. 여기에 synthetic 데이터, technical 데이터, multilingual 데이터뿐 아니라 long chain-of-thought, language instructions, code instructions가 포함되면서 reasoning trajectory와 instruction tuning 성격의 데이터가 본격적으로 들어간다. 4단계는 0.5조 토큰 규모의 refinement 단계로, 선형 학습률 감쇠를 0까지 진행하면서 최고 품질 데이터에 더 집중한다. 이 단계에서는 CommonCrawl-HQ가 약 40%, code와 math가 각각 약 20%, long chain-of-thought와 language·code instruction 데이터가 나머지를 구성한다. 본문은 3~4단계를 통해 데이터 혼합이 웹 중심에서 품질 중심, 지시수행과 추론 중심으로 이동한다고 설명한다.

6. 5단계: 512K 장문 컨텍스트 확장

마지막 5단계는 long context extension으로, 모델의 컨텍스트 창을 4K에서 32K, 128K, 512K로 단계적으로 늘리는 과정이다. 32K와 128K 확장에는 4단계와 같은 데이터 혼합비가 사용되며, 512K 확장에서는 8B와 30B 모델에 대해 책 데이터 80%와 코드 저장소 데이터 20%가 사용된다. 이 단계의 학습률은 1e-4에서 시작해 0으로 감쇠하는 exponential schedule을 따른다. 본문은 장문 시퀀스를 자연스럽게 처리하면서도 짧은 컨텍스트 성능이 떨어지지 않도록 각 LCE 단계 뒤 model merge를 수행한다고 설명한다. RULER 벤치마크에서는 30B base가 32K, 64K, 128K에서 각각 85.2, 84.6, 76.7을 기록하고, 8B base도 83.6, 79.1, 73.0을 기록해 긴 컨텍스트 처리 성능을 수치로 제시한다.

7. SFT 데이터 준비와 품질 통제

SFT는 base model을 신뢰할 수 있는 instruction-following assistant로 바꾸는 단계로 설명되며, 본문은 이 단계에서 데이터 품질이 특히 중요하다고 강조한다. 잘못되었거나 hallucinated된 소수의 샘플도 바람직하지 않은 행동을 학습시킬 수 있기 때문에, Granite 4.1은 LLM-as-Judge 프레임워크와 규칙 기반 필터링을 함께 사용한다. judge는 assistant response만 평가하고 system prompt, user input, retrieved document, tool output은 문맥으로만 취급해, 모델이 실제로 무엇을 말했는지를 평가하도록 설계된다. RAG 응답은 retrieved context에 근거하지 않으면 hallucination으로 표시되고, tool-use 출력은 허용 도구와 파라미터 스키마에 맞는지 검증된다. 또한 instruction following, correctness, completeness, conciseness, naturalness, calibration 등 여섯 차원으로 점수를 매기고, 심각한 결함은 점수와 무관하게 hard reject된다.

8. SFT 학습 설정과 데이터 정제 후 훈련

LLM-as-Judge, 규칙 기반 필터링, 전역 중복 제거를 통과한 뒤 모델들은 약 410만 개의 고품질 샘플로 supervised fine-tuning을 받는다. 모든 세 모델 변형에 공통으로 적용되는 설정은 16개 노드와 노드당 4x GB200 계산 자원, 3 epoch, 5e-6 학습률, 3% linear warmup, 약 25K step에 걸친 linear decay이다. 시퀀스 길이는 16,384 토큰이며, effective batch size는 반복당 256개 샘플, 약 420만 토큰으로 제시된다. 규칙 기반 파이프라인은 텍스트 정규화, truncation 및 길이 필터링, 스키마 검증, leakage detection을 수행하고, 마지막에는 dataset-wide uniqueness를 보장하기 위해 global deduplication을 적용한다. 본문은 모든 필터링과 수정 작업이 감사 가능하다고 밝혀, 품질 관리가 사후 설명 가능한 방식으로 운영되었음을 강조한다.

9. 강화학습: GRPO와 DAPO loss 기반의 다단계 파이프라인

SFT 이후에는 특정 능력을 더 강화하기 위해 단일 강화학습이 아니라 여러 targeted RL stage가 적용된다. 방법론으로는 on-policy GRPO, 즉 Group Relative Policy Optimization을 사용하고, 표준 GRPO보다 안정적인 학습 신호를 제공한다고 설명되는 DAPO loss를 결합한다. 다만 dynamic sampling은 계산 비용이 크기 때문에 실제 훈련에서는 꺼두었다고 명시된다. RL 설정은 SkyRL 학습 스택, prompt당 16개 샘플, train batch size 1024, context length 8,192로 제시된다. 본문은 이 RL 파이프라인이 multi-domain RL, RLHF, identity and knowledge-calibration RL, math RL의 네 단계로 구성되며, extensive experimentation을 통해 catastrophic forgetting을 줄이면서 여러 도메인의 성능을 동시에 높이는 순서를 찾았다고 설명한다.

10. RL 세부 단계: 범용 성능, 대화성, 정체성 보정, 수학 보강

multi-domain RL 단계에서는 수학, 과학, 논리 추론, instruction following, structured output, Text2SQL, temporal reasoning, general chat, in-context learning 등 여러 도메인의 데이터를 하나의 혼합으로 학습한다. 이 단계는 매 gradient update가 다양한 과업을 반영하게 하여 catastrophic forgetting을 막고 전체 벤치마크 성능을 높이며 개별 과업 회귀를 줄이는 목적을 가진다. 본문은 평균 45,504개의 고유 프롬프트를 사용했고, multi-domain RL에서 5e-7 학습률과 KL-loss coefficient 0.05가 가장 좋았다고 말한다. 이어지는 RLHF 단계는 multilingual scalar reward model로 generic-chat prompt를 학습해 SFT checkpoint 대비 Alpaca-Eval에서 평균 약 18.9점 개선을 보였으며, policy drift를 줄이기 위해 3e-7 학습률과 0.09 KL 계수를 사용한다. 이후 identity and knowledge-calibration RL은 약 40 training step과 1,728개 고유 프롬프트로 self-identification 능력을 개선하며, 마지막으로 본문은 RLHF가 GSM8K와 DeepMind-Math 같은 수학 벤치마크 점수를 떨어뜨리는 현상을 발견해 Math RL 단계가 이어진다고 설명하지만, 제공된 본문은 그 세부 내용이 시작되기 직전에 끊긴다.

🧾 핵심 주장 / 시사점

• Granite 4.1의 핵심은 모델 크기 자체보다 단계별 데이터 혼합비와 품질 통제에 있다. 특히 웹 데이터 중심의 초기 학습에서 고품질 instruction·reasoning 데이터, 장문 데이터, SFT 정제 데이터, RL 도메인 데이터로 점진적으로 이동하는 설계가 성능 향상의 중심축으로 제시된다.
• SFT 품질 관리가 단순 점수화가 아니라 assistant response만 평가하는 LLM-as-Judge, hard-reject 규칙, RAG grounding 검증, tool schema 검증, deterministic rule-based filtering, global deduplication까지 포함한다는 점이 중요하다. 이는 모델 행동 품질을 데이터 단계에서 통제하려는 접근으로 볼 수 있다.
• RL 파이프라인은 하나의 보상 최적화로 끝나지 않고, multi-domain 성능과 chat helpfulness, identity calibration, math 성능 사이의 trade-off를 단계적으로 다룬다. 특히 RLHF가 대화 성능을 올리면서 수학 점수를 떨어뜨릴 수 있다는 관찰은 후속 Math RL이 필요한 이유를 보여준다.

✅ 액션 아이템

• Granite 4.1의 5단계 사전학습을 1~2단계 기본능력, 3~4단계 CoT/지시 반영, 5단계 512K 확장 효과로 분해해 모델 간 성능 기준을 정리한다.
• 3B·8B·30B 모두 동일한 GQA·RoPE·SwiGLU·RMSNorm·공유 임베딩 설계를 공유하므로 성능 대비 비용을 포함한 선택 기준을 비교한다.
• SFT에서 LLM-as-Judge와 규칙 필터링으로 걸러낸 hallucination·false premise·계산 오류·누출 이슈를 반영해 410만 고품질 샘플 기준의 정합성 검증을 강화한다.

❓ 열린 질문

• 512K 장문 컨텍스트 확장이 실제로 어느 작업군 성능을 가장 많이 끌어올리는지 어떤 지표로 판단할 것인가?
• 5단계 학습에서 3~4단계 데이터 annealing과 instruction·chain-of-thought 비중이 성능 개선에 미친 영향을 분리해 검증할 수 있는가?
• multi-domain RL, RLHF, identity and knowledge-calibration RL, math RL의 순차 조합이 8B instruct 성능 우위의 핵심인지 어떤 비교 실험이 가능할 것인가?