Granite 4.2 LLMs: How They're Built

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

IBM의 Granite 4.2는 3B·8B·30B 밀집형 추론 모델 제품군으로, 약 15T 토큰 사전학습과 지도 미세조정, 다단계 강화학습을 거치며 8B·30B에는 실제 환경에서 도구를 사용하는 에이전트 강화학습이 추가된다.

📌 핵심 요약

• Granite 4.2는 디코더 전용 밀집형 모델이며, 모든 크기가 사고 모드·비사고 모드·짧은 추론 예산의 저노력 사고 모드와 네이티브 도구 호출을 지원하고 Apache 2.0 라이선스로 공개된다.
• 각 모델은 약 15T 토큰으로 처음부터 사전학습하며, 기초학습·고품질 데이터 중심 중간학습·장문맥 학습으로 이어지는 5단계를 통해 문맥 창을 512K 토큰까지 확장한다.
• 지도 미세조정에는 약 720만 샘플과 약 100B 토큰을 사용하며, 에이전트 데이터 31.6%와 비에이전트 데이터 68.4%를 결합하고 모델 기반 품질 심사와 중복 제거를 수행한다.
• 30B는 에이전트 코딩 중심의 추가 지도 미세조정을 받으며, 모든 크기는 기초 강화학습과 인간 피드백 기반 강화학습을 거치고 8B·30B만 소프트웨어 엔지니어링·터미널·검색의 에이전트 강화학습을 받는다.
• 강화학습은 이전 단계 체크포인트를 이어받는 비동기 GRPO로 진행되며, 생성 작업자의 지연을 최대 한 번의 업데이트로 제한하고 절단 중요도 샘플링으로 학습 정책과 생성 정책의 차이를 제어한다.

🧩 주요 포인트

1. 모든 크기의 네이티브 도구 호출 지원과 8B·30B의 추가 에이전트 강화학습 → 도구 호출 기능의 유무와 실제 환경에서의 행동 학습 범위를 구분해야 한다.
2. K 토큰까지 확장하는 사전학습과 품질 심사를 거친 지도 미세조정 → 문맥 처리 범위의 확장과 지시·추론·도구 사용 행동의 학습이 서로 다른 단계에 배치된다.
3. B의 추가 에이전트 코딩 미세조정과 이전 체크포인트를 잇는 다단계 GRPO → 공통 학습 체계 안에서도 모델 크기와 목표 능력에 따라 후속 학습 구성이 달라진다.

🧠 상세 정리

1. 제품군의 목표와 추론·도구 사용 방식

IBM Granite 팀이 소개한 Granite 4.2는 기존 제품군의 지시 수행 능력에 명시적 추론을 추가한 3B·8B·30B 모델 제품군이다. 모든 모델은 답변 전에 사고 과정을 생성하는 사고 모드와 비사고 모드를 지원하며, 쉬운 질문에 짧은 추론 예산을 사용하는 저노력 사고 모드도 제공한다. 모든 크기에 네이티브 도구 호출이 포함되어 있지만, 실제 환경에서 도구를 사용하며 행동하는 추가 강화학습은 8B와 30B에 적용된다. vLLM 등의 OpenAI 호환 엔드포인트로 제공하면 OpenAI 함수 호출 형식으로 도구 호출을 출력하여 에이전트 실행 프레임워크에 연결할 수 있다. SGLang도 지원하며, 세 모델은 모두 Apache 2.0 라이선스로 공개된다.

2. 공통 아키텍처와 크기별 구성

세 모델은 디코더 전용 밀집형 트랜스포머를 기반으로 하며, 그룹 쿼리 어텐션인 GQA와 회전 위치 임베딩인 RoPE를 사용한다. 공통 구성에는 SwiGLU 활성화 함수, 엡실론이 1e-5인 RMSNorm, 서로 가중치를 공유하지 않는 입력·출력 임베딩, bfloat16 정밀도가 포함된다. 구성표에서 3B는 임베딩 차원 2560과 40개 층을 사용하고, 8B는 임베딩 차원 4096과 40개 층, 30B는 임베딩 차원 4096과 64개 층을 사용한다. KV 헤드는 모두 8개이지만 어텐션 헤드는 표 기준으로 3B가 40개, 8B와 30B가 각각 32개이며, 본문의 공통 설명에 적힌 40개와 차이가 있다. 구성표의 시퀀스 길이는 모두 131,072로 기재되어 있고, 별도 사전학습 설명에서는 장문맥 학습을 통해 문맥 창을 512K까지 확장한다고 기술한다.

3. 약 15T 토큰을 사용하는 5단계 사전학습

Granite 4.2의 각 모델은 기존 모델 가중치를 출발점으로 삼는 대신 약 15조 토큰을 사용해 처음부터 사전학습한다. 전체 과정은 5단계이며, 1~2단계에서는 기초 사전학습을 수행하고 3~4단계에서는 점차 품질이 높은 데이터의 비중을 높이는 중간학습을 진행한다. 마지막 5단계는 장문맥 학습으로, 이 단계에서 문맥 창을 512K 토큰까지 확장한다. 각 단계는 서로 다른 데이터 혼합과 학습률 일정을 사용하며, 전체적으로 광범위한 웹 규모 데이터에서 더 선별된 고품질 자료로 중심을 옮긴다. 원문은 이 사전학습 방식이 이전 세대와 밀접하게 이어진다고 설명하고, 데이터 배합과 단계별 일정 및 장문맥 확장의 세부 사항은 Granite 4.1 글을 참조하도록 안내한다.

4. 지도 미세조정 데이터의 규모와 구성

지도 미세조정은 기본 모델을 지시 수행, 추론, 도구 사용이 가능한 어시스턴트로 만드는 단계이며, 약 720만 샘플과 약 100B 토큰으로 구성된 데이터를 사용한다. 이 가운데 학습 대상 토큰은 약 65B이며, 전체 샘플 혼합에서 에이전트 데이터는 31.6%, 비에이전트 데이터는 68.4%를 차지한다. 에이전트 데이터의 분야별 설명에서는 소프트웨어 엔지니어링 69%, 도구 호출 12.1%, 터미널 사용 8.0%가 제시되고, 수학·검색·행동 데이터도 포함된다. 이러한 데이터는 공개 데이터셋과 자체 합성 강화학습 환경에서 수집되며, OpenHands, SWE-agent, Terminus-2, Codex 등 다양한 에이전트 실행 프레임워크를 활용한다. 비에이전트 데이터의 주요 범주는 지시 수행과 코딩 각각 18.8%, 수학 14.6%, 다국어 7.0%, 과학 5.4%, 추론 3.0%, 안전성 0.8%로 제시된다.

5. 품질 심사와 중복 제거

최종 지도 미세조정 데이터에 포함하기 전에 여러 출처의 샘플을 일관된 OpenAI Chat 형식으로 정규화하여 대화 구조와 도구 상호작용의 표현을 통일한다. 이후 GPT-OSS-120B와 Gemma 4를 평가 모델로 사용해 샘플 품질을 심사하고, 낮은 점수를 받은 데이터를 제거한다. 제거 대상에는 환각이나 조작된 정보, 유효하지 않은 도구 상호작용, 해당 도구 목록에 정의되지 않은 함수 호출이 포함된다. 데이터셋별로 알려진 잡음이나 문제를 다루기 위해 필요한 경우 별도의 휴리스틱 규칙도 적용한다. 마지막으로 tools와 messages 필드를 결합한 값의 SHA-256 해시를 기준으로 개별 출처 내부와 전체 데이터 혼합 양쪽에서 중복을 제거하므로, 같은 샘플이 출처를 달리해 반복되는 경우도 처리한다.

6. 지도 미세조정 설정과 30B의 추가 코딩 학습

전체 데이터는 순서 효과를 줄이고 분야를 고르게 섞기 위해 전역 셔플한 뒤, 동일한 크기의 parquet 조각으로 나누고 모델의 토크나이저와 채팅 템플릿으로 처리한다. 최종 학습은 모델 크기에 따라 32~128개 노드를 사용하며, 노드당 Grace/GB200 4개, 패킹 시퀀스 길이 131,072, 전역 배치 크기 128을 적용한다. 기본 지도 미세조정은 전체 학습 반복의 2.5%를 워밍업에 쓰고 이후 학습률 1.0e-5를 유지하며 약 2에포크 진행된다. 30B에는 에이전트·소프트웨어 엔지니어링·코딩 데이터를 더 많이 반영하는 두 번째 지도 미세조정이 추가되고, 혼합 데이터의 약 16%는 기존 지도 미세조정 데이터의 재학습용으로 유지된다. 추가 단계는 더 낮은 학습률 3.0e-6으로 약 1에포크 수행하여, 앞선 단계에서 얻은 능력을 유지하면서 에이전트 코딩 수행 궤적에 대한 노출을 늘리는 데 초점을 맞춘다.

7. 능력별로 이어지는 강화학습 과정

지도 미세조정 이후에는 한 차례의 강화학습으로 끝내지 않고, 서로 다른 능력과 환경에 집중하는 여러 독립 실행을 순서대로 연결한다. 각 단계는 이전 단계의 체크포인트에서 시작하며, 수학·코드·과학·지시 수행·도구 사용·구조화된 출력과 소프트웨어 엔지니어링·터미널·웹 검색을 포괄한다. 모든 모델 크기는 검증 가능한 보상에 기반한 강화학습과 능력 보강으로 구성된 기초 학습을 거치고, 마지막에는 인간 피드백 기반 강화학습인 RLHF를 수행한다. 실제 환경에서 행동을 학습하는 에이전트 강화학습 블록은 8B와 30B에만 적용되며, 소프트웨어 엔지니어링에서 터미널 사용을 거쳐 검색으로 이어진다. 따라서 제품군은 공통 학습 방법을 공유하면서도 후속 단계의 구성에서 차이가 나며, 모든 크기가 도구 호출을 지원한다는 사실과 추가 에이전트 강화학습의 적용 범위는 구분된다.

8. 비동기 GRPO와 정책 차이의 제어

각 강화학습 단계는 비동기 GRPO를 사용하며, 생성 작업자가 응답 궤적을 공유 버퍼에 넣으면 학습기가 한 단계 분량을 가져와 최적화하고 새 매개변수를 생성 작업자에게 전달한다. 이 과정에서 생성과 학습은 서로의 완료를 기다리며 멈추지 않으므로, 하나의 궤적에 인접한 두 정책 버전의 출력이 섞일 수 있다. 생성 작업자는 매개변수 갱신 때 KV 캐시를 다시 만들지 않고 재사용하되, 학습기보다 한 번의 업데이트를 초과해 뒤처지지 않도록 제한된다. 남은 정책 차이는 절단 중요도 샘플링으로 처리하며, 학습 정책과 생성 정책의 확률 비율에 상한을 두어 오래된 토큰 일부가 업데이트를 지배하지 않게 한다. 각 응답의 어드밴티지는 같은 프롬프트에서 생성한 다른 응답들의 평균 보상을 기준으로 계산하여 별도의 가치망을 두지 않으며, 첫 장기 실행 단계인 RLVR에서는 프롬프트 256개에 응답 16개씩을 생성해 4,096개 예제를 한 번의 최적화 단계에 사용한다.

9. 강화학습 공통 설정과 30B 단계별 차이

강화학습의 공통 기반은 Megatron-Core와 vLLM을 사용하는 NeMo-RL 및 NeMo-Gym 환경이며, 비율 클리핑 값은 최소 0.2와 최대 0.28, 마이크로 배치 크기는 1로 제시된다. 텐서 병렬화는 2~4를 사용하고 파이프라인·문맥 병렬화는 사용하지 않으며, 단계별로 프롬프트 수, 응답 수, 최대 시퀀스 길이, 행동 반복 한도와 기준 정책에 대한 KL 제약이 달라진다. 30B 설정표에는 RLVR 3회, 지시 수행 보강, 코드 보강, 소프트웨어 엔지니어링 2단계, 터미널, 검색, RLHF가 나열되고 최대 시퀀스 길이는 단계에 따라 48K·64K·128K로 제시된다. 터미널 단계는 프롬프트 8개에 응답 32개씩과 학습률 1e-6을 사용하며, 나머지 표의 단계는 학습률 5e-7을 사용한다. 원문은 3B와 8B도 같은 방식과 하이퍼파라미터를 사용하되 단계 수가 적다고 설명하지만, 제공된 본문은 KL 일정 설명 도중 끝나므로 이후의 상세 설명이나 성능 결과는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 네이티브 도구 호출은 제품군 전체의 공통 기능이지만, 실제 환경에서 도구 사용 행동을 강화하는 학습은 8B·30B에 추가되므로 기능 지원과 학습 경험을 별도로 해석해야 한다.
• 사전학습의 512K 문맥 창, 지도 미세조정의 128K 패킹 길이, 강화학습의 단계별 시퀀스 길이는 서로 다른 학습 설정을 설명하므로 하나의 수치로 합쳐 해석할 수 없다.
• 비동기 GRPO는 생성 도중 정책 갱신을 허용하면서 업데이트 지연 제한과 절단 중요도 샘플링을 결합해, 생성·학습의 병행 실행과 정책 차이 제어를 함께 다룬다.

✅ 액션 아이템

• Granite 4.2 활용 과제의 추론 요구에 따라 사고 모드·비사고 모드·저노력 사고 모드의 적용 범위 검토.
• 3B·8B·30B 선택 시 공통 네이티브 도구 호출 지원과 8B·30B의 추가 에이전트 강화학습을 구분해 판단.
• 에이전트 코딩 용도에서 30B의 추가 지도 미세조정과 다단계 GRPO 구성을 모델 선택 근거로 검토.

❓ 열린 질문

• Granite 4.2의 사고 모드·비사고 모드·저노력 사고 모드를 어떤 과제 기준으로 구분해 사용할 것인가?
• 목표 용도에는 공통 네이티브 도구 호출 지원으로 충분한가, 아니면 8B·30B의 추가 에이전트 강화학습이 필요한가?
• 30B의 추가 에이전트 코딩 미세조정은 목표 코딩 과제의 모델 선택에서 얼마나 중요한 기준인가?