🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

네이선 램버트와 핀바 팀버스가 후훈련 레시피의 흐름을 인스트럭트지피티식 단일 파이프라인에서 2026년형 다중 교사 온폴리시 증류 중심 구조까지 검토하며, 올모 계열 경험과 최신 프런티어 모델 레시피의 차이를 짚는다.

📌 핵심 요약

• 이 글과 팟캐스트는 램버트가 강화학습 기반 인간 피드백 및 후훈련 책을 마무리하는 과정에서 핀바 팀버스를 다시 초대해, 최근 후훈련 레시피의 변화와 현재의 논점을 정리한 내용이다.
• 초반 대화는 올모 3 후훈련 경험을 돌아보며, 단순한 학술형 레시피가 강력한 결과를 낼 수는 있지만 최신 프런티어 모델의 도구 사용, 추론, 다중 교사 증류 구조를 충분히 대표하지 못한다는 문제의식에서 출발한다.
• 기술 요약은 2022~2023년 인스트럭트지피티의 SFT→보상모델→RL 구조, 2024년 라마 3와 튤루 3의 SFT→DPO→검증 가능한 보상 기반 RL 흐름, 2025년 딥시크 R1의 대규모 추론 RL 중심 전환을 순서대로 정리한다.
• 2026년 레시피의 핵심 변화는 여러 도메인 특화 교사를 별도로 만들고, 하나의 일반 학생 모델에 다시 통합하는 다중 교사 온폴리시 증류, 즉 MOPD가 부상했다는 점이다.
• 글은 미모 플래시 v2, 네모트론 3 울트라, MAI-싱킹-1, 키미 K2.5, GLM-5 등을 비교하면서 모든 최신 모델이 같은 방식으로 수렴한 것은 아니지만, 후훈련이 단일 단계가 아니라 여러 전문 능력과 조직적 워크플로를 조율하는 복잡한 공정으로 바뀌고 있음을 보여준다.

🧩 주요 포인트

1. 이 글과 팟캐스트는 램버트가 강화학습 기반 인간 피드백 및 후훈련 책을 마무리하는 과정에서 핀바 팀버스를 다시 초대해, 최근 후훈련 레시피의 변화와 현재의 논점을 정리한 내용이다.
2. 초반 대화는 올모 3 후훈련 경험을 돌아보며, 단순한 학술형 레시피가 강력한 결과를 낼 수는 있지만 최신 프런티어 모델의 도구 사용, 추론, 다중 교사 증류 구조를 충분히 대표하지 못한다는 문제의식에서 출발한다.
3. 기술 요약은 2022~2023년 인스트럭트지피티의 SFT→보상모델→RL 구조, 2024년 라마 3와 튤루 3의 SFT→DPO→검증 가능한 보상 기반 RL 흐름, 2025년 딥시크 R1의 대규모 추론 RL 중심 전환을 순서대로 정리한다.
4. 2026년 레시피의 핵심 변화는 여러 도메인 특화 교사를 별도로 만들고, 하나의 일반 학생 모델에 다시 통합하는 다중 교사 온폴리시 증류, 즉 MOPD가 부상했다는 점이다.
5. 글은 미모 플래시 v2, 네모트론 3 울트라, MAI-싱킹-1, 키미 K2.5, GLM-5 등을 비교하면서 모든 최신 모델이 같은 방식으로 수렴한 것은 아니지만, 후훈련이 단일 단계가 아니라 여러 전문 능력과 조직적 워크플로를 조율하는 복잡한 공정으로 바뀌고 있음을 보여준다.

🧠 상세 정리

1. 에피소드의 목적과 출발점

원문은 인터커넥츠 인터뷰 18편으로, 네이선 램버트가 핀바 팀버스를 다시 초대해 프런티어 후훈련 레시피의 현재 상태를 검토하는 형식이다. 램버트는 자신의 RLHF 및 후훈련 책을 마무리하면서, 최근 모델 기술 보고서들을 많이 읽어 온 팀버스와 이 주제를 다시 논의할 필요가 있었다고 설명한다. 본문은 팟캐스트 자체와 함께, 램버트가 준비한 슬라이드 덱을 정리한 기술 요약을 제공한다. 특히 인스트럭트지피티에서 출발해 오늘날 공개 프런티어 모델의 후훈련 방식이 어떻게 변했는지를 한 흐름으로 놓고 비교하는 데 초점이 있다.

2. 올모 경험에서 드러난 단순 레시피의 한계

대화 초반에서 램버트는 올모 3의 후훈련이 여러 개인에게 중요한 성취였지만, 동시에 AI2의 조직적 역량 한계에 부딪힌 작업이었다고 말한다. 현대 후훈련은 단순히 알고리즘을 고르는 일이 아니라 컴퓨팅, 데이터, 워크스트림을 한데 묶는 일이며, 결국 조직도를 다루는 일에 가깝다고 설명한다. 그는 올모 3가 추론 모델로서는 늦은 편이었고, 레시피가 상대적으로 단순했기 때문에 최신 프런티어 연구소들이 수행하는 도구 사용, 다중 교사 증류, 복잡한 추론 후훈련을 충분히 반영하지 못했다고 본다. 이 문제의식이 전체 논의의 배경을 이룬다.

3. 후훈련 레시피의 역사적 변화

기술 요약은 후훈련 레시피의 형태가 지난 1년 사이에 이전 3년보다 더 크게 바뀌었다고 정리한다. 2022~2023년 인스트럭트지피티 시대에는 사람의 시연으로 SFT를 하고, 사람 비교로 보상모델을 훈련한 뒤, 그 보상모델을 상대로 PPO를 수행하는 비교적 단일한 파이프라인이 대표적이었다. 2024년에는 라마 3와 튤루 3 같은 공개 레시피가 SFT, DPO, 검증 가능한 보상을 활용한 RL 흐름을 공식화했고, 폐쇄형 레시피는 여러 단계의 RLHF를 사용했다. 2025년 딥시크 R1 이후에는 대규모 추론 RL이 중심으로 올라오며 SFT가 주도하던 흐름이 RL 중심으로 재배치된다.

4. MOPD의 핵심 구조

원문이 2026년 프런티어 레시피의 새로운 패턴으로 제시하는 것은 다중 교사 온폴리시 증류, 즉 MOPD다. 이 방식은 먼저 여러 도메인 특화 교사 모델을 만들고, 각 교사는 관련 도메인에서 SFT와 RL을 거쳐 전문성을 확보한다. 그런 다음 최종 후훈련 모델이 될 하나의 일반 학생 모델을 두고, 학생이 자기 궤적을 샘플링하는 온폴리시 방식으로 학습한다. 각 롤아웃에서는 해당 도메인에 맞는 교사의 출력 분포에 대해 토큰 단위로 역방향 KL을 최소화하며, 여러 전문 능력을 하나의 모델로 통합하는 구조가 된다.

5. MOPD가 등장한 이유

본문은 MOPD가 등장한 배경을 세 가지로 설명한다. 첫째, RL은 비용이 크고 충돌이 발생하기 쉬우며, 수학, 코드, 에이전트형 RL을 하나의 실행 안에 섞으면 능력 간 절충이 생길 수 있다. 둘째, 도메인 특화 교사는 비교적 만들기 쉽고 조직적으로 병렬화하기 쉬우며, 단일 도메인에서 SFT 후 RL을 수행하는 방식은 이미 잘 이해된 절차다. 셋째, RLVR의 부흥을 거치며 온폴리시 증류에 관한 문헌과 노하우가 성숙했다. 따라서 후훈련이 복잡해질수록 여러 팀이 전문 모델을 만들고 이를 통합하는 구조가 실용적 이점을 갖게 된다.

6. 대표적인 역사적 레시피 비교

원문은 인스트럭트지피티, 라마 2, 라마 3, 튤루 3, 올모 3, 딥시크 R1을 역사적 기준점으로 배치한다. 인스트럭트지피티는 사람 시연 SFT, 사람 비교 기반 보상모델, PPO라는 세 단계로 정리된다. 라마 2는 여러 라운드의 반복적 RLHF를 사용했고, 각 라운드는 거절 샘플링과 PPO를 포함했으며, 도움성과 안전성에 대해 별도 보상모델을 사용했다. 라마 3는 보상모델로 후보를 필터링하고, 거절 샘플링, SFT, DPO를 여러 라운드 반복하는 구조였지만 온라인 RL은 쓰지 않았다고 설명된다. 튤루 3는 선별 프롬프트, SFT, DPO, 검증 가능한 보상 기반 RL이라는 단순한 세 단계 후훈련으로 제시된다.

7. 딥시크 R1 이후의 전환

딥시크 R1은 원문에서 RL이 후훈련의 중심으로 이동한 중요한 사례로 다뤄진다. R1-Zero는 SFT 없이 베이스 모델에 순수 RL을 적용해 추론 행동을 유도했고, 이는 별도 제품이라기보다 전체 실행을 위한 추론 행동의 씨앗으로 설명된다. R1은 콜드스타트 SFT, 추론 RL, 거절 샘플링 SFT, 최종 RL, 조밀 모델로의 증류라는 다단계 과정을 거쳤다. 본문은 이 변화를 대규모 RLVR이 주요 동력이 되고, SFT가 RL 행동을 증류하고 정제하는 역할로 이동한 큰 변화로 해석한다. 또한 딥시크 계열은 V3의 SFT와 GRPO RL에서 R1의 다단계 추론 RL, V3.2의 6개 전문가와 혼합 GRPO, V4의 10개 이상 도메인 전문가와 MOPD로 발전했다고 정리한다.

8. 2026년형 프런티어 레시피들의 차이

2026년형 레시피에서는 미모 플래시 v2가 MOPD를 명확히 제시한 출발점으로 소개된다. 이 모델은 SFT 후 약 6개의 도메인 특화 교사를 훈련하고, 마지막에 하나의 학생 모델로 MOPD를 수행하는 구조를 사용한다. 네모트론 3 울트라는 추론, 코드, 수학, 에이전트형 도메인을 포함하는 10개 이상의 교사를 두고 두 번의 반복에 걸쳐 다중 교사 온폴리시 증류를 수행한 사례로 설명된다. 반면 MAI-싱킹-1은 MOPD보다는 딥시크 R1에 가까운 다단계 RL 및 trace-distillation SFT 구조로 제시되며, 키미 K2.5는 텍스트 전용 SFT 후 코딩, 비전, 추론, 에이전트 작업에 걸친 텍스트-비전 공동 RL을 사용하지만 MOPD 언급은 없다고 정리된다. GLM-5는 베이스, SFT, 추론 RL, 에이전트형 RL, 일반 RL이라는 능력별 단계화가 특징으로 제시된다.

🧾 핵심 주장 / 시사점

• 후훈련의 핵심 경쟁력은 더 이상 단일 알고리즘 조합만이 아니라, 도메인별 전문 모델을 만들고 충돌 없이 통합하는 조직적·공학적 능력으로 이동하고 있다.
• 올모와 튤루처럼 단순하고 공개적인 레시피는 연구 재현성과 이해 가능성 측면에서 가치가 크지만, 최신 프런티어 모델의 도구 사용·추론·에이전트 능력 통합 방식과는 점점 거리가 생기고 있다.
• 2026년 모델 레시피들은 MOPD로 완전히 단일 수렴한 것이 아니라, 다중 교사 증류, 다단계 RL, trace-distillation SFT, 능력별 staged RL 등 여러 방식이 병존하는 전환기적 양상을 보인다.

✅ 액션 아이템

• 올모 3에서 제기된 단일 학술형 레시피 한계를 반영해, 최신 도구 사용·추론 요구를 포함한 다중 교사 증류형 후훈련 평가 기준을 정한다.
• 2022~2023 인스트럭트지피티의 SFT→보상모델→RL, 2024 라마3·튜루3의 SFT→DPO→검증 보상 RL, 2025 딥시크 R1의 추론 RL 전환을 연표로 정리해 레시피 변화를 점검한다.
• 미모 플래시 v2·네모트론3 울트라·MAI-싱킹-1·키미 K2.5·GLM-5의 비교 결과를 정리해 최신 모델군이 단일 단계가 아닌 복합 공정으로 이동한 증거를 점검한다.

❓ 열린 질문

• 단일 단계 SFT→보상모델→RL류 레시피가 도구 사용과 추론 성능을 충분히 대변할 수 있는 근거는 무엇인가?
• 도메인 특화 교사를 분리해 통합하는 2026년형 MOPD가 기존 SFT→DPO·RL 흐름보다 우세하다는 판단은 어떤 기준으로 내릴 것인가?
• 미모 플래시 v2·네모트론3 울트라·MAI-싱킹-1·키미 K2.5·GLM-5가 동일 수렴하지 않는 차이는 실험 재구성으로 어떻게 구분 가능할 수 있는가?