MiMo V2.6 explained in 12min..

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

MiMo V2.6의 핵심은 대규모 GPU를 효율적으로 가동하면서 비동기 강화학습의 정책 차이와 학습 신호를 관리하는 후학습 설계다.

📌 핵심 요점

1. 영상이 제시한 후학습 컴퓨팅 비용은 Pro 260만 달러, Flash 85만 4,000달러이며, 소요 기간은 약 5일, 도입부 표현으로는 6일 미만이다. 이 수치를 사전학습까지 포함한 전체 개발비로 해석해서는 안 된다.
2. 강화학습에서는 추론과 도구 호출을 포함한 롤아웃의 길이가 달라 GPU 대기가 발생한다. 부분 롤아웃은 생성을 중단·보관한 뒤 재개해 학습 주기를 더 예측 가능하게 만들지만, 갱신된 가중치로 KV 캐시를 다시 구축하는 비용이 따른다.
3. 비동기 실행에서는 추론 엔진과 학습 엔진의 정책 버전이 일시적으로 달라진다. 영상은 이 정책 지연을 관리하는 것과 함께, MXFP4 롤아웃 생성과 고정밀 학습 사이의 정밀도 차이도 고려해야 한다고 설명한다.
4. 동적 샘플러는 모든 시도가 성공하거나 모두 실패한 그룹을 제외하고, 성공과 실패가 섞인 그룹을 남긴다. 프롬프트 1,568개에 각각 16회 시도를 적용하면 한 단계에 25,088개 환경이 병렬로 실행되며, 영상이 소개한 30단계의 실제 생성량은 Flash 810억 토큰, Pro 750억 토큰이다.
5. 학습은 그룹 내 상대 성과인 어드밴티지, 신·구 정책의 확률비, 클리핑과 마스킹을 결합해 진행된다. 여기에 23개 하네스의 혼합, 토큰 비효율에 대한 페널티, 잘못된 도구 호출에 대한 구간별 페널티를 더해 환경 적응성과 행동 효율을 다룬다.

🧩 배경과 문제 정의

영상은 샤오미 MiMo V2.6의 후학습을 사례로, 짧은 기간에 대규모 강화학습을 수행하려면 어떤 시스템 설계와 학습 규칙이 필요한지 설명한다. 출발점은 Pro 260만 달러, Flash 85만 4,000달러라는 후학습 컴퓨팅 비용이지만, 중심 질문은 많은 GPU를 어떻게 효율적으로 함께 가동하느냐다.

영상의 설명에 따르면 사전학습은 정해진 토큰 작업을 바탕으로 업데이트를 동기화하기 비교적 쉽다. 반면 강화학습은 모델이 추론과 도구 호출을 마친 뒤 전체 결과를 평가하므로 작업 길이가 달라진다. 이를 해결하기 위한 비동기 실행은 다시 정책 지연과 정밀도 차이를 만들며, 데이터 선별과 손실함수도 이런 실행 조건을 고려해야 한다.

🕒 시간순 섹션별 상세정리

1. 후학습 비용과 GPU 대기 문제

• 영상은 Pro 260만 달러, Flash 85만 4,000달러의 후학습 컴퓨팅 비용과 6일 미만의 소요 기간을 제시하며, 수천 개 GPU를 동시에 조율하는 문제를 보여준다. [00:35]
• 사전학습과 달리 강화학습은 모델이 토큰을 생성하며 환경을 탐색하고, 전체 시퀀스를 마친 뒤 행동을 평가받는다. 추론과 도구 호출에 걸리는 시간이 달라 작업량을 미리 맞추기 어렵다. [01:27]
• 모든 GPU의 작업 완료를 기다렸다가 함께 학습하면 먼저 끝난 GPU가 대기한다. 영상은 이 문제가 GPU 수를 늘릴수록 동기화를 어렵게 만든다고 보여준다. [01:45]

2. 부분 롤아웃과 비동기 실행의 대가

• 부분 롤아웃은 진행 중인 생성을 중단해 버퍼에 저장하고, 학습 후 미완료 작업을 재개하는 방식이다. 가중치가 바뀌므로 재개할 때 KV 캐시를 다시 구축해야 한다. [02:49]
• 추론 엔진과 학습 엔진을 비동기로 실행하면 정책 버전이 일시적으로 어긋난다. 영상은 이를 정책 지연으로 설명하며, 지연이 너무 커지면 학습이 불안정해질 수 있다고 강조한다. [04:09]
• 소개된 기록에서 Flash는 대략 한 단계의 정책 지연을 보였고 Pro는 비교적 가깝게 동기화됐다. 롤아웃 생성에 사용하는 MXFP4와 학습의 높은 정밀도 사이에도 출력 차이가 생길 수 있으며, 영상은 이 구간에서 약 5일의 학습 기간을 언급한다. [04:56]

3. 동적 샘플링과 대규모 토큰 생성

• 동적 샘플러는 한 문제의 시도가 모두 성공하거나 모두 실패한 그룹을 제외하고 성공·실패가 섞인 그룹을 남긴다. 영상은 이를 강화할 행동과 억제할 행동을 구분할 학습 신호를 확보하는 방식으로 보여준다. [05:54]
• 프롬프트 1,568개마다 16회 시도하면 25,088개 환경이 병렬로 실행된다. 영상은 롤아웃당 평균 11만~15만 토큰을 가정해 단계당 약 28억~38억 토큰, 30단계에서 약 840억~1,140억 토큰을 추산한다. [06:55]
• 이어 소개한 실제 30단계 생성량은 Flash 810억 토큰, Pro 750억 토큰이다. 발표자는 Flash의 더 많은 생성량에 대한 추정을 덧붙이고, Artificial Analysis의 종합 평가를 근거로 Pro의 비용 효율성을 강조한다. [07:35]

4. 결과 보상에서 어드밴티지와 정책 보정으로

• 긴 롤아웃에서 어떤 토큰이 결과에 얼마나 기여했는지 정확히 나누기 어려워 전체 결과를 토큰의 학습 신호에 반영한다. 같은 프롬프트의 여러 시도를 비교해 상대 성과를 측정한다. [08:50]
• 어드밴티지는 해당 롤아웃의 성과를 그룹 평균과 비교해 행동을 강화하거나 억제하는 신호다. 부분 롤아웃 때문에 모든 시도가 동시에 준비된다고 가정하기 어렵다는 점도 보여준다. [09:20]
• 현재 학습 정책의 토큰 확률을 롤아웃 생성 당시 정책의 확률로 나눈 비율을 어드밴티지에 곱해 정책 차이를 반영한다. 두 정책이 같으면 이 비율은 1이 된다. [09:52]

5. 클리핑·마스킹과 손실 집계

• 영상은 변동하는 정책 차이에 대응하기 위해 상·하한을 조정하는 클리핑과 0 또는 1의 마스킹 변수를 보여준다. 설정된 조건에 따라 학습 반영 여부를 제어하는 방식이다. [10:27]
• 이어 어드밴티지, 정책 확률비, 마스킹을 토큰의 로그 확률과 결합하고, 각 롤아웃의 토큰과 여러 롤아웃에 걸쳐 손실을 합산하는 과정을 보여준다. [10:49]
• 전체 그룹의 시퀀스 길이로 손실을 정규화하며, 발표자는 이를 긴 롤아웃의 영향이 지나치게 커지는 것을 막는 장치로 보여준다. 이렇게 구성한 손실의 기울기로 모델 가중치를 갱신한다. [11:23]

6. 하네스 다양화와 행동 효율, 공개 자료

• 실제 강화학습 인프라는 작업별 역할을 나눠 구성되며, 23개 하네스를 환경에 섞어 모델이 여러 실행 환경과 상호작용하도록 학습시킨다. 목표는 특정 하네스에 대한 의존도를 줄이는 것이다. [11:48]
• 영상 말미에는 더 짧은 생성을 유도하는 토큰 비효율 페널티와, 최종적으로 성공했더라도 잘못된 도구 호출을 억제하는 구간별 페널티를 추가 아이디어로 보여준다. [12:10]
• 발표자는 이 설명을 논문을 더 깊이 읽기 위한 배경으로 제시하고, 샤오미가 관련 내용을 공개하고 실제 학습 과정을 실시간으로 시각화한 점을 긍정적으로 평가하며 마무리한다. [12:27]

🧾 결론

• MiMo의 후학습 성과를 이해하려면 투입한 컴퓨팅 비용과 함께 GPU 스케줄링, 데이터 선별, 학습 목적함수를 살펴봐야 한다.
• 비동기화는 GPU 대기를 줄이는 대신 정책 지연과 정밀도 차이를 관리해야 하는 부담을 만든다. 처리량과 학습 안정성의 균형이 핵심이다.
• 영상은 Pro의 비용 효율성을 강조하지만, Flash보다 적은 생성 토큰을 사용한 이유에 대한 설명은 발표자의 추정이다.
• 마지막에 소개한 하네스 다양화와 행동별 페널티는 최종 정답 여부 외에 모델이 문제를 해결하는 과정도 학습 대상으로 삼는다는 점을 보여준다.

📈 투자·시사 포인트

• AI 학습 인프라를 평가할 때 GPU 수량뿐 아니라 대기 시간, 롤아웃 처리량, 가중치 동기화와 KV 캐시 재구축 비용을 함께 볼 필요가 있다.
• 영상의 Pro·Flash 비교는 모델 크기, 생성 토큰 수, 후학습 비용, 평가 성능을 함께 비교해야 한다는 시사점을 준다. 생성 토큰 수 하나로 비용 효율을 판단하기는 어렵다.
• 여러 하네스를 섞는 방식은 특정 실행 환경에 대한 의존도를 낮추려는 접근이다. 에이전트 활용성을 판단할 때 환경이 바뀌어도 성능이 유지되는지 확인할 근거가 된다.
• 영상이 언급한 비용 효율성 우위를 사업 경쟁력으로 연결하려면 평가 조건과 실제 서비스 비용을 추가로 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 비용과 기간은 영상에서 제시한 후학습 수치다. GPU 종류·실제 투입 대수·비용 산정 범위는 제공된 전사만으로 확인되지 않으며, 1만 GPU는 확장 난도를 설명하는 예시로도 등장한다.
• 프롬프트 수·시도 수·평균 롤아웃 길이를 곱한 30단계 추산은 840억~1,140억 토큰이지만, 소개된 실제 생성량은 Flash 810억, Pro 750억 토큰이다. 두 수치의 집계 기준과 차이의 원인은 설명되지 않는다.
• Flash가 작은 모델의 한계를 보완하려고 더 많은 토큰을 생성했다는 설명은 발표자의 추정이며, 인과관계가 검증된 결과로 제시되지는 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 영상이 언급한 논문과 학습 기록에서 Pro·Flash의 후학습 비용, 소요 시간, GPU 구성과 비용 포함 범위를 확인한다.
• 1,568개 프롬프트·16회 시도·30단계라는 설정과 실제 토큰 집계의 관계를 확인하고, 추산치와 보고치를 구분해 기록한다.
• 부분 롤아웃, 정책 지연, MXFP4 정밀도 차이를 각각 어떤 방식으로 처리하는지 원문의 알고리즘과 수식으로 대조한다.
• 동적 샘플링, 클리핑·마스킹, 길이 정규화의 정확한 적용 단위와 조건을 확인한다.

❓ 열린 질문

• 부분 롤아웃으로 줄인 GPU 대기 시간과 KV 캐시 재구축에 추가로 든 비용을 비교하면 순효율 개선은 얼마나 되는가?
• 정책 지연과 정밀도 차이가 각각 학습 안정성에 미치는 영향은 무엇이며, 허용 범위는 어떻게 정했는가?
• 전체 성공·전체 실패 그룹을 제외할 때 난도가 매우 낮거나 높은 문제에 대한 학습 기회는 어떻게 확보하는가?