🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LeRobot v0.6.0은 미래를 상상하는 월드 모델 정책, 성공을 판별하는 보상 모델, 더 풍부하고 빠른 데이터셋, 통합 평가 벤치마크를 묶어 로봇 학습 루프를 닫는 방향으로 확장된 릴리스다.

📌 핵심 요약

• 이번 릴리스의 핵심은 로봇이 행동하기 전에 미래를 예측하고, 수행 결과의 성공 여부를 보상 모델로 판별하며, 실패를 다시 학습 데이터로 돌리는 폐쇄형 로봇 학습 흐름을 강화하는 데 있다.
• VLA-JEPA, LingBot-VA, FastWAM이 추가되어 월드 모델 기반 정책을 실험할 수 있게 되었고, 각 모델은 미래 프레임이나 비디오-행동 시퀀스를 학습하되 추론 비용을 줄이는 서로 다른 접근을 취한다.
• GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1 등 여러 비전-언어-행동 모델이 LeRobot에 통합되면서 대형 기반 모델부터 실시간 실행이 가능한 소형 정책까지 선택지가 넓어졌다.
• 새로운 lerobot.rewards 보상 모델 API는 HIL-SERL, SARM, Robometer, TOPReward를 하나의 인터페이스로 묶고, 영상과 작업 지시를 바탕으로 진행도·성공 여부 라벨링과 보상 인식 행동 복제를 지원한다.
• 데이터셋 쪽에서는 사용자 지정 비디오 인코딩, RealSense 기반 깊이 데이터 기록, VLM 자동 언어 주석, 최대 약 2배 빠른 로딩이 추가되었고, 여섯 개 신규 시뮬레이션 벤치마크가 lerobot-eval 아래 통합됐다.

🧩 주요 포인트

1. 이번 릴리스의 핵심은 로봇이 행동하기 전에 미래를 예측하고, 수행 결과의 성공 여부를 보상 모델로 판별하며, 실패를 다시 학습 데이터로 돌리는 폐쇄형 로봇 학습 흐름을 강화하는 데 있다.
2. VLA-JEPA, LingBot-VA, FastWAM이 추가되어 월드 모델 기반 정책을 실험할 수 있게 되었고, 각 모델은 미래 프레임이나 비디오-행동 시퀀스를 학습하되 추론 비용을 줄이는 서로 다른 접근을 취한다.
3. GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1 등 여러 비전-언어-행동 모델이 LeRobot에 통합되면서 대형 기반 모델부터 실시간 실행이 가능한 소형 정책까지 선택지가 넓어졌다.
4. 새로운 lerobot.rewards 보상 모델 API는 HIL-SERL, SARM, Robometer, TOPReward를 하나의 인터페이스로 묶고, 영상과 작업 지시를 바탕으로 진행도·성공 여부 라벨링과 보상 인식 행동 복제를 지원한다.
5. 데이터셋 쪽에서는 사용자 지정 비디오 인코딩, RealSense 기반 깊이 데이터 기록, VLM 자동 언어 주석, 최대 약 2배 빠른 로딩이 추가되었고, 여섯 개 신규 시뮬레이션 벤치마크가 lerobot-eval 아래 통합됐다.

🧠 상세 정리

1. 릴리스의 중심 목표: 로봇 학습 루프 닫기

LeRobot v0.6.0은 단순히 모델을 추가한 업데이트라기보다 로봇 학습의 전체 순환을 더 완결된 형태로 만들려는 릴리스다. 글은 정책이 행동하기 전에 미래를 상상하고, 보상 모델이 성공 여부를 알려주며, 배포 과정에서 발생한 실패가 다시 훈련 데이터가 되는 흐름을 강조한다. 여기에 여섯 개의 새 시뮬레이션 벤치마크가 더해져 정책을 측정하고 비교할 수 있는 기반도 확장됐다. 추가로 깊이 센싱, VLM 기반 데이터셋 주석, 커스텀 비디오 인코딩, HF Jobs를 통한 클라우드 학습, 더 가벼운 설치도 이번 버전의 주요 변화로 제시된다.

2. 월드 모델 정책: 행동 전에 미래를 예측하는 실험

이번 릴리스는 로봇 정책에 월드 모델이 실제로 도움이 되는지를 검증하기 위해 VLA-JEPA, LingBot-VA, FastWAM 세 가지 정책을 도입한다. 세 모델은 모두 학습 과정에서 미래를 상상한다는 공통점을 가지지만, 그 상상을 어느 시점에 어떻게 활용하고 추론 비용을 어떻게 낮추는지는 다르다. VLA-JEPA는 잠재 공간에서 미래 프레임을 예측하고, LingBot-VA는 비디오와 행동을 함께 예측하며, FastWAM은 비디오 생성 전문가와 행동 전문가를 한 네트워크 안에 결합한다. 글의 흐름상 이 부분은 릴리스 제목의 ‘Imagine’을 가장 직접적으로 설명하는 핵심 축이다.

3. VLA-JEPA, LingBot-VA, FastWAM의 차이

VLA-JEPA는 Qwen3-VL-2B 기반의 컴팩트 VLA가 행동을 학습하는 동시에 JEPA 월드 모델을 통해 모델 자신의 행동에서 이어질 프레임을 예측하도록 한다. 중요한 점은 이 월드 모델이 추론 때는 사라지기 때문에 월드 모델의 학습 신호를 얻으면서도 추가 추론 비용은 발생하지 않는다는 것이다. LingBot-VA는 자기회귀 비디오-행동 모델로, 미래 비디오와 행동을 청크 단위로 함께 예측하고 실제 관측을 다시 투입해 상상이 현실에서 벗어나지 않게 한다. FastWAM은 약 5B 규모의 비디오 생성 전문가와 더 작은 행동 전문가를 결합해 학습 중에는 자체 롤아웃을 꿈꾸듯 만들고, 추론 때는 그 과정을 생략한 채 행동 청크를 직접 디노이즈한다.

4. 확장되는 VLA 모델 동물원

LeRobot v0.6.0은 월드 모델뿐 아니라 여러 비전-언어-행동 모델 통합도 강화했다. NVIDIA GR00T 통합은 N1.7로 업그레이드되었고, Cosmos-Reason2-2B와 플로우 매칭 행동 헤드를 사용하는 새 구조가 LeRobot에 반영됐다. Allen Institute for AI의 MolmoAct2는 파인튜닝, 평가, 실제 로봇 배포까지 전체 수명주기가 지원되며, SO-100/101에서 제로샷 실행 가능한 체크포인트도 제공된다. EO-1, Multitask DiT, EVO1도 추가되어 상호작용 데이터 기반 사전학습 VLA, 다중 작업 확산 트랜스포머, 0.77B 파라미터의 비교적 작은 실시간 정책까지 다양한 규모와 목적의 선택지가 마련됐다.

5. 보상 모델 API: 성공 여부와 진행도를 읽는 계층

글은 로봇 학습 루프에서 빠져 있던 요소로 성공 탐지와 진행도 추정을 지목하고, 이를 위해 lerobot.rewards라는 통합 보상 모델 API를 소개한다. 이 API는 정책 API와 유사한 방식으로 여러 보상 모델을 하나의 인터페이스 뒤에 배치하며, 기존 HIL-SERL 보상 분류기와 SARM에 더해 Robometer와 TOPReward를 포함한다. Robometer는 Qwen3-VL-4B 기반의 사전학습 범용 보상 모델로, 원시 비디오와 언어 지시만으로 작업 진행도와 성공을 평가한다. TOPReward는 별도 보상 가중치 없이 Qwen3-VL 같은 VLM이 궤적 비디오와 작업 지시를 보고 ‘True’ 토큰의 로그확률을 읽는 방식으로 제로샷 보상 함수를 구성한다.

6. 데이터셋: 인코딩, 깊이, 언어 주석, 로딩 성능

데이터셋 영역에서는 기록 품질과 학습 효율을 동시에 높이는 기능들이 추가됐다. 비디오 기록은 더 이상 고정 코덱에 묶이지 않고, --dataset.rgb_encoder.* 옵션으로 코덱, 품질, 픽셀 포맷, GOP, 프리셋 등을 조정할 수 있으며 하드웨어 인코더 탐색 후 기본 소프트웨어 AV1 인코더로 대체되는 흐름도 제공된다. Intel RealSense를 연결하고 use_depth를 켜면 밀리미터 단위 깊이 맵을 12비트 깊이 비디오 스트림으로 저장하고 학습 때 물리 단위로 복원할 수 있다. 또한 VLM이 에피소드를 보며 타임스탬프가 있는 하위 작업, 계획, 메모리, 교정, 음성, 카메라별 VQA 쌍 같은 풍부한 언어 주석을 자동 생성한다.

7. 데이터 로딩 개선과 재현 가능한 학습

LeRobot v0.6.0은 비디오 데이터셋 학습 속도를 최대 약 2배까지 높였다고 설명한다. 여러 카메라 프레임을 병렬로 디코딩하고, 데이터로더 워커가 프로세스 사이에서 더 작은 uint8 프레임을 전달하며, persistent worker가 에폭 사이에서도 디코더 캐시를 유지하는 방식이다. 특히 큰 데이터셋의 일부 에피소드만 불러오는 경우 기존 벤치마크에서 275초가 걸리던 작업이 0.06초로 줄었다고 제시된다. 샘플링도 결정적이고 재개 가능해져, 중단된 학습을 다시 시작할 때 동일한 샘플 단위에서 정확히 이어갈 수 있다는 점이 강조된다.

8. lerobot-eval로 묶인 여섯 개 신규 벤치마크

평가 영역에서는 여섯 개의 신규 시뮬레이션 벤치마크가 모두 lerobot-eval CLI 아래 통합됐다. LIBERO-plus는 조명, 카메라 시점, 지시문 재작성 등 일곱 축에 걸친 약 1만 개 변형으로 정책의 취약점을 찾는다. RoboTwin 2.0은 SAPIEN 기반 50개 양손 조작 과제를 제공하고, RoboCasa365는 2,500개 절차적 주방 환경의 365개 작업을 다룬다. RoboCerebra는 3~6개 하위 목표가 이어지는 장기 행동을 평가하고, RoboMME는 반복 횟수 세기, 숨겨진 객체 추적, 절차 모방 같은 메모리 능력을 시험하며, VLABench는 물리 질문과 커피 내리기 같은 복합 조작 과제를 통해 지식과 추론을 평가한다.

🧾 핵심 주장 / 시사점

• 이번 릴리스의 구조는 ‘상상하기, 평가하기, 개선하기’라는 제목 그대로 정책 학습, 보상 판별, 데이터 보강, 벤치마크 측정을 하나의 반복 루프로 묶으려는 방향이 뚜렷하다.
• 월드 모델을 학습에는 사용하되 추론 비용을 줄이거나 제거하려는 설계가 반복적으로 등장해, 로봇 정책에서 예측 능력과 실시간 실행 가능성 사이의 균형이 핵심 과제로 다뤄지고 있다.
• 데이터셋 주석, 깊이 기록, 보상 라벨링, 통합 벤치마크가 함께 강화된 점은 LeRobot이 단일 모델 저장소를 넘어 로봇 학습 실험의 전체 파이프라인 허브를 지향한다는 신호로 볼 수 있다.

✅ 액션 아이템

• lerobot.rewards 인터페이스로 HIL-SERL, SARM, Robometer, TOPReward를 단일 채널에 묶고 진행도·성공 라벨의 재학습 규칙을 정한다.
• VLA-JEPA, LingBot-VA, FastWAM의 미래 프레임·비디오-행동 학습 방식과 추론 비용 차이를 시나리오별로 비교해 정책 후보를 정한다.
• 사용자 지정 비디오 인코딩·RealSense 깊이 기록·VLM 자동 언어주석을 붙인 데이터셋으로 로딩 속도 2배 향상 주장을 검증하고 6개 시뮬레이션 벤치마크 적합성을 점검한다.

❓ 열린 질문

• 실패 재학습 루프에서 보상 모델의 성공/실패 판단을 어떤 시점과 주기로 반영하면 안정적인 정책 개선이 가능한가?
• VLA-JEPA, LingBot-VA, FastWAM의 서로 다른 월드모델 접근이 대형 모델과 실시간 소형 정책에 어떤 기준으로 분기되어야 하는가?
• 통합된 lerobot-eval의 6개 신규 시뮬레이션 벤치마크가 GR00T N1.7·MolmoAct2·EO-1·EVO1·Multitask DiT의 성능을 비교하기에 충분한 범위를 제공하는가?