🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LeRobot v0.5.0은 휴머노이드와 다양한 로봇 하드웨어, 새로운 VLA 정책, 고속 데이터 처리, Hub 기반 시뮬레이션 환경, 현대화된 개발 기반을 한꺼번에 확장한 역대 최대 규모의 릴리스다.

📌 핵심 요약

• v0.4.0 이후 200개가 넘는 PR과 50명 이상의 신규 기여자가 참여했으며, LeRobot 최초로 Unitree G1 휴머노이드의 이동·조작·원격조작·전신 제어를 지원한다.
• OpenArm과 OpenArm Mini, Earth Rover, OMX Robot, 통합된 SO-100·SO-101 구현, RobStride와 Damiao CAN 버스 모터 컨트롤러가 추가되어 지원 하드웨어 범위가 넓어졌다.
• Pi0-FAST, Real-Time Chunking, Wall-X, X-VLA, SARM, PEFT 지원이 도입되어 자기회귀식 행동 생성부터 반응형 추론, 장기 작업 보상 모델링, LoRA 기반 미세조정까지 모델 선택지가 확대됐다.
• 스트리밍 비디오 인코딩으로 에피소드 사이의 인코딩 대기 시간이 제거됐고, 이미지 학습은 최대 10배, 비스트리밍 병렬 인코딩은 최대 3배 빨라졌으며 데이터셋 편집 도구도 확충됐다.
• EnvHub와 NVIDIA IsaacLab-Arena 통합을 통해 공유 가능한 시뮬레이션 환경과 GPU 가속 병렬 학습을 지원하고, Python 3.12 이상·Transformers v5·외부 정책 플러그인·버전별 문서 체계로 코드 기반을 현대화했다.

🧩 주요 포인트

1. v0.4.0 이후 200개가 넘는 PR과 50명 이상의 신규 기여자가 참여했으며, LeRobot 최초로 Unitree G1 휴머노이드의 이동·조작·원격조작·전신 제어를 지원한다.
2. OpenArm과 OpenArm Mini, Earth Rover, OMX Robot, 통합된 SO-100·SO-101 구현, RobStride와 Damiao CAN 버스 모터 컨트롤러가 추가되어 지원 하드웨어 범위가 넓어졌다.
3. Pi0-FAST, Real-Time Chunking, Wall-X, X-VLA, SARM, PEFT 지원이 도입되어 자기회귀식 행동 생성부터 반응형 추론, 장기 작업 보상 모델링, LoRA 기반 미세조정까지 모델 선택지가 확대됐다.
4. 스트리밍 비디오 인코딩으로 에피소드 사이의 인코딩 대기 시간이 제거됐고, 이미지 학습은 최대 10배, 비스트리밍 병렬 인코딩은 최대 3배 빨라졌으며 데이터셋 편집 도구도 확충됐다.
5. EnvHub와 NVIDIA IsaacLab-Arena 통합을 통해 공유 가능한 시뮬레이션 환경과 GPU 가속 병렬 학습을 지원하고, Python 3.12 이상·Transformers v5·외부 정책 플러그인·버전별 문서 체계로 코드 기반을 현대화했다.

🧠 상세 정리

1. 모든 축을 동시에 확장한 최대 규모 릴리스

LeRobot v0.5.0은 2026년 3월 9일 공개됐으며, v0.4.0 이후 200개가 넘는 PR과 50명 이상의 신규 기여자가 참여한 프로젝트 역사상 가장 큰 릴리스로 소개된다. 확장 범위는 특정 기능에 한정되지 않고 로봇 하드웨어, 학습 정책, 데이터셋 처리 성능, 시뮬레이션 환경, 플러그인 구조와 개발 기반 전반을 아우른다. 실제 로봇에 정책을 배포하는 사용자뿐 아니라 시뮬레이션에서 정책을 훈련하는 사용자까지 모두를 대상으로 기능이 보강됐다. 핵심 변화는 최초의 휴머노이드 지원, 자기회귀식 VLA의 복귀, 반응형 추론 기법, 실시간 비디오 인코딩, Hub에서 직접 불러오는 환경, Python 3.12 이상과 Transformers v5로의 전환으로 요약된다.

2. Unitree G1으로 시작한 휴머노이드와 전신 제어

이번 릴리스의 가장 큰 하드웨어 변화는 LeRobot 최초의 휴머노이드 통합인 Unitree G1 전체 지원이다. G1은 환경 안에서 걷고 이동하는 로코모션, 물체를 다루는 정교한 조작, 직관적인 인터페이스를 통한 원격조작을 지원한다. 특히 전신 제어는 이동과 조작을 동시에 조율해 단순한 탁상형 로봇 팔을 넘어서는 복합적인 현실 작업을 수행할 수 있도록 구성됐다. 원문은 이 통합을 LeRobot이 전신을 사용하는 범용 로봇 학습으로 나아가는 주요 단계로 평가하며, 사용자가 관련 문서를 따라 직접 기능을 시험할 수 있다고 안내한다.

3. 로봇 팔·이동 로봇·고성능 모터로 넓어진 하드웨어

OpenArm 로봇 팔과 전용 원격조작 장치인 OpenArm Mini가 새롭게 지원되며, 두 장비 모두 양팔 구성을 통해 더 복잡한 조작 작업에 사용할 수 있다. Earth Rover는 LeRobot 최초의 이동 로봇 통합으로서 야외 주행과 지면 기반 로봇 작업 영역을 추가했고, OMX Robot은 조절 가능한 그리퍼 설정과 보정 기능을 제공한다. SO-100과 SO-101 구현은 양팔 구성을 포함한 하나의 더 간결한 코드베이스로 통합되어 중복을 줄이고 유지보수를 단순화했다. 여기에 RobStride와 Damiao CAN 버스 모터 컨트롤러가 추가되면서 기존 Dynamixel·Feetech 생태계를 넘어 높은 토크가 필요한 전문 등급 액추에이터까지 구동할 수 있는 기반이 마련됐다.

4. Pi0-FAST와 Real-Time Chunking의 반응형 추론

Pi0-FAST는 FAST 주파수 공간 행동 시퀀스 토큰화를 이용해 자기회귀식 Vision-Language-Action 모델을 LeRobot에 도입한다. Pi0의 플로 매칭 방식과 달리 Gemma 300M 기반 행동 전문가가 이산화된 행동 토큰을 생성하며, 전용 FAST 행동 토크나이저와 함께 온도 및 최대 디코딩 단계 설정으로 속도와 품질을 조절할 수 있다. Real-Time Chunking은 완성된 행동 청크가 끝날 때까지 기다리지 않고 새로운 예측과 진행 중인 행동을 계속 혼합해 더 부드럽고 반응성 높은 동작을 만든다. RTC는 독립 정책이 아니라 Pi0 계열, SmolVLA, Diffusion 같은 기존 플로 매칭 정책에 연결하는 추론 단계의 개선 기법이며, Pi0-FAST 역시 RTC와 함께 사용할 수 있다.

5. 다양해진 VLA와 장기 작업 학습·경량 미세조정

Wall-X는 Qwen2.5-VL의 시각·언어 이해 능력에 플로 매칭 행동 예측 헤드를 결합해 서로 다른 로봇 형태를 아우르는 제어를 목표로 하는 새로운 VLA 정책이다. X-VLA는 Microsoft Florence-2를 기반으로 한 대안적 VLA 백본을 제공하여 로봇 학습에 활용할 수 있는 기반 모델의 다양성을 넓힌다. SARM은 긴 작업 전체를 하나의 선형 진행 신호로 취급하지 않고 현재 작업 단계와 해당 단계 내부의 진행도를 함께 예측함으로써 복잡한 다단계 조작 작업의 보상 모델링을 개선한다. 또한 정책 수준의 PEFT 설정을 통해 핵심 훈련 파이프라인을 변경하지 않고 LoRA 등으로 대규모 VLA를 미세조정할 수 있어, 특정 로봇과 작업에 모델을 적응시키는 데 필요한 연산량을 줄일 수 있다.

6. 대기 없는 기록과 크게 빨라진 데이터 파이프라인

이전에는 데이터셋의 한 에피소드를 기록할 때마다 비디오 인코딩이 끝날 때까지 기다려야 했지만, 스트리밍 비디오 인코딩은 프레임을 촬영과 동시에 실시간으로 처리해 에피소드 사이의 대기 시간을 없앤다. 시스템에 GPU 가속 비디오 인코더가 있으면 적절한 하드웨어 인코더를 자동 감지해 사용할 수 있지만, 실제 성능은 카메라 수와 해상도 등 하드웨어 및 기록 조건에 따라 달라질 수 있다. 데이터 접근 병목과 이미지 처리 방식을 개선한 결과 이미지 기반 학습은 최대 10배 빨라졌고, 스트리밍을 사용하지 않을 때는 동적 압축 수준을 적용하는 병렬 인코딩이 기본값이 되어 최대 3배의 인코딩 향상을 제공한다. 이와 함께 기록과 데이터셋 생성 과정에서 CPU 활용 효율도 개선되어 데이터 수집부터 학습 준비까지의 전체 처리 부담이 낮아졌다.

7. 세분화된 데이터 편집과 Hub 기반 시뮬레이션

데이터셋 도구에는 에피소드 내부의 하위 작업을 표시하고 조회하는 기능이 추가되어 계층적 작업 학습에 활용할 수 있게 됐다. 기존 이미지 기반 데이터셋을 여러 에피소드가 포함된 비디오 파일로 변환할 수 있으며, 데이터셋 정보 확인, 작업 수정, 분할·병합·특성 편집 관련 기능과 오류 수정도 보강됐다. EnvHub는 사용자가 환경 패키지를 로컬에 직접 설치하고 등록하는 대신 Hugging Face Hub 저장소를 지정하면 환경 코드를 내려받아 Gymnasium에 등록하고 훈련과 평가에 사용할 수 있도록 처리한다. 환경 제작자는 원격 make_env 함수와 HubEnvConfig를 사용하는 형태로 환경을 배포할 수 있어, 맞춤형 시뮬레이션 환경을 패키징해 커뮤니티와 공유하고 다른 사용자가 곧바로 학습에 활용할 수 있다.

8. GPU 시뮬레이션과 현대화된 확장 기반

NVIDIA IsaacLab-Arena 통합은 Isaac Sim에서 실행되는 조작 작업 모음과 대규모 병렬 환경 인스턴스를 LeRobot 훈련 파이프라인에 연결해 빠른 강화학습을 지원한다. 통합 과정에는 전용 전처리와 후처리 단계가 포함되며, 기존 LeRobot 훈련 흐름과 호환되도록 구성됐다. 코드베이스는 최소 Python 버전을 3.12 이상으로 올리고 Hugging Face Transformers v5로 이전했으며, 하드웨어 플러그인에 이어 외부 패키지 형태의 사용자 정의 정책 플러그인도 등록할 수 있게 됐다. 원격 Rerun 시각화는 압축 이미지를 이용해 대역폭을 절약하면서 로봇 원격 측정 정보를 볼 수 있게 하며, uv 설치 안내와 의존성 관리, 순차 설치 절차, 릴리스별 문서 버전 관리도 개선됐다.

🧾 핵심 주장 / 시사점

• v0.5.0의 확장은 단순히 지원 모델 수를 늘리는 데 그치지 않고 휴머노이드·이동 로봇·양팔 로봇·CAN 액추에이터까지 실제 구동 대상 자체를 넓히는 방향으로 진행됐다.
• 정책 측면에서는 자기회귀식 행동 토큰 생성과 플로 매칭을 모두 수용하면서 RTC, SARM, PEFT를 더해 추론 반응성·장기 작업 학습·미세조정 효율이라는 서로 다른 문제를 각각 다룬다.
• 스트리밍 인코딩, EnvHub, 외부 정책 플러그인과 버전별 문서는 데이터 수집부터 환경 공유, 정책 확장, 재현 가능한 설치와 운영까지 LeRobot 사용 흐름 전반의 마찰을 줄이는 변화다.

✅ 액션 아이템

• Unitree G1의 이동·조작·원격·전신 제어 지원을 반영해 지원 하드웨어 범위를 v0.4.0 이후 추가 항목 기준으로 정리한다.
• Pi0-FAST, Real-Time Chunking, Wall-X, X-VLA, SARM, PEFT를 정책·추론·미세조정 축으로 나눠 적용 대상을 정의한다.
• 스트리밍 인코딩 지연 제거 효과와 10배 이미지 학습·3배 병렬 인코딩 개선을 반영해 파이프라인 병목을 점검한다.

❓ 열린 질문

• 이미지 학습 10배와 비스트리밍 병렬 3배 가속이 작업군별로 품질·지연 지표에 어떤 차이를 만들 것인가?
• OpenArm Mini, Earth Rover, OMX Robot, 통합 SO-100·SO-101, RobStride, Damiao CAN 조합 중 어떤 하드웨어·구성이 우선 확장 대상인가?
• Python 3.12 이상·Transformers v5·외부 정책 플러그인·버전별 문서 체계 전환에서 현재 스택의 호환성 리스크는 어느 구간에서 먼저 검증해야 하는가?