🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LeRobot v0.4.0은 대규모 데이터셋, 시뮬레이션, 데이터 처리, 분산 학습, 범용 로봇 정책, 하드웨어 플러그인을 하나의 개방형 로봇 학습 생태계로 확장한 릴리스다.

📌 핵심 요약

• LeRobotDataset v3.0은 에피소드 청크화, 영상 스트리밍, 통합 Parquet 메타데이터를 도입해 400GB가 넘는 대규모 로봇 데이터셋의 처리 효율과 확장성을 높였다.
• 새 데이터셋 편집 명령줄 도구는 에피소드 삭제, 데이터셋 분할, 특성 추가·제거, 여러 데이터셋 병합을 지원하며 기존 v2.1 데이터의 변환 경로도 제공한다.
• LIBERO와 Meta-World 통합으로 130개 이상의 언어·행동 과제와 50개 이상의 조작 과제를 활용할 수 있으며, 표준화된 시뮬레이션 기반에서 평가와 일반화 실험을 수행할 수 있다.
• Processors 파이프라인과 Accelerate 통합은 로봇과 모델 사이의 데이터 변환을 모듈화하고, 하나의 명령으로 여러 GPU를 활용하는 분산 학습을 지원한다.
• PI0·PI0.5와 GR00T N1.5 정책, 외부 하드웨어 플러그인, Reachy 2와 스마트폰 원격조작, 공개 로봇 학습 강좌가 추가되어 모델부터 실제 장치와 교육까지 지원 범위가 넓어졌다.

🧩 주요 포인트

1. LeRobotDataset v3.0은 에피소드 청크화, 영상 스트리밍, 통합 Parquet 메타데이터를 도입해 400GB가 넘는 대규모 로봇 데이터셋의 처리 효율과 확장성을 높였다.
2. 새 데이터셋 편집 명령줄 도구는 에피소드 삭제, 데이터셋 분할, 특성 추가·제거, 여러 데이터셋 병합을 지원하며 기존 v2.1 데이터의 변환 경로도 제공한다.
3. LIBERO와 Meta-World 통합으로 130개 이상의 언어·행동 과제와 50개 이상의 조작 과제를 활용할 수 있으며, 표준화된 시뮬레이션 기반에서 평가와 일반화 실험을 수행할 수 있다.
4. Processors 파이프라인과 Accelerate 통합은 로봇과 모델 사이의 데이터 변환을 모듈화하고, 하나의 명령으로 여러 GPU를 활용하는 분산 학습을 지원한다.
5. PI0·PI0.5와 GR00T N1.5 정책, 외부 하드웨어 플러그인, Reachy 2와 스마트폰 원격조작, 공개 로봇 학습 강좌가 추가되어 모델부터 실제 장치와 교육까지 지원 범위가 넓어졌다.

🧠 상세 정리

1. LeRobot v0.4.0의 전체 방향

LeRobot v0.4.0은 오픈소스 로봇 학습을 더 강력하고 확장 가능하며 사용하기 쉬운 형태로 발전시키는 데 초점을 맞춘 릴리스다. 핵심 변화는 대규모 데이터셋 인프라 개편, 데이터 편집 도구 추가, 새로운 시뮬레이션 환경 지원, 데이터 처리 파이프라인 도입, 다중 GPU 학습 단순화로 구성된다. 여기에 PI0·PI0.5와 GR00T N1.5 같은 비전·언어·행동 정책을 통합하고, 핵심 라이브러리를 수정하지 않고도 외부 하드웨어를 연결할 수 있는 플러그인 체계를 마련했다. 공개 로봇 학습 강좌도 함께 제공하여 데이터 준비부터 모델 학습, 평가, 실제 장치 연결과 교육까지 이어지는 생태계를 확장했다.

2. 대규모 학습을 위한 데이터셋 3.0

LeRobotDataset v3.0은 OXE처럼 400GB가 넘는 대규모 데이터셋과 Droid 같은 로봇 데이터를 효율적으로 다루기 위해 데이터 구조를 전면 개편했다. 새로운 청크형 에피소드 형식은 방대한 에피소드 데이터를 나누어 관리할 수 있게 하며, 영상 저장과 스트리밍 개선은 데이터를 불러오는 시간을 줄이고 연속적인 영상 접근을 지원한다. 여러 JSON 파일로 흩어져 있던 에피소드 메타데이터는 구조화된 단일 Parquet 체계로 통합되어 관리와 조회가 간결해졌다. 데이터셋 초기화 시간과 메모리 사용 효율도 개선되었으며, 기존 v2.1 데이터셋을 v3.0 형식으로 이전할 수 있도록 변환 스크립트가 제공된다.

3. 데이터셋 편집과 큐레이션 도구

새로운 데이터셋 편집 명령줄 도구는 이미 수집된 로봇 데이터를 목적에 맞게 정리하고 재구성하는 작업을 지원한다. 사용자는 특정 에피소드를 삭제하거나, 비율 또는 에피소드 인덱스를 기준으로 데이터셋을 분할하고, 필요한 특성을 추가하거나 불필요한 특성을 제거할 수 있다. 서로 다른 여러 데이터셋을 하나의 통합 데이터셋으로 병합하는 기능도 포함되어 학습용 자료를 조합하기 쉬워졌다. 삭제 작업에서는 원본을 유지하면서 새로운 저장소 식별자로 결과를 저장할 수 있으며, 원문은 병합과 특정 에피소드 삭제를 실제 명령 예시로 보여준다. 이 도구들은 대규모 데이터의 단순 저장뿐 아니라 반복적인 정제와 실험별 데이터 구성까지 LeRobot 안에서 수행하도록 만든다.

4. LIBERO와 Meta-World 시뮬레이션

LeRobot은 로봇 정책을 더 다양하게 학습하고 평가할 수 있도록 LIBERO와 Meta-World 시뮬레이션 환경을 통합했다. LIBERO는 130개가 넘는 과제를 갖춘 대규모 비전·언어·행동 정책 벤치마크로, 서로 다른 정책을 통일된 설정에서 연동하고 평가하는 기반을 제공한다. Meta-World는 50개가 넘는 다양한 로봇 조작 과제를 통해 다중 과제 수행 능력과 새로운 조건에 대한 일반화 능력을 시험할 수 있게 한다. Meta-World 통합에는 버전 1.0.0 이상의 Gymnasium과 버전 3.0.0 이상의 MuJoCo가 표준적으로 사용되며, 이를 통해 결정론적 시드와 견고한 시뮬레이션 기반을 확보했다. 두 환경에 대응하는 데이터셋과 시작 문서도 함께 안내되어 학습과 평가 절차로 바로 연결할 수 있다.

5. 로봇과 모델을 잇는 처리 파이프라인

원시 센서 데이터, 관절 위치, 언어 지시는 인공지능 모델이 요구하는 정규화된 배치 텐서와 형태가 다르고, 모델이 출력한 값 역시 실제 로봇이 요구하는 동작 명령으로 변환해야 한다. LeRobot은 이 간극을 다루기 위해 각각 하나의 변환 작업을 담당하는 ProcessorStep을 연결하는 모듈식 Processors 파이프라인을 도입했다. 각 단계는 이름 변경, 배치 구성, 정규화, 텍스트 토큰화, 연산 장치 이동 같은 처리를 맡으며, 추론 후에는 역정규화와 장치 이동을 거쳐 로봇이 실행할 수 있는 명령을 만든다. PolicyProcessorPipeline은 고성능 학습과 추론에 필요한 배치 텐서 처리를 담당하고, RobotProcessorPipeline은 실시간 제어를 위해 개별 관측값이나 동작값을 처리한다. 이 구조는 특정 정책과 특정 로봇 사이에 흩어져 있던 변환 절차를 재사용 가능한 단계로 구성하게 해준다.

6. 간소화된 다중 GPU 학습

LeRobot은 Accelerate를 학습 파이프라인에 직접 통합하여 대형 로봇 정책의 다중 GPU 학습을 하나의 실행 명령으로 구성할 수 있게 했다. 사용자는 GPU 수, 데이터셋 저장소, 학습된 정책의 저장소, 정책 유형과 추가 설정을 지정해 분산 학습을 실행할 수 있다. 기존에는 사용자가 직접 처리해야 했던 여러 장치와 프로세스의 분산 학습 복잡성을 LeRobot이 대신 관리하는 것이 핵심이다. 원문은 GPU 두 개를 사용하면 학습 시간을 절반 수준으로, 세 개를 사용하면 3분의 1 수준으로 줄이는 식의 확장을 설명한다. 이 기능은 기존 정책을 미세조정하는 경우와 대규모 실험을 수행하는 경우 모두를 대상으로 하며, 학습 규모를 늘리는 진입 장벽을 낮춘다.

7. PI0·PI0.5와 GR00T N1.5 정책

LeRobot은 Physical Intelligence의 PI0와 PI0.5를 통합해 새로운 환경과 상황에서 물리적·의미적·환경적 수준으로 일반화하는 비전·언어·행동 정책을 사용할 수 있게 했다. PI0.5는 다중양식 웹 데이터, 언어 지시, 하위 과제 명령, 여러 환경에서 수집한 로봇 데이터를 함께 학습하는 이질적 데이터 공동학습을 특징으로 하며, 기본 모델과 LIBERO 조정 모델이 Hugging Face Hub에 제공된다. 또한 GR00T N1.5는 언어와 이미지 같은 다중양식 입력을 받아 다양한 환경에서 복잡한 조작을 수행하도록 설계된 교차 구현체 기반 모델로 소개된다. 이 모델은 언어 지시 추종을 포함한 일반화된 추론과 조작 능력을 목표로 하며, 실제 휴머노이드 수집 데이터, 합성 데이터, 대규모 영상 데이터를 결합해 학습한다. 두 계열의 정책을 LeRobot에 직접 통합함으로써 범용 로봇 정책을 공개적으로 실행하고 재현하며 결과를 공유할 수 있는 기반이 마련되었다.

8. 하드웨어 플러그인과 로봇 학습 교육

새 플러그인 시스템은 외부 로봇, 카메라, 원격조작 장치를 별도의 파이썬 패키지로 개발하고 설치할 수 있게 하며, 이를 위해 LeRobot 핵심 라이브러리를 직접 수정할 필요가 없다. 이 방식은 장치가 늘어나도 핵심 코드의 비대화를 줄이고, 커뮤니티가 독립적인 하드웨어 통합 패키지를 제공할 수 있도록 진입 장벽을 낮춘다. 플러그인 체계를 이용한 Reachy 2 통합은 실제 로봇 제어와 시뮬레이션을 모두 지원하며, Processors 파이프라인을 활용한 스마트폰 연동은 iOS와 안드로이드 기기를 원격조작 장치로 사용하게 한다. 함께 공개된 자기주도형 오픈소스 로봇 학습 강좌는 고전 로봇공학, 변이형 오토인코더와 확산 모델을 포함한 생성형 모방학습, 실제 로봇 강화학습, PI0와 SmolVLA 같은 범용 정책을 다룬다. 제공된 원문에는 현대 로봇 학습 심화 튜토리얼의 제목과 도입부만 제시되어 있어 그 이후의 구체적인 내용은 확인되지 않는다.

🧾 핵심 주장 / 시사점

• 이번 릴리스는 개별 모델 추가에 그치지 않고 데이터셋 준비, 시뮬레이션 평가, 데이터 변환, 분산 학습, 실제 하드웨어 제어를 연속된 작업 흐름으로 연결한다.
• 데이터셋 3.0의 저장 구조 개편과 편집 도구의 결합은 대규모 데이터의 처리 성능뿐 아니라 삭제·분할·병합을 통한 실험별 데이터 큐레이션까지 주요 기능으로 다룬다.
• 플러그인과 처리 파이프라인을 분리해 확장함으로써 새로운 하드웨어를 핵심 라이브러리에 직접 포함하지 않으면서도 정책과 로봇 사이의 데이터 변환을 표준화하려는 방향이 드러난다.

✅ 액션 아이템

• LeRobotDataset v3.0의 에피소드 청크화·영상 스트리밍·통합 Parquet 메타데이터로 400GB급 데이터 처리 효율을 실측 지표로 정량 점검한다.
• 새 데이터셋 편집 CLI를 이용해 에피소드 삭제·분할·특성 추가/제거·병합 시나리오를 구성하고 v2.1 데이터 변환 경로와의 호환 여부를 검증한다.
• Processors 파이프라인과 Accelerate를 결합해 멀티 GPU 분산학습을 설정하고 PI0·PI0.5, GR00T N1.5 정책 성능을 동일 조건에서 비교한다.

❓ 열린 질문

• 에피소드 청크화와 영상 스트리밍 처리 방식이 400GB 데이터에서 I/O 병목을 어느 정도 완화하는지 어떤 지표로 확인할 것인가?
• LIBERO와 Meta-World를 결합한 130개 과제군에서 평가·일반화 실험을 수행할 때 과제 분할 기준은 어떻게 정할 것인가?
• 외부 하드웨어 플러그인, Reachy 2, 스마트폰 원격조작을 적용할 때 실제 장치 제약은 정책 전환 안정성의 어떤 임계치를 요구하는가?