Grabette: an open system to record robot-manipulation data

🖼️ 인포그래픽

Grabette: an open system to record robot-manipulation data 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Grabette는 로봇이나 원격조작 장비 없이 손으로 수행한 조작 시범을 기록·처리해 표준 학습 데이터로 만드는 개방형 저비용 시스템이며, 이를 통해 공동 로봇 조작 데이터셋을 확장하려는 프로젝트다.

📌 핵심 요약

로봇 학습의 핵심 병목은 모델이나 연산 자원보다 규모가 크고 다양하며 실제 환경에서 수집된 조작 데이터의 부족이다.
Grabette는 카메라·관성측정장치·그리퍼를 갖춘 휴대형 장치로, 사람의 조작과 6자유도 궤적 및 그리퍼 상태를 로봇 학습용 데이터로 기록한다.
녹화된 에피소드는 브라우저 대시보드에서 선택한 뒤 궤적 검증과 변환을 거쳐 표준 LeRobot 데이터셋으로 허깅페이스 허브에 게시된다.
하드웨어 설계, 라즈베리 파이 기반 캡처 서비스, 처리 파이프라인과 학습·평가 예제가 모두 공개되며, 일반적으로 구입할 수 있는 부품을 사용한다.
제작진은 200개의 시범으로 확산 정책을 학습해 Gripette를 장착한 7자유도 OpenArm에서 평가하는 전체 흐름을 제시하고, 공동 데이터 수집 참여를 요청한다.

🧩 주요 포인트

고가 로봇과 복잡한 원격조작 장비에 의존하던 수집 과정을 휴대형 수동 시범으로 바꿔, 다양한 작업과 환경의 데이터를 확보할 진입 장벽을 낮춘다.
카메라 기준 6자유도 자세와 그리퍼 상태를 표준 형식으로 저장해, 특정 로봇 팔이나 단일 학습 방식에 데이터가 종속되는 문제를 줄인다.
개방형 제작 자료와 허깅페이스 허브 기반 공유 흐름을 결합해, 개별 사용자의 에피소드를 공동 로봇 학습 자산으로 축적하도록 설계했다.

🧠 상세 정리

1. 모델보다 부족한 실제 조작 데이터

글은 로봇 학습의 공급 문제를 모델이 아니라 데이터의 부족으로 규정한다. 트랜스포머 기반 시각·언어·행동 모델, 확산 및 흐름 정합 정책, 월드 모델과 이를 학습할 그래픽 처리 장치는 이미 존재하지만, 실제 환경에서 나온 크고 다양한 조작 데이터는 충분하지 않다는 설명이다. 기존의 로봇 원격조작 방식은 먼저 로봇을 확보해야 하고, 방식에 따라 장시간의 반복 작업과 상당한 하드웨어·물류 부담까지 요구한다. 이런 조건은 필요한 작업과 환경의 종류가 늘어날수록 수집 규모를 확대하기 어렵게 만들며, 제작진은 사람의 손과 그리퍼, 카메라, 6자유도 궤적 복원 수단만으로도 로봇이 배울 시범을 만들 수 있다고 본다.

2. Grabette의 접근과 UMI의 영향

Grabette는 사용자가 휴대형 그리퍼를 손에 들고 작업을 수행하면 그 시범을 기록해 정제된 로봇 학습용 데이터셋으로 돌려주는 개방형 저비용 시스템이다. 로봇, 연구실, 별도의 원격조작 장비 없이 데이터를 수집할 수 있게 하는 것이 핵심이며, 시범 녹화를 동영상 촬영처럼 쉽게 만들어 누구나 공동 데이터셋에 기여하도록 하는 것이 더 큰 목표다. 이 장치는 어안 카메라로 야외 시범을 기록하고 동시적 위치추정 및 지도작성으로 카메라 궤적을 복원해 시각운동 정책을 학습한 스탠퍼드의 범용 조작 인터페이스에서 직접적인 영감을 받았다. 제작진은 그 검증된 방식을 LeRobot, 허깅페이스 허브, 설치 없이 브라우저에서 실행할 수 있는 처리 파이프라인과 연결해, 작업 구상에서 학습 데이터 확보까지의 장벽을 더 낮추려 했다.

3. 두 카메라와 한 쌍의 그리퍼

Grabette에는 조작 시범을 복원하는 데 필요한 카메라, 관성측정장치와 그리퍼 센서가 통합되어 있으며, 서로 다른 역할을 맡는 카메라 두 대가 장착된다. 저렴한 광각 어안 카메라는 정책 학습에 필요한 맥락이 풍부한 손목 카메라 시점을 제공하고, 깊이 정보를 포함한 RGBD 카메라는 안정적인 6자유도 추적을 담당한다. 손에 들고 데이터를 기록하는 Grabette의 부품 원가는 약 490유로이며, 학습된 움직임을 실제 또는 모의 로봇 팔에서 실행하는 대응 장치 Gripette는 카메라와 서보모터 두 개를 갖추고 약 120유로가 든다. 두 장치는 동일한 하드웨어 계보를 공유하지만 역할은 분명히 나뉘며, Grabette가 사람의 시범을 수집한다면 Gripette는 로봇 팔의 말단장치로서 학습 결과를 실행해 수집과 동작의 순환을 완성한다.

4. 공개 부품과 로봇 독립적 데이터 형식

프로젝트는 Grabette와 Gripette의 설계·생산 파일, 라즈베리 파이에서 동작하는 캡처 서비스, 로컬 또는 허깅페이스 스페이스에서 실행할 수 있는 처리 파이프라인을 모두 공개한다. 기본 LeRobot 학습과 OpenArm 평가를 잇는 하위 작업 예제도 참고 구현으로 제공하며, 라즈베리 파이, 표준 파이 카메라, 시판 OAK-D 깊이 카메라와 자기식 인코더처럼 주문 가능한 부품을 사용한다. 캡처 과정과 데이터 형식은 특정 로봇 팔을 전제로 하지 않고, 시범을 카메라 기준의 6자유도 직교좌표 자세와 그리퍼 상태로 저장한 뒤 표준 LeRobot 데이터셋으로 출력한다. 따라서 같은 데이터는 서로 다른 로봇과 학습 방법에 활용될 수 있지만, 실제 로봇 팔에서 실행하려면 Grabette와 대응하는 Gripette 그리퍼가 필요하다는 제약은 명시되어 있다.

5. 녹화에서 학습 데이터셋까지의 두 단계

첫 번째 단계에서 사용자가 버튼을 누르면 관찰 카메라 영상, 추적 카메라의 색상·깊이·관성측정 데이터, 그리퍼 인코더의 관절값이 하나의 공유 시계를 기준으로 동시에 기록된다. 버튼을 다시 누르면 해당 에피소드가 종료되고 모든 데이터가 라즈베리 파이에 로컬로 저장되므로, 사전 전문지식 없이 작업별 시범을 연속해서 만들 수 있다. 두 번째 단계에서는 브라우저의 Grabette 대시보드에서 데이터셋에 넣을 에피소드를 선택하고 한 번의 조작으로 후처리를 시작한다. 에피소드는 허깅페이스 허브에 업로드되고, Grabette SLAM 스페이스가 RTAB-MAP으로 궤적을 계산한 뒤 급격한 이동이나 추적 손실이 없는지 검증한다. 검증된 결과는 LeRobot 형식으로 변환되어 사용자의 공간에 새 데이터셋으로 게시되며, 사용자는 LeRobot 시각화 도구로 각 에피소드를 확인한 후 바로 학습을 시작할 수 있다.

6. 전체 학습 예제와 공동 데이터셋의 확장

제작진은 공개 대상의 중심이 학습 제품이 아니라 기록 시스템임을 분명히 하면서도, 수집한 데이터가 실제 학습 흐름에 연결됨을 보여주는 완전한 예제를 함께 제공한다. 예제에서는 200개의 시범으로 ResNet18과 SpatialSoftmax 인코더, DDIM 스케줄러, 6차원 회전 동작 표현을 사용하는 확산 정책을 LeRobot 스택에서 학습하며, 단일 소비자용 그래픽 처리 장치에서 실행할 수 있다고 설명한다. 학습된 정책은 Gripette를 장착한 7자유도 OpenArm에서 원격 프로시저 호출 인터페이스를 통해 평가되지만, 본문에는 정량적인 성공률이나 비교 수치는 제시되지 않는다. 제작진은 한 연구실만으로 데이터 부족을 해결할 수 없다고 보고, 사용자들이 직접 장치를 제작해 관심 있는 작업을 녹화하고 허브에 공유하기를 요청한다. 후속 계획으로는 1인칭 시점 수집을 보완할 머리 장착형 장치 Casquette가 개발 중이며, 프로젝트의 다음 단계 역시 공동 데이터셋을 더 크고 다양하게 만드는 참여에 초점을 둔다.

🧾 핵심 주장 / 시사점

Grabette의 핵심 기여는 새로운 정책 모델보다 데이터 수집 절차의 단순화에 있으며, 로봇 팔을 보유해야만 시범을 만들 수 있던 기존 조건을 완화한다.
공유 시계 기반 센서 동기화, 6자유도 궤적 검증과 LeRobot 표준 변환을 하나의 흐름으로 묶어, 수동 녹화를 재사용 가능한 학습 자료로 만드는 과정의 일관성을 확보했다.
특정 로봇 팔에 독립적인 데이터 형식과 공개 공유 구조는 공동 축적을 가능하게 하지만, 실제 실행 단계에서는 대응하는 Gripette가 필요하므로 데이터 호환성과 말단장치 호환성은 구분해서 보아야 한다.