Robots Just Got an API

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

로봇 두뇌가 API로 제공되기 시작하면서 소프트웨어 개발자도 로봇 동작을 호출하고 실험할 수 있게 됐지만, 실제 업무를 맡기기에는 성공률과 안전성 검증이 부족하다.

📌 핵심 요점

1. 영상은 로봇의 ‘GPT-3 모먼트’를 범용 성능의 완성보다 접근성의 변화로 설명한다. Dream Labs의 공개 연구용 API처럼 개발자가 직접 호출하고 제품을 만들어볼 수 있는 통로가 열렸다는 의미다.
2. 로봇 API는 카메라 영상·관절 상태·자연어 지시를 받아 일정 시간의 동작 묶음을 반환한다. 이 동작을 실행하는 동안 다음 묶음을 준비하는 방식으로 모델 추론과 통신 지연을 흡수한다.
3. 여러 로봇의 데이터를 함께 학습하면 작업의 의미와 개별 하드웨어의 움직임을 분리할 수 있다. 다만 새로운 로봇과 작업에 맞춘 데이터 수집과 미세조정은 여전히 필요하다.
4. 데이터 부족을 해결하려는 접근은 사람의 작업 영상, 시뮬레이션·자기대결, 미래 상태를 예측하는 월드 모델이다. 영상은 저렴한 영상 데이터를 기반으로 시뮬레이션과 실제 로봇 시연을 결합하는 구도를 제시한다.
5. 서비스마다 공개 범위가 다르다. 영상 기준 Dream Labs는 공개 API와 브라우저 실험 환경을 제공하고, Google은 계획 모델과 모터 제어 모델의 접근 권한이 다르며, Nvidia는 공개 가중치, Physical Intelligence는 대기명단 방식의 API를 제공한다.

🧩 배경과 문제 정의

영상은 로봇 개발이 특정 작업·로봇·환경마다 별도 프로그램을 만드는 방식에서, 사전학습된 모델을 지시와 함께 호출하는 방식으로 이동하고 있다고 설명한다. 테이블 위치나 그리퍼가 바뀌면 다시 작업해야 했던 기존 접근의 제약을 로봇 파운데이션 모델이 얼마나 줄일 수 있는지가 출발점이다.

여기서 ‘GPT-3 모먼트’는 모든 로봇 작업을 해결했다는 뜻이 아니다. 개발자가 API 키를 받아 실험하고 제품을 만들 수 있게 됐다는 접근성의 변화다. 영상은 이를 가능하게 하는 동작 생성 구조와 데이터 전략, 실제 이용 가능한 서비스, 개발자의 시작 방법과 남은 한계를 차례로 살펴본다.

🕒 시간순 섹션별 상세정리

1. 로봇 두뇌가 호출 가능한 API가 되다

• 영상은 10월 13일 Physical Intelligence의 API 베타와 10월 19일 Dream Labs의 9,000만 달러 투자 유치·공개 API 발표를 변화의 출발점으로 보여준다. Dream의 초기 소개 요금은 시간당 3달러다. [00:22]
• 기본 사용 방식은 카메라 프레임과 작업 문장을 보내고 약 1.6초의 로봇 동작을 받아 반복 실행하는 것이다. 기존의 작업별 프로그램 대신 대량의 로봇 데이터와 영상으로 사전학습한 모델에 지시하는 구상이다. [01:50]
• Skilled S1은 영상 프롬프트로 처음 보는 장기 작업을 시도하며, 업체 자체 시험에서 영상 지시 66%, 텍스트 지시 9%를 기록했다고 한다. 발표자는 GPT-3와의 공통점을 개발자가 API를 호출해 제품을 만들 수 있다는 데서 찾는다. [02:31]

2. 시각·언어·행동 모델과 동작 묶음의 구조

• 입력은 카메라 영상, 로봇의 관절 상태, 작업 문장이다. 시각·언어 모델이 장면과 지시를 해석하며, Physical Intelligence의 초기 Pi 0는 30억 매개변수 시각·언어 모델에서 출발했다고 보여준다. [03:30]
• 이해한 내용을 움직임으로 바꾸는 방식으로 행동 토큰 예측과 플로 매칭을 보여준다. FAST는 동작 묶음을 보통 30~60개 토큰으로 압축하고, 플로 매칭은 잡음에서 점진적으로 매끄러운 동작 경로를 만든다. [04:13]
• 모델은 개별 움직임 대신 약 1초 이상의 동작 묶음을 반환한다. Physical Intelligence는 50개 동작으로 1초를, Dream은 호출당 1.6초를 제공하며, 실행 중 다음 묶음을 준비해 지연을 흡수한다. 추가 지연 200밀리초에도 속도를 유지했다는 결과는 Physical Intelligence의 자체 시험이다. [05:07]

3. 하나의 모델을 여러 로봇에 적용하는 방법과 한계

• 여러 로봇을 함께 학습하면 ‘컵 집기’라는 작업과 개별 관절 구조를 분리할 수 있다고 보여준다. Open X Embodiment는 22종 로봇의 100만 회 이상 실행 데이터를 담은 사례로 묶인다. [05:25]
• Dream은 그리퍼의 목표 위치를 예측하고 각 로봇의 소프트웨어가 관절 움직임을 계산하게 한다. 실제 로봇 한 대로 학습한 뒤 처음 보는 27종을 시뮬레이션에서 시험했다고 주장하지만, 현장 데이터 미세조정은 여전히 필요하며 한 번의 시연을 통한 적응이 무시연 적용보다 낫다고 드러낸다. [05:55]

4. 부족한 로봇 데이터를 보완하는 세 가지 접근

• 로봇 원격조작 데이터는 수집이 느리고 비싸다. Skilled는 시연 380개에 50~100시간이 들었다고 하며, 대안인 사람 영상 학습으로 Figure는 처음 보는 30개 가정에서 Helix 성공률이 9%에서 56%로 올랐다고 주장한다. Nvidia Groot N 1.7에는 사람 영상 2만 시간이 사용됐다고 보여준다. [06:49]
• 시뮬레이션과 자기대결은 실제 장비 없이 반복 경험을 늘리는 접근이다. Skilled는 축구 득점을 목표로 시뮬레이션상 약 140년을 학습한 휴머노이드를 실제 로봇으로 옮긴 사례를 제시한다. [07:05]
• Meta의 사전공개 논문 RoboJeppa는 픽셀 대신 압축된 장면 표현의 미래를 예측하는 80억 매개변수 월드 모델로 묶인다. 발표자는 사람 영상, 시뮬레이션, 실제 로봇 시연을 아래부터 쌓는 데이터 피라미드로 정리한다. [07:48]

5. 실제 이용 가능한 서비스와 공개 범위

• 영상 기준 Dream Labs는 공개 연구용 베타로 Dream 1을 시간당 3달러, Flash를 2달러에 제공한다. 브라우저로 회사 사무실의 실제 로봇을 조작하는 플레이그라운드도 있으며, ‘최초의 공개 로봇 파운데이션 모델 API’라는 표현은 업체 주장임을 구분한다. [08:19]
• Google의 Gemini Robotics ER2는 AI Studio에서 미리보기로 제공되는 계획 모델이고, 실제 모터를 움직이는 Gemini Robotics 2는 신뢰된 시험 사용자 대상 조기 접근이다. Nvidia Groot N 1.7은 30억 매개변수의 공개 가중치 모델로 직접 내려받아 실행하는 방식이다. [08:49]
• Physical Intelligence의 Pi 0·Pi 0.5는 오픈소스로 소개되지만 새 API는 대기명단과 순차 온보딩 방식이며 공개 가격은 없다. Skilled S1은 조기 접근 신청 단계이고, Figure·1X·Generalist는 호출 가능한 API가 없는 것으로 보여준다. [09:17]

6. 소프트웨어 개발자의 실험 순서와 비용

• 먼저 하드웨어 없이 Dream 플레이그라운드에서 작업을 시도하고, Claude Code로 카메라 수집·API 호출·동작 묶음 실행 루프를 작성하라고 제안한다. 이 루프는 Isaac Sim 같은 시뮬레이터에서 먼저 시험한다. [09:50]
• Gemini Robotics ER2 같은 계획 모델이 좌표와 함수 호출을 반환하게 하고, 자체 코드가 이동·집기를 수행하도록 역할을 나눌 수 있다. 실제 장비로는 Hugging Face의 SO101과 시연 데이터 기반 미세조정을 소개하지만, Dream 모델은 당시 평행 그리퍼를 갖춘 양팔 로봇을 대상으로 한다고 한정한다. [10:37]
• 시간당 3달러라면 4시간 실험은 약 12달러라는 계산을 제시한다. 발표자는 자신의 중고 의류 사업에 곧바로 로봇을 투입하기보다 플레이그라운드에서 레깅스 접기를 시험해보겠다고 드러낸다. [11:07]

7. 자체 시험의 한계와 현장 적용 사이의 간극

• Generalist 59%, Skilled 66%, Figure 56%, RoboJeppa의 실제 집기·놓기 27% 등 자체 시험 수치를 제시하며 실패 가능성을 강조한다. 시험 조건이 서로 다르므로 이 숫자만으로 공통 성능 순위를 정하기는 어렵다. [11:35]
• Dream의 안전 검증 부족, Physical Intelligence의 가격·지원 로봇 정보 부족과 일부 네트워크 문제를 짚어 본다. Rodney Brooks의 비판을 인용해 사람 영상만으로는 정교한 조작에 필요한 촉각 데이터를 얻기 어렵다는 논쟁도 보여준다. [12:18]
• 반대편 사례로 Actor가 PI API로 실제 상업 현장의 휠로더를 운용해 덤프트럭을 채운 일을 보여준다. 결말에서는 오류를 포함해 직접 시험할 수 있는 공개 모델의 의미를 강조하고, 시간당 3달러의 로봇 두뇌에 처음 맡길 작업을 시청자에게 묻고 영상을 마친다. [13:16]

🧾 결론

• 변화의 핵심은 로봇 모델이 개발자가 호출할 수 있는 소프트웨어 구성요소가 됐다는 점이다.
• 공개 실험 환경은 하드웨어를 구매하기 전에도 작업 가능성과 실패 양상을 살펴볼 기회를 준다.
• 영상에 소개된 성공률은 각 회사의 자체 시험 결과다. 이를 곧바로 현장 신뢰성이나 업체 간 우열로 해석하기 어렵다.
• 상업 현장 적용 사례도 소개되지만, 새로운 작업의 실패율·안전성·네트워크 의존성은 여전히 중요한 제약이다.

📈 투자·시사 포인트

• 경쟁력을 판단할 때 시연 영상뿐 아니라 실제 API 접근성, 지원 하드웨어, 가격 공개, 개발자가 재현할 수 있는 결과를 함께 봐야 한다.
• 소프트웨어 기회는 작업 계획, 로봇 기능 호출, 실행 루프, 현장 데이터 수집과 미세조정처럼 영상에서 제시한 연결 지점에서 찾을 수 있다.
• 시간당 API 요금은 실험 진입 비용을 보여준다. 사업성을 판단하려면 작업 성공률과 재시도, 하드웨어·연동 비용까지 반영한 성공 작업당 비용을 확인해야 한다.
• 사람 영상과 시뮬레이션이 실제 로봇 데이터 수집 부담을 얼마나 줄이는지, 촉각 정보 부족을 어떻게 보완하는지가 확장성의 관찰 지점이다.

⚠️ 불확실하거나 확인이 필요한 부분

• Skilled의 영상 프롬프트 성과, Figure의 새 가정 환경 성공률, Dream의 다른 로봇으로의 전이 등은 업체 측 주장으로 소개된다. 시험 조건이 달라 수치를 직접 비교하기 어렵고, Dream의 27종 로봇 시험은 시뮬레이션 결과다.
• Dream은 오류 가능성과 안전이 중요한 용도에 대한 검증 부족을 명시했다고 한다. 모델 규모도 영상에서는 공개되지 않은 것으로 설명한다.
• 영상 기준 Physical Intelligence의 API 가격과 지원 로봇 목록은 공개되지 않았다. 일부 파트너의 네트워크 문제도 언급돼 클라우드 제어의 현장 안정성을 확인해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 영상에 소개된 공개 API와 플레이그라운드의 현재 이용 가능 여부, 요금, 지원 로봇을 확인한다.
• 실험할 작업 하나를 정하고 성공 조건과 실패 유형을 기록한 뒤, 플레이그라운드에서 반복 실행 결과를 관찰한다.
• 카메라 입력 → API 호출 → 동작 묶음 실행 → 다음 입력의 루프를 구성하고, 영상이 제안한 Isaac Sim 같은 시뮬레이터에서 먼저 시험한다.
• 계획 모델이 반환하는 좌표·함수 호출과 실제 모터 제어를 구분해 각 단계의 역할과 연결 방식을 확인한다.

❓ 열린 질문

• 업체별로 다른 시험을 공통 조건에서 반복하면 새로운 작업의 성공률과 실패 양상은 어떻게 달라질까?
• 사람 영상·시뮬레이션·실제 로봇 시연을 어떤 비율로 결합해야 데이터 비용을 줄이면서 현장 성능을 높일 수 있을까?
• 네트워크 지연이나 연결 문제가 생겼을 때 동작 묶음 방식은 어디까지 안정적인 실행을 유지할 수 있을까?