Why Robotics Still Isn''t Solved - But Could Be Soon

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Why Robotics Still Isn't Solved - But Could Be Soon를 중심으로, 텔레옵 데이터는 수집 비용이 높고 조건 변화에 취약하며, 영상 기반 세계 모델은 충돌·접촉·변형 물체의 물리를 안정적으로 재현하지를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 텔레옵 데이터는 수집 비용이 높고 조건 변화에 취약하며, 영상 기반 세계 모델은 충돌·접촉·변형 물체의 물리를 안정적으로 재현하지 못한다. 제한적인 촉각 센서와 먼지·부식·배터리 열화에 따른 기체 드리프트까지 겹치면서 기존 데이터와 정책이 빠르게 낡는다.
2. 정교한 시연과 장시간 자율 작업 사이에는 기억의 간극이 있다. MEM은 단기 시각 기억과 압축된 장기 언어 기억을 결합해 진행 상태와 실패를 보존하고, 같은 행동의 무한 반복을 막으며 다음 시도에서 집는 높이나 움직이는 방향을 수정한다.
3. 체화 추론은 많이 생성하는 것보다 행동에 필요한 정보만 선별중요하다. R&B Encore는 추론을 잠재변수로 다루고 간결성·비자명성·행동 예측성으로 후보를 검증해, 조작·이동·주행처럼 기체와 과제에 따라 서로 다른 유용한 추론을 발견한다.
4. 손재주 확장에서는 원격조작만 늘리는 대신 대규모 GPU 시뮬레이션과 강화학습을 활용하는 경로가 부상한다. 목표 자세의 연속 궤적을 고정 정책의 프롬프트로 사용하면 새 도구를 추가 훈련 없이 다룰 수 있고, 자유공간 놀이에서 얻은 사전지식을 정밀 조립으로 이전할 수 있다.
5. 상용화는 범용 모델의 성능만이 아니라 유료 고객 문제, 텔레오퍼레이션, 반복 평가, 데이터 저장 계층, 배포 지원을 하나의 루프로 연결하는 능력에 달려 있다. 월드 액션 모델도 미래 역학을 학습하는 잠재력이 있지만, 확산·플로 매칭의 반복 계산을 증류하고 엣지 비용을 낮춰야 실제 로봇에 확장할 수 있다.

🧩 배경과 문제 정의

• AlphaGo·MuJoCo·ALOHA·확산 정책·VLA가 등장할 때마다 범용 로봇의 상용화가 임박했다는 기대가 반복됐지만, 실제 성과는 통제된 작업 공간과 시연 단계에 머물러 있다.
• 텔레옵 데이터 수집 비용, 현실 물리를 재현하지 못하는 세계 모델, 빈약한 촉각 센서, 기체 노후화에 따른 동작 변화가 대규모 배포를 가로막는다.
• 장시간 작업에는 과거 상태를 기억하고 실패에 적응하는 능력이 필요하며, 기체별로 어떤 추론이 행동에 유용한지 선별하는 문제도 함께 해결해야 한다.

🕒 시간순 섹션별 상세정리

1. 반복된 로봇 원년 예측과 상용화의 간극

• AlphaGo·MuJoCo·ALOHA의 성과가 나올 때마다 ‘알고리즘은 갖췄고 규모만 키우면 된다’는 기대가 되풀이됐고, 로봇공학이 이듬해 해결된다는 예측은 10년째 반복됐다. [00:25]
• 확산 정책과 다단계 추론, VLA, 텔레옵 데이터가 결합하면 범용 로봇이 가능하다는 전망이 나왔지만, 여전히 대규모 데이터 확보가 전제 조건이다. [01:18]

2. 텔레옵 데이터 수집의 확장 한계

• 작은 그리퍼와 손목 카메라만으로 정교한 행동을 조작·기록하는 과정은 매우 까다롭고, 사소한 조건 변화에도 데이터 품질과 작업 성공률이 흔들린다. [02:20]
• 현재 정책이 텔레옵 데이터에 의존하는 상태에서 수집량을 폭발적으로 늘려야 하므로, 데이터 비용 자체가 로봇 확장의 핵심 병목이 된다. [02:38]

3. 현실 물리와 행동 표현의 미해결 문제

• 영상 기반 세계 모델은 충돌과 경계 같은 현실 물리를 안정적으로 지키지 못하며, 건물로 진입한 자동차의 환경이 도로로 바뀌는 식의 오류가 시뮬레이션과 현실의 간극을 만든다. [03:38]
• 변형 가능한 물체의 다음 상태를 행동까지 조건으로 삼아 예측하려면 훨씬 많은 데이터가 필요하고, 복잡한 접촉 변화까지 학습하기는 더욱 어렵다. [03:44]

4. 촉각 부족과 기체 상태의 변화

• 인간의 피부는 수직·접선 방향 힘, 습도, 온도, 진동, 마찰계수를 몸 전체에서 감지하지만, 로봇은 손끝의 제한적인 힘·토크 센서와 손목 카메라에 주로 의존한다. [04:32]
• 인간은 가방 안을 보지 않고도 촉감만으로 충전기와 주변 물체를 구분하지만, 피부에 해당하는 감각 기관이 없는 로봇은 같은 수준의 비시각적 세계 모델을 만들기 어렵다. [05:18]

5. 짧은 시연에서 장시간 자율 작업으로

• 블록 잠금 해제, 뒤집힌 옷 접기, 땅콩버터 샌드위치 만들기 같은 자율 작업은 정교하지만, 가장 긴 작업도 약 2분에 불과해 제조·방 전체 정리·한 끼 조리와는 시간 규모가 다르다. [08:43]
• 장시간 작업에는 진행 상황과 경과 시간을 추적하고, 새로운 상황이나 실수를 만났을 때 동작을 수정하는 안정적인 손재주가 필요하므로 정책 내부의 기억이 필수다. [09:33]

6. 무기억 정책의 실패와 메모리 비용

• 기존 로봇 정책은 매 시점 새로운 관측만 받고 이전 상황을 유지하지 않아, 작업을 얼마나 수행했는지와 어떤 단계까지 끝냈는지 알지 못한다. [09:49]
• 시간 감각이 없는 로봇은 설거지를 끝없이 반복하거나 그릴드 치즈를 태우며, 종료 조건을 판단하지 못한 채 같은 행동을 지속한다. [10:11]

7. 다중 규모 메모리와 단기 시각 기억

• MEM은 다음 단계를 결정하는 고수준 정책과 실제 동작을 실행하는 저수준 VLA를 분리하고, 조작용 단기 시각 기억과 압축된 장기 언어 기억을 각각 연결한다. [11:13]
• 단기 기억 인코더는 여러 프레임 사이에 시간축 어텐션을 적용한 뒤 현재 이미지 토큰만 남겨, 과거 동작 정보를 유지하면서 토큰 수와 추론 비용을 줄인다. [12:04]

8. 장기 언어 기억과 실패 후 적응

• 고수준 정책은 지금까지의 진행 상태를 텍스트 스크래치패드로 반복 갱신하며, 이미지보다 적은 토큰으로 수십 분의 이력을 압축하고 실제 결과에 맞춰 기억을 수정한다. [13:32]
• 장기 기억을 사용한 정책은 수십 분 동안 조리 재료를 준비하는 작업을 수행하고, 무기억 정책과 다른 메모리 방식보다 높은 성능을 기록했다. [14:28]

9. 텍스트 메모리의 학습 방식과 표현 한계

• 초기 방식은 지도 미세조정을 위해 사람이 중요한 상태를 미리 정해 주석으로 기록하며, 앞으로는 메모리 공간에 강화학습을 적용해 보존할 정보를 스스로 선택필요가 있다. [16:50]
• 고수준 VLM에는 재료의 종류와 위치를 포함한 상세 작업 지시를 주고 저수준 VLA에는 다음 동작만 전달하므로, 작업이 길어져도 복잡도에 비례해 로봇 데이터를 늘릴 필요가 줄어든다. [18:19]

10. VLA 학습과 체화 추론의 필요성

• 인터넷 규모의 시각·언어 사전지식을 가진 VLM을 희소한 텔레옵·주행 데이터로 추가 학습하면 범용 로봇 정책인 VLA가 된다. [20:55]
• VLA는 이미지나 지각 특징과 언어 지시를 입력받아 조향 명령이나 말단 장치 위치처럼 실제 기체가 실행할 행동을 생성한다. [21:19]

11. 체화 추론의 근거와 장황성 문제

• 로봇에는 인터넷 문서처럼 정답 추론을 제공하는 데이터가 없고, 인간의 뇌에서 지각과 손가락 움직임 사이의 판단 과정을 직접 추출할 수도 없어 모델과 데이터가 서로를 필요로 하는 순환 문제가 생긴다. [22:49]
• 계획, 가시 물체 목록, 경계 상자, 그리퍼 위치를 매 단계 모두 생성하면 추론 지연이 커지고, 과제와 무관한 물체 정보가 행동 예측을 방해할 수 있다. [23:30]

12. R&B Encore의 제안·검증 순환

• R&B Encore는 추론을 관측되지 않은 잠재변수로 취급하고 변분 추론을 적용해, 기체별로 유용한 사고 사슬을 스스로 개선하는 사전학습 순환을 구성한다. [24:23]
• 추론 제안기는 시연 문맥마다 가시 물체·이동·계획·그리퍼 위치·하위 작업 등의 조합을 생성해, 행동 전에 어떤 정보를 기록할지 후보를 만든다. [24:53]

13. 조작 로봇에서의 추론 선별 효과

• 조작 VLA에서는 이동과 그리퍼 위치에 관한 추론이 유용한 반면 장면 전체를 나열하는 지각 추론은 효과가 낮았고, 불필요한 정보를 제거하자 작업 성공률이 높아졌다. [26:31]
• 장면 속 방해 물체가 지각 추론을 오염시키므로 과제와 관련된 물체만 남기면 주석의 과제 현저성과 핵심 물체 비율이 함께 개선된다. [26:57]

14. 이동 로봇과 자율주행으로의 확장

• 다족 보행·내비게이션에서는 지형이나 반사실적 상황보다 이동 경로의 구조적 행동 가능성과 구체적인 움직임을 추론하는 편이 더 중요하다. [27:40]
• 자율주행에서는 메타 행동·가시 물체·지각 정보가 유용하며, 환각된 경험과 무관한 사람 주석을 제거하면 경로의 L2 오차와 충돌률이 낮아진다. [27:53]

15. 선택적 추론 원칙과 토큰 밖의 과제

• 유효한 추론이라도 행동에 도움이 된다는 보장은 없으므로, 모든 정보를 생성하는 방식보다 기체와 과제에 필요한 추론만 선택하는 방식이 효율적이다. [28:22]
• 자기지도 부트스트래핑은 정답 모델과 정답 데이터가 서로 필요한 순환을 완화하고, 조작·내비게이션·주행과 10억~300억 매개변수 모델에 걸쳐 추론을 발견·배치·예산화할 수 있게 한다. [28:30]

16. 비텍스트 추론과 선택적 추론의 실시간화

• 연속적인 내부 표현에서 비텍스트 추론을 수행하고, LLM·VLM이 대규모 데이터에서 얻은 사전지식을 데이터가 부족한 로보틱스에 이전하는 것이 핵심이다. [30:45]
• 텍스트 추론을 공동학습용 주석으로 사용한 뒤 action forcing으로 추론 단계에서 제거하면, 학습 효과를 유지하면서 실시간 지연을 피할 수 있다. [31:51]

17. 원격조작의 한계와 시뮬레이션 기반 손재주

• 하나의 제로샷 정책이 처음 보는 도구와 작업을 처리하며, 60Hz로 22자유도 손과 7자유도 팔을 동시에 제어한다. [34:23]
• 사람과 로봇의 신체 구조 차이와 제한된 힘 피드백 때문에 손안 회전 같은 정교한 동작은 원격조작으로 느리고 불안정하며, 대규모 시연 수집도 어렵다. [34:58]

18. 기술별 정책을 목표 자세 정책 하나로 통합

• 기존 방식은 잡기·재정렬·회전·도구 사용마다 별도 정책이 필요해 새로운 보상 설계와 작업별 엔지니어링, 재훈련 비용이 반복된다. [36:14]
• 단일 정책이 브러시를 잡고 손안에서 방향을 바꾼 뒤 물체를 쓸어내는 전체 과정을 수행하므로, 기술 사이에서 정책을 수동 전환할 필요가 없다. [36:43]

19. 무작위 시뮬레이션 학습과 사람 영상 기반 목표 지정

• 훈련 단계에서는 단순 형상의 물체와 무작위 목표를 절차적으로 생성하고, 시스템 식별·도메인 무작위화와 대규모 병렬 강화학습을 결합한다. [37:33]
• 추론 단계에서는 FoundationPose와 SAM이 사람 영상에서 목표 자세의 연속 궤적을 추출하고, 고정된 정책이 이를 60Hz로 추적한다. 사람 영상은 로봇 행동이나 추가 훈련 데이터로 쓰이지 않는다. [38:08]

20. 궤적 프롬프트의 제로샷 일반화

• 새로운 작업은 새로운 훈련이 아니라 목표 자세의 새로운 연속열이 되며, 궤적이 고정된 정책에 입력하는 작업 프롬프트처럼 작동해 준비 시간을 수일에서 수분으로 줄인다. [38:50]
• 같은 정책이 훈련에서 보지 못한 12개 도구군 모두에서 작업 진전을 보였지만, 무거운 도구는 쉽게 떨어지고 작은 물체는 가림으로 자세 추적이 흔들려 성능이 낮았다. [39:10]

21. 고정 그립·키네마틱 리타기팅 대비와 실패 양상

• Sim-to-Real 정책은 도구를 기능적인 자세로 손안에서 재정렬하지만, 고정 그립 방식은 팔 전체로만 회전하다가 테이블과 충돌해 손안 재정렬의 필요성을 드러낸다. [40:16]
• 사람 손끝 움직임을 로봇에 옮기는 키네마틱 리타기팅은 접촉력을 고려하지 않아 물체를 잡는 단계부터 실패한다. [40:29]

22. 자유공간 놀이에서 정밀 조립으로

• 정밀 조립은 지속적인 접촉과 밀리미터 단위 정확도가 필요해 처음부터 학습하기 어렵고, 먼저 자유공간에서 물체를 다루는 쉬운 문제를 학습해야 한다. [41:31]
• Play to Perfect는 작업과 무관한 놀이로 공통 손재주 사전지식을 만든 뒤, 희소 보상을 사용하는 접촉 중심 조립 작업에 미세조정해 실제 환경에 제로샷 배포한다. [41:58]

23. 회복 행동을 만든 교란 학습과 단순 형상 가정

• 회복 행동을 직접 목표로 훈련하지는 않았지만, 시뮬레이션에서 물체에 무작위 힘을 가해 손에서 떨어뜨린 뒤 다시 집는 경험을 반복시킨 것이 회복 능력으로 이어졌다. [43:03]
• 정책은 세밀한 물체 형상 대신 잡을 수 있는 영역의 경계 상자만 받으며, 원기둥과 직육면체 같은 단순 형상은 복잡한 형상보다 시뮬레이션을 2~3배 빠르게 실행한다. [43:49]

24. 시뮬레이션 밖 대상까지 일반화할 경로

• 관절형 도구뿐 아니라 물·지퍼·캔 개봉 같은 상호작용은 현재 시뮬레이션으로 정확히 재현하기 어려워, 시뮬레이션 사전지식을 현실로 옮긴 뒤 실제 경험으로 계속 미세조정하는 경로가 유력하다. [45:13]
• 현재 정책은 현재 자세에서 목표 자세로 이동하는 자세 공간의 역동역학 모델에 가깝고, 수건 같은 변형 물체에는 핵심점이나 영상 기반 최종 상태를 목표 표현으로 사용할 수 있다. [45:55]

25. 관절 꼬임 실패와 현실·시뮬레이션 평가의 간극

• 팔이 여러 목표를 좇으며 계속 회전하면 관절이 심하게 꼬일 수 있고, 강화학습 정책이 반대 방향으로 풀어야 한다는 이론적 기대와 달리 확실한 해결책은 아직 없다. [46:49]
• 현실 평가는 시간과 비용이 많이 들며, 성공률 90%와 87%를 구별하려면 약 100회의 실험이 필요해 적은 시행만으로는 통계적 판단보다 직관적 점검에 머물기 쉽다. [47:31]

26. 검증된 LSTM 선택과 무작위 목표의 역할

• 강화학습 코드는 작은 변경에도 쉽게 불안정해지므로 기존 코드에 포함된 LSTM을 유지했고, 현재 데이터 체제에서는 Transformer가 더 낫다는 실험 근거가 부족하며 튜닝 민감도도 높다. [49:30]
• 무작위 목표는 위치와 회전을 표본 추출한 뒤, 후속 목표를 최대 10cm 거리와 90도 회전 차이의 상대 자세로 생성한다. [49:49]

27. 자세 추적이 차지한 실패와 카메라 제약

• 전체 실패의 약 60%가 자세 추적에서 발생했으며, 가림이 잦은 작은 마커는 취약한 반면 특징이 많은 긴 도구와 큰 브러시는 상대적으로 안정적이다. [50:55]
• 실험은 가림이 적은 위치에 설치한 3인칭 카메라만 사용했고, 1인칭 시점은 별도로 시험하지 않았다. [51:07]

28. 물리 AI 데이터 계층과 애플리케이션 기업의 부상

• Rerun의 통합 데이터 계층은 물리 데이터의 수집부터 훈련까지 로그 기록·시각화·질의·로딩을 연결하고, Hub는 이를 대규모 클라우드 데이터 카탈로그와 백엔드로 확장한다. [52:16]
• 성과를 내는 로보틱스 애플리케이션 기업은 데이터센터·건설·창고·제조 같은 특정 영역에서 고객의 사업 문제 전체를 처음부터 끝까지 책임진다. [53:10]

29. 유료 문제부터 배포해 현실의 요구를 학습

• 단일 유료 고객 문제를 기성 하드웨어와 원격조작으로 즉시 해결해야 예측하지 못한 현장 실패와 실제 사업 요구를 빠르게 발견할 수 있고, 원격조작으로 가능한 작업은 대체로 모델 학습으로 이어갈 수 있다. [55:26]
• 종이비행기 공장 사례에서는 하루 1,000개의 완제품, 불량품 분류, 새 디자인 도입 속도가 핵심 지표가 되며, 단순한 종이 공급 트레이만으로 집기 실패를 50% 줄일 수도 있다. [55:59]

30. 초기 미세조정에서 반복 평가·데이터 디버깅으로

• 공개 모델을 몇 시간 분량의 원격조작 시연으로 조기에 미세조정하면 최소한의 학습 루프를 확보할 수 있고, 초기 훈련 결과가 이후 데이터 수집 방식과 현장 운영 설계를 바꾼다. [57:15]
• 사무실에 고객 환경의 복제본을 만들고 반복 가능한 성공 기준을 마련해야 충분히 시험할 수 있으며, 품질 기준은 현장에서 직접 수동 평가해 안정화한 뒤 자동화해야 한다. [58:37]

31. 데이터 수집과 학습을 분리할 때 생기는 실패

• 데이터를 처음에 모두 모은 뒤 나중에 학습하면 잘못된 지시와 수집 습관을 뒤늦게 발견하므로, 실제 문제를 조기에 시험하며 수집 방식을 계속 수정해야 한다. [59:16]
• 적절한 데이터 변동성과 버그 관리도 필요하지만, 기록·저장·검사·학습을 연결해 테스트와 반복 속도를 높이는 것이 우선이다. [59:32]

32. 물리 데이터에 맞는 저장 계층과 개선 기반

• 로봇 데이터는 멀티모달·다중 주기·에피소드·3차원 중첩 구조를 가지므로, 테이블 기반 데이터베이스에서는 쿼리가 어렵고 저장·처리 효율도 낮다. [1:00:59]
• 적절한 저장 계층이 없으면 팀마다 우회 처리 방식을 쌓게 되고, 이 누적된 복잡성이 데이터 활용과 모델 개선을 늦춘다. [1:01:34]

33. 모델 밖의 운영 역량이 만드는 경쟁력

• 지능 향상에는 대규모 데이터·알고리즘·촉각·깊이·소리 같은 입력 확장이 필요하고, 사업 확장에는 판매·조립·배송·개봉 경험·운영 지원까지 함께 최적화해야 한다. [1:02:20]
• 순수 모델 기업이 담당하지 않는 운영 영역이 애플리케이션 기업의 해자가 되며, 적은 자본으로도 빠르게 반복하는 팀은 이미 매출과 성장 속도를 확보하고 있다. [1:02:55]

34. 작은 자본으로 가능한 로봇 애플리케이션 사업

• 시장 규모가 크고 기반 모델도 계속 개선되는 가운데, 물리 세계의 구현 마찰은 단순 모델 호출로 대체하기 어려운 사업 가치를 만든다. [1:04:17]
• 초기 자본이 수십억 달러 규모일 필요는 없지만, 경쟁에서 이기려면 높은 수준의 AI 역량과 실제 하드웨어를 완성하는 엔지니어링 능력이 동시에 필요하다. [1:04:31]

35. 반복 가능한 현장 시장과 텔레오퍼레이션 전략

• 데이터센터·창고·탁상형 제조·식품처럼 반복 작업이 많은 시장에서는 노동력 부족과 관리 난도가 수요를 만들며, 신뢰성 있는 로봇 기업은 생산량이 수요를 따라가지 못하는 공급 제약에 놓인다. [1:05:27]
• 로봇 사업이 대규모 매출로 성장하지 못했던 원인은 수많은 작은 기술 문제와 비싼 실험 비용이며, 저렴한 로봇 팔과 향상된 기반 모델이 보급된 최근에야 초기 검증 비용이 낮아졌다. [1:06:36]

36. 월드 액션 모델의 성능과 비용 장벽

• 월드 액션 모델은 현재 카메라 관측을 조건으로 미래 프레임과 미래 운동학을 함께 예측하고, 상상한 장면을 바탕으로 이후 행동을 생성한다. [1:09:18]
• 엔비디아의 Dream Zero는 기존 최첨단 모델과 비교한 벤치마크에서 높은 성능을 보이며, 미래 장면 예측이 행동 생성에 유효한 가능성을 드러냈다. [1:09:42]

37. 플로 매칭 추론에서 발생하는 연산 병목

• 훈련에서는 현재 관측을 조건으로 미래 잠재 표현에 노이즈를 더하고, 모델이 속도장을 예측하면 ODE가 깨끗한 미래 잠재 상태를 복원한다. [1:10:47]
• 추론은 같은 복원 과정을 자기회귀적으로 50회에서 100회까지 반복할 수 있어, 정확도를 높일수록 지연 시간과 연산 비용이 급격히 증가한다. [1:11:13]

38. 전체 영상을 생성하지 않고 세계 표현을 보존하는 방법

• 미래 16프레임 전체를 생성하는 대신 마지막 시점인 T+N의 단일 프레임만 예측하면, 필요한 미래 상태를 유지하면서 영상 생성량을 줄일 수 있다. [1:12:08]
• 미래 정보가 확산 트랜스포머의 은닉 상태에 이미 담겨 있다면 디코더 없이 그 표현을 행동 헤드의 조건으로 사용할 수 있어, 훈련과 추론 양쪽에서 영상 복원 비용을 없앨 수 있다. [1:12:34]

39. 증류와 모달리티 변경을 통한 실시간 최적화

• VAE와 DiT를 각각 증류하고 영상·행동용 DiT를 분리한 뒤 교차 어텐션으로 은닉 상태를 전달하면, 미래 프레임을 디코딩하지 않고도 행동 모델이 세계 표현을 활용할 수 있다. [1:14:27]
• 50~100단계였던 자기회귀 플로 매칭 샘플링을 1~2단계로 줄이면 약 50배 속도 향상을 얻으면서 반복 추론 비용을 크게 낮출 수 있다. [1:15:09]

40. 순수 노이즈에서 미래 상태를 복원하는 과정

• 훈련 중 깨끗한 미래 잠재 표현에 노이즈를 점진적으로 추가해 최종적으로 순수 노이스로 만들면, 추론 모델은 그 경로를 역으로 따라 깨끗한 미래 상태를 복원하는 법을 학습한다. [1:17:11]
• 기존의 약 50단계 복원은 지나치게 느리므로 이를 2~3단계로 증류하며, 목표는 성능 저하 없이 추론 시간을 단축하는 것이다. [1:17:46]

41. 미래 역학을 행동으로 연결하는 구조

• VLA는 현재 관측에서 현재 행동을 직접 예측해 미래 운동학을 명시적으로 학습하지 않지만, 월드 액션 모델은 미래 영상의 픽셀 변화를 통해 물체 운동과 행동 사이의 물리적 상관관계를 학습한다. [1:18:45]
• 영상 백본과 행동 전문가를 분리하고 마지막 은닉층에서 교차 어텐션을 수행하면, 미래 프레임을 직접 복원하지 않고도 세계 표현을 보존하며 행동을 생성할 수 있다. [1:20:05]

42. 실시간 엣지 배포와 예측 길이의 제약

• 일반화 연구에 집중된 월드 모델도 결국 로봇의 엣지 장치에서 실시간으로 실행돼야 하며, 로봇 우선의 고성능 추론 인프라가 부족한 점이 별도의 사업 기회를 만든다. [1:21:54]
• 미래 청크는 보통 16프레임으로 구성하고 32프레임 이상으로 확장할 수도 있지만, 예측 구간이 길어질수록 미래 상태의 불확실성이 커져 모델 학습이 어려워진다. [1:22:41]

🧾 결론

• 범용 로봇을 막는 것은 하나의 알고리즘 부재가 아니라 데이터, 감각, 물리 모델링, 기억, 추론, 제어, 평가, 운영이 연결된 시스템 병목이다.
• 가까운 상용화 경로는 모든 가정용 작업을 한 번에 해결하는 로봇보다 반복성이 높은 산업 현장에서 유료 문제를 먼저 풀고, 원격조작과 실제 배포로 학습 데이터를 축적하는 방식에 가깝다.
• 장시간 자율성을 위해서는 과거를 모두 저장하는 메모리가 아니라 진행 상태와 실패 원인을 저비용으로 압축하고, 행동에 유용한 정보만 선택하는 메모리·추론 구조가 필요하다.
• 로보틱스가 곧 해결됐다고 판단하려면 인상적인 단기 시연보다 장시간 성공률, 분포 밖 일반화, 실패 후 회복, 기체 노후화 대응, 엣지 추론 비용을 함께 입증해야 한다.

📈 투자·시사 포인트

• 특정 산업의 업무를 처음부터 끝까지 책임지는 애플리케이션 기업은 모델 자체보다 판매·설치·원격운영·데이터 수집·현장 지원에서 방어력을 만들 수 있다.
• 로그 기록, 시각화, 질의, 학습 데이터 로딩을 연결하는 물리 AI 데이터 계층과 시뮬레이션·평가 인프라는 여러 로봇 기업이 반복해서 필요로 하는 기반 영역이다.
• 월드 액션 모델은 미래 역학을 행동과 연결하지만 현재의 GPU 요구량과 반복 추론 비용은 대규모 배포의 경제성을 제한한다. 증류, 잠재 표현 활용, 선택적 추론, 엣지 최적화가 기술성과 사업성을 가르는 핵심 지표다.
• 기업 평가에서는 데모 영상보다 유료 고객의 생산량·불량률·온보딩 시간, 텔레오퍼레이션 의존도, 실패 유형별 개선 속도, 자세 추적 오류, 하드웨어 유지비를 확인하는 편이 중요하다.

⚠️ 불확실하거나 확인이 필요한 부분

• MEM, R&B Encore, Sim-to-Real, Play to Perfect, 월드 액션 모델은 서로 다른 병목을 개선하지만, 이 요소들이 하나의 범용 로봇 시스템에서 동시에 검증됐다는 근거는 제시되지 않았다.
• 일부 메모리 정책은 수십 분 작업 성능을 제시하지만, 광범위한 자율 시연은 여전히 짧거나 통제된 환경에 머문다. 제조·방 정리·한 끼 조리 규모에서의 반복 성공률은 추가 확인이 필요하다.
• Sim-to-Real 성능은 자세 추적과 단순 형상 가정에 크게 의존하며, 전체 실패의 약 60%가 자세 추적에서 발생했다. 작은 물체의 가림, 무거운 도구, 그릇·가위·액체·지퍼·변형 물체로의 일반화는 제한적이다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 단일 유료 고객의 반복 작업을 선정하고 생산량·불량률·작업 시간·온보딩 속도를 자율화 성공 기준으로 정의한다.
• 텔레오퍼레이션 수집, 조기 미세조정, 반복 평가, 실패 유형 분석, 다음 데이터 수집을 하나의 짧은 학습 루프로 연결한다.
• 장시간 평가에 종료 조건 판단, 진행 상태 기억, 실패 후 재시도, 기체 드리프트 적응, 분포 밖 물체 대응을 포함한다.
• 모든 실행의 멀티모달 데이터와 메타데이터를 기록하고, 현장·훈련·평가 데이터를 동일한 저장 및 질의 계층에서 추적한다.

❓ 열린 질문

• 강화학습이 텍스트 스크래치패드에 보존할 정보와 버릴 정보를 스스로 선택하면서도 안정적인 장시간 기억을 만들 수 있을까?
• 텍스트 사고 사슬 없이 연속적인 내부 표현에서 체화 추론을 수행하고, 필요한 사건이 발생한 시점에만 선택적으로 활성화할 수 있을까?
• 촉각 입력과 온라인 적응은 먼지·부식·배터리 열화로 발생하는 기체 드리프트를 데이터 전면 재수집 없이 얼마나 보정할 수 있을까?