엔비디아는 왜 한국 스타트업과 ''로봇 손재주 동맹'' 맺었나? (류중희 리얼월드 대표)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

엔비디아는 리얼월드가 제안한 산업 현장의 로봇 손재주 평가 기준에 필요성을 공감해, 자사의 시뮬레이션 기술과 리얼월드의 현장 데이터를 결합하는 덱스벤치 구축에 참여했다.

📌 핵심 요점

1. 협력의 출발점은 실제 노동을 평가할 기준의 부족이다. 상자 옮기기나 집안일 중심의 기존 벤치마크만으로는 공장·물류센터·호텔에서 필요한 작업 능력을 판단하기 어렵다. 리얼월드가 먼저 문제를 제시했고 엔비디아가 필요성에 공감해 참여했다.
2. 덱스벤치는 산업 데이터와 물리 시뮬레이션을 결합한다. 엔비디아의 아이작 시뮬레이션 환경과 뉴턴 물리 엔진에 리얼월드의 산업 현장 데이터·평가 기준을 더한다. 작업 능력을 약 18개의 아토믹 스킬로 분류하고, 다양한 모델과 하드웨어를 비교할 공개 평가 환경을 지향한다.
3. 리얼월드는 여러 몸체에 적용할 로봇 AI에 집중한다. 리얼덱스원은 특정 로봇에 종속되지 않는 파운데이션 모델을 지향한다. 설계가 다른 알렉스와 RBY1을 함께 활용하는 것도 하나의 모델이 다양한 하드웨어에서 작동하는지 검증하기 위해서다.
4. 실제 작업에는 추론과 빠른 제어의 결합이 필요하다. 물체에 접근하는 계획은 대형 모델이 맡더라도, 미끄러지는 물체를 잡는 힘은 내부 피드백 루프로 조절해야 한다. 수십·수백 밀리초의 반응 속도와 로봇 손의 힘·내구성이 함께 뒷받침돼야 한다.
5. 도입의 기준은 특정 작업에서의 실용성이다. 리얼월드는 2028년 수백~수천 대 규모의 현장 도입 시장을 예상하며 개발하고 있다. 모든 노동을 수행하지 못하더라도 특정 핵심 기술에서 사람을 앞서면 해당 작업 현장에 투입할 수 있다는 판단이다.

🧩 배경과 문제 정의

• 기존 자동화가 처리하지 못한 산업 현장 노동에는 높은 수준의 판단력과 손재주가 필요하다. 리얼월드는 로봇 하드웨어를 직접 만들기보다 다양한 로봇을 제어하는 AI에 집중한다.
• 기존 로봇 벤치마크는 물체 옮기기나 집안일 중심이어서 공장·물류센터·호텔 등 실제 작업 현장에서의 성능을 판단하기 어렵다. 산업에 필요한 손재주의 정의와 평가 기준도 부족하다.
• 로봇이 실제로 일하려면 상위 추론, 물체 조작, 빠른 피드백 제어가 함께 작동해야 한다. 하드웨어의 한계와 시뮬레이션·현실 간 차이까지 해결해야 하지만 최적의 시스템 구성은 아직 정해지지 않았다.

🕒 시간순 섹션별 상세정리

1. 리얼덱스원은 다양한 로봇을 제어하는 파운데이션 모델이다

• 리얼월드는 하드웨어를 제작하지 않고 로봇을 동작시키는 AI를 제공한다. 특정 기종에 종속되지 않는 구조를 지향하므로 여러 로봇·휴머노이드 제조사와 협력할 수 있다. [02:23]
• 로봇 벤치마크는 주어진 공간에서 작업을 성공했는지 평가한다. 물리적 시험 공간의 편차를 줄이기 위해 주로 시뮬레이션을 사용하며, 리얼덱스원은 약 여덟 종류의 벤치마크에서 다른 오픈소스 모델보다 높은 성능을 냈다. [03:16]

2. 실제 노동을 평가하려면 손재주의 분류부터 필요하다

• 기존 연구용 벤치마크는 환경을 사실적으로 구현하는 데 집중했지만, 작업은 단순한 상자 이동이나 집안일에 머물렀다. 집안일 성능만으로 공장·물류센터·호텔에서의 업무 능력을 판단할 수는 없다. [03:55]
• 산업 현장에 투입할 만큼 충분한 손재주가 무엇인지 공학적 정의가 없었다. 리얼월드는 실제 작업 현장에서 수집하는 데이터를 분석해 노동의 공통 요소를 분류한 체계를 공개했다. [04:58]

3. 덱스벤치는 산업 데이터와 물리 시뮬레이션을 결합한다

• 물체를 잡는 성공률은 표면의 미끄러움, 투명성, 무게 등에 영향을 받는다. 물성과 상호작용을 제대로 재현하지 못하면 시뮬레이션의 평가 가치도 떨어진다. [06:01]
• 덱스벤치는 엔비디아의 아이작 시뮬레이션 환경과 뉴턴 물리 엔진 위에 리얼월드의 산업 현장 데이터와 모델 평가 기준을 결합한 환경이다. 인터뷰 시점에는 곧 공개할 예정이었다. [06:32]

4. 산업적 가치는 달리기보다 인간 수준의 손재주에 있다

• 자동차가 있는 상황에서 로봇의 마라톤이나 달리기는 산업적 의미가 크지 않다는 판단이다. 손재주는 사람이 수행하던 노동을 대체할 수 있다는 점에서 중요하다. [07:39]
• 한국처럼 자동화 수준이 높은 국가에서도 노동의 약 50%는 사람이 맡고 있다는 진단이다. 기존 기계가 처리하지 못한 판단력·지능·손재주가 결합된 작업을 대체하려면 인간 수준의 조작 능력이 필요하다. [08:22]

5. 다양한 작업 현장에는 서로 다른 하드웨어가 필요하다

• 좋은 모델도 로봇 손 자체의 성능이 부족하면 물체를 잡을 수 없다. 하드웨어와 소프트웨어가 함께 발전해야 하지만, 스타트업이 둘 다 잘하기는 어려워 리얼월드는 소프트웨어에 집중한다. [08:55]
• 단일 로봇과 AI를 함께 개발하면 지원해야 할 기종이 적어 개발이 수월할 수 있다. 그러나 당분간 기업 중심일 로봇 시장에서는 고객마다 작업 조건이 다르다는 문제가 남는다. [09:58]

6. 로봇 간 동작 전이는 다국어 모델과 유사한 원리를 지향한다

• 언어모델이 여러 언어의 데이터를 학습해 언어를 넘나들듯, 특정 로봇 하드웨어의 데이터가 임계 수준 이상 확보되면 다른 로봇으로 학습한 동작도 수행하게 할 수 있다는 접근이다. [11:27]
• 지식을 특정 언어에만 묶어 저장하지 않고 여러 언어로 표현하듯, 로봇의 동작 지식도 특정 몸체에만 종속되지 않도록 구현하는 것이 핵심이다. [11:49]

7. 물체 접근과 실제 파지는 서로 다른 제어가 필요하다

• 상위 계획과 국소적인 감각·피드백 제어를 어디에서 나눌지는 작업마다 다르며, 많은 실험이 필요하다. 컵에 손을 가까이 가져가는 동작은 비전·언어·행동 모델이 처리할 수 있다. [12:41]
• 미끄럽고 무거운 컵을 어느 정도 힘으로 잡아야 하는지는 확률적 모델만으로 해결하기 어렵다. 접근은 대형 모델이 맡고 실제 파지는 내부 피드백 루프로 제어하는 혼합 구조가 더 잘 작동한다. [13:03]

8. 로봇 AI에는 수십·수백 밀리초의 시간 제약이 있다

• 로봇 파운데이션 모델도 여러 모델과 에이전트를 조합하는 방향으로 진화하고 있다. 다만 언어모델과 달리 물리적 행동에는 긴 추론 시간을 허용하기 어렵다. [14:18]
• 물체가 미끄러지지 않도록 자세를 보정하려면 수십·수백 밀리초 안에 반응해야 한다. 한 번 판단하는 데 1초씩 걸리면 물체를 놓칠 수 있어 실시간성이 핵심 제약이 된다. [14:50]

9. 책상 정리는 추론부터 동작 확인까지 이어지는 문제다

• “책상을 치워라”라는 지시를 수행하려면 쓰레기와 보관할 물건을 구분하고, 각 물체를 어디로 옮겨야 정리가 되는지 판단해야 한다. 이후 실제로 잡고 옮기는 손재주가 필요하다. [16:29]
• 상위 추론, 세부 계획, 동작 생성, 수행 결과 확인이 하나의 루프로 연결돼야 한다. 리얼덱스원 같은 VLA가 벤치마크에서 좋은 성능을 냈다고 로봇이 모든 지시를 수행할 수 있는 것은 아니다. [16:57]

10. 로봇 손은 자유도·힘·내구성을 동시에 확보해야 한다

• 손은 사물과 직접 접촉하는 핵심 부위다. 손의 목표 위치를 정하면 팔은 역기구학으로 따라가게 할 수 있으며, 사람의 일을 대부분 수행하려면 로봇 손에 약 20~22자유도가 필요하다는 판단이다. 자유도는 단순한 관절 수가 아니라 능동적으로 움직일 수 있는 관절의 수를 뜻한다. [19:09]
• 직결형 손은 관절마다 모터와 기어박스를 넣는다. 작은 공간에 들어갈 만큼 소형이면서 힘과 내구성도 높은 부품을 만드는 것이 과제이며, 최근 중국산 로봇 손들은 주로 이 방향을 택하고 있다. [19:54]

11. 알렉스 협력은 처음부터 다섯 손가락을 연구하기 위한 선택이었다

• 리얼월드는 힘줄 기반 휴머노이드 알렉스를 사용하며, 당시 전 세계 다섯 대 중 세 대를 실험실에 보유하고 있었다. 직접 사용한 경험에서도 힘줄 방식은 장점이 크지만 공학적으로 해결할 과제가 많이 남아 있다는 평가다. [21:45]
• 창업 준비 과정에서 산업 노동에는 사람과 같은 손재주가 필요하다고 판단해 집게손을 거쳐 가지 않고 처음부터 다섯 손가락을 연구하기로 했다. 적합한 하드웨어가 부족하던 시기에 위로보틱스에 연구비를 지원하며 알렉스 개발에 협력했다. [22:36]

12. 시뮬레이션 성공은 실제 로봇 검증을 대신하지 못한다

• 시뮬레이션과 현실의 차이인 ‘심투리얼 갭’을 줄이기는 매우 어렵다. 시뮬레이션은 가능성을 확인하는 중간 단계이며, 실제로 물체를 들고 잡을 수 있는지는 현실에서 시험해야 한다. [23:21]
• 이를 위해 시뮬레이션 엔지니어, 로봇 정비·운용 인력, 대형 모델 연구자, 데이터 수집 인력, 하드웨어별 제어 개발자가 함께 필요하다. 소프트웨어만 제공하는 회사도 제어부터 모델·에이전트 계층까지 해결할 일이 많다. [24:04]

13. 설계가 다른 두 로봇으로 하나의 모델을 검증한다

• 알렉스는 성능이 뛰어나지만 수량이 적어 연구자마다 배정하기 어렵다. 리얼월드는 내구성과 명령한 동작을 정확히 재현하는 성능이 좋은 레인보우로보틱스의 RBY1도 적극 활용한다. [24:47]
• 알렉스는 사람을 닮은 설계이고 RBY1은 산업용 로봇에 가까운 설계다. 서로 다른 두 몸체가 하나의 모델로 동작하는 장면을 함께 보여주는 것은 하드웨어 범용성을 입증하기 위한 선택이다. [25:17]

14. 새로운 손을 직접 시험하고 정보를 공개한다

• 리얼월드는 새 하드웨어의 특성을 빠르게 파악하고, 자체 소프트웨어 규격에 맞으면 거의 모든 종류를 지원할 체계를 갖췄다고 한다. 새로 나오는 중국산 손도 구매해 제어 성능을 시험하고 있다. [25:55]
• 로봇 손은 가격이 내려왔어도 수천만 원대이며, 비싼 제품은 여전히 1억 원을 넘는다. 연구실의 구매·경험 기회가 제한되는 문제를 줄이기 위해 직접 시험한 하드웨어 정보를 ‘올 핸즈업’ 사이트에 공개했다. [26:29]

15. 한국을 하드웨어와 AI가 만나는 시험대로 삼는다

• 중국은 로봇 하드웨어, 미국은 로봇 파운데이션 모델에 강점이 있다는 평가다. 그러나 미·중 분리 심화로 연구자들이 서로의 기술을 접하고 함께 실험할 기회가 줄고 있다. [27:16]
• 한국은 양쪽의 최신 기술을 결합할 시험대가 될 수 있다는 구상이다. 국내 로봇 기업과의 협력, 올 핸즈업의 정보 공개, 원하는 환경과 로봇을 골라 모델을 시험할 수 있는 덱스벤치가 이를 위한 수단이다. [27:58]

16. 공개 벤치마크는 순위의 한계를 드러내고 개선 방향을 만든다

• 덱스벤치는 이용자의 데이터를 얻기 위한 목적으로 만든 환경은 아니다. 여덟 개 벤치마크에서 이겼다는 사실만으로 세계 1등이라고 할 수 없다는 비판을 인정하면서, 실제 산업 작업을 평가할 더 나은 기준이 필요했다는 입장이다. [28:33]
• 엔비디아·리얼월드·다른 회사의 모델을 같은 환경에서 시험하고 있으며, 리얼월드가 모든 환경에서 1등인 것은 아니다. 물류센터에서는 앞서지만 공장에서는 뒤처지는 식의 결과가 나온다면 다음 모델의 개선 방향으로 삼을 수 있다. [29:04]

17. 한국 기업이 새로운 기술의 문제 정의를 주도하려 한다

• 류 대표는 한국 기술 기업이 세계를 상대로 새로운 문제를 제시한 사례가 많지 않다고 본다. HBM은 한국이 개념과 방향을 주도한 성과로 평가하고, D램은 해외에서 정립한 개념과 기술을 따라가며 격차를 줄인 경로로 대비한다. [29:49]
• 기존 기준을 따라잡는 데서 더 나아가, 새로운 개념이 형성될 때 먼저 방향을 제시하는 일을 하고 싶다는 지향이다. 투자자로 활동할 때부터도 이런 역할에 대한 갈증이 있었다. [29:59]

18. 공개 벤치마크로 생태계를 이끌고 로봇 손의 설계를 검증한다

• 덱스벤치는 산업 현장에서 바로 쓸 만한 평가 기준을 시뮬레이터로 구현해 공개하려는 구상이다. 공개 경쟁을 통해 생태계가 문제를 함께 발견하고 리얼월드도 그 결과를 배우는 구조이며, 리얼월드가 먼저 주도한 뒤 엔비디아가 필요성에 공감해 참여했다. [30:51]
• 손가락이 다섯 개여야 한다는 전제 대신, 실제 작업을 재현한 시뮬레이터에서 세 개·네 개·다섯 개의 성공률을 비교하려 한다. 보스턴 다이나믹스가 세 손가락으로 사람의 일을 할 수 있다고 설명했다가 1년 만에 네 손가락 손을 발표한 사례도, 작업별 성능 검증이 필요하다는 근거로 든다. [31:58]

19. 사람을 닮은 휴머노이드는 로봇 진화의 출발점이다

• 실험으로 유력한 하드웨어 형태와 AI 구조를 찾아도 개발에 완성은 없다고 본다. 목표가 사람보다 뛰어난 로봇이라면 사람의 동작을 모사하는 데 머물 수 없고, 요구되는 작업도 계속 진화하기 때문이다. 팔 20개와 손가락 400개를 가진 로봇도 미래의 가상적인 가능성으로 제시한다. [33:28]
• 사람을 초월하는 지능인 ASI의 단계에서는 사람이 그 능력을 정의하기 어렵고, AI가 AI와 로봇 하드웨어를 설계하게 될 것이라고 전망한다. [33:53]

20. 2028년 대규모 현장 도입을 겨냥해 작업 능력을 하나씩 확보한다

• 완벽한 휴머노이드의 완성 시점보다 산업 현장에서 쓸 수 있는 수준을 실용적 기준으로 삼는다. 리얼월드는 현장에 수백~수천 대를 투입하는 시장이 2028년에 형성될 것으로 보고, 그 시점에서 역산해 개발하고 있다. [34:52]
• 모든 사람의 일을 대체하지 못해도 특정 작업에서 사람보다 뛰어나면 그 작업이 중요한 공장에 투입할 수 있다. 구체적인 작업은 아직 공개하지 않았지만 이미 그런 사례가 나오고 있다고 하며, 덱스벤치에서는 작업 능력을 약 18개의 기본 기술인 ‘아토믹 스킬’로 분류했다. [35:14]

🧾 결론

• 이번 협력의 핵심은 산업 노동에 필요한 손재주를 정의하고, 같은 조건에서 비교할 평가 환경을 만드는 데 있다.
• 벤치마크 성적은 작업별 강점과 약점을 찾는 수단이다. 일부 평가에서 앞섰다는 사실만으로 세계 최고 수준이나 모든 지시의 수행 능력을 입증할 수는 없다.
• 현장 투입 가능성은 모델·제어·하드웨어의 결합으로 결정된다. 시뮬레이션 평가 뒤에도 실제 로봇으로 작업 성공 여부를 검증해야 한다.
• 리얼월드는 한국에서 다양한 하드웨어와 AI를 결합해 시험하고, 공개 평가와 정보 공유를 통해 생태계의 문제 정의를 주도하려 한다.

📈 투자·시사 포인트

• 평가 기준을 만드는 역량: 덱스벤치가 실제 산업 작업을 얼마나 잘 반영하고 외부 모델·하드웨어의 참여를 이끌어내는지가 관전 포인트다. 공개 평가를 주도하는 일이 모델 개선으로 이어지는지도 살펴볼 필요가 있다.
• 작업별 도입 가능성: 범용 휴머노이드의 완성 여부보다 어떤 작업에서 사람을 넘어서는지, 그 능력이 실제 공장에서 검증되는지가 사업화 판단에 더 직접적인 정보가 된다.
• 하드웨어와 제어의 병목: 모델 성능과 함께 손의 힘·내구성·가격, 제어 지연을 확인해야 한다. 인터뷰에서 언급된 수천만 원대에서 1억 원을 넘는 로봇 손 가격도 도입 조건을 판단할 요소다.
• 한국의 시험대 구상: 중국 하드웨어와 미국 로봇 AI를 결합해 실험할 수 있다는 구상은 국내 협력 생태계의 기회다. 실제 참여 범위와 현장 검증 성과를 통해 구체화 여부를 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 덱스벤치는 인터뷰 시점에 공개 예정이었다. 현재 공개 여부, 이용 조건, 지원 로봇과 평가 항목은 제공된 자료만으로 확인할 수 없다.
• 약 여덟 종류의 벤치마크에서 다른 오픈소스 모델보다 앞섰다는 설명에는 구체적인 점수·비교 조건이 제시되지 않았다. 리얼월드도 모든 평가 환경에서 1등인 것은 아니라고 설명한다.
• 시뮬레이션이 물체의 미끄러움·투명성·무게를 충분히 재현하는지와 평가 결과가 현실의 작업 성공으로 이어지는지는 별도 검증이 필요하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 덱스벤치의 공개 여부와 문서를 확인하고, 약 18개 아토믹 스킬의 정의·평가 방식·지원 하드웨어를 정리한다.
• 리얼덱스원의 비교 대상, 작업별 성공률, 시험 조건을 확인해 강점과 실패 유형을 구분한다.
• 동일한 작업의 시뮬레이션 결과와 실제 로봇 결과를 비교하고, 물성 변화나 하드웨어 차이에 따른 성능 저하를 확인한다.
• 도입을 검토하는 현장의 핵심 작업을 선정하고, 필요한 손재주·반응 속도·힘·내구성·하드웨어 가격을 점검한다.

❓ 열린 질문

• 덱스벤치의 작업별 점수는 실제 산업 현장의 작업 성공률을 얼마나 잘 예측할 수 있을까?
• 서로 다른 로봇으로 동작 지식을 전이하려면 하드웨어별로 어느 정도의 데이터와 제어 개발이 필요할까?
• 상위 추론과 빠른 피드백 제어의 역할을 어떻게 나눠야 작업별 성능과 실시간성을 함께 확보할 수 있을까?