Inside the Robot Data Factory: Mecka''s Josh Gao on Sensorizing Humans to Train Robots

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Mecka는 사람에게 카메라와 센서를 착용시켜 작업 경험을 수집하고, 이를 로봇 학습에 쓸 수 있는 데이터로 만드는 공장을 구축하고 있다.

📌 핵심 요점

1. 로봇 학습에는 영상뿐 아니라 행동·논리·힘 정보가 필요하다. Mecka는 사람용 센서, 기여자·사업장 모집, 후처리와 품질 검증을 연결해 학습용 데이터를 공급한다.
2. 인간의 1인칭 데이터는 원격조작의 수집 규모 한계를 보완하는 접근이다. 개인의 일상 작업과 제과점·PCB 제조 라인 등 사업장 작업을 함께 확보해 환경과 행동의 다양성을 넓힌다.
3. 영상만으로 실제 힘을 측정하기는 어렵다. Mecka는 촉각 장갑과 착용형 카메라·센서를 개발하며, 장비 제조부터 배포·업로드·컴퓨터 비전 처리까지 운영한다.
4. 데이터의 가치는 수집 시간만으로 결정되지 않는다. 반복 작업의 다양성 부족, 부정 제출, 새로운 예외 상황에 대응하는 품질 검증과 보상 구조가 사업 경쟁력을 좌우한다.
5. Gao는 상용화가 작업별로 점진적으로 진행될 것으로 본다. 범용 학습에 현장별 사후학습과 배포 이후의 실패·교정 데이터를 더하고, 장기적으로 데이터 공급과 기업 도입 지원을 연결하려 한다.

🧩 배경과 문제 정의

• 로봇 학습에는 영상뿐 아니라 행동과 논리를 담은 데이터가 필요하지만, 인터넷 말뭉치처럼 바로 활용할 수 있는 대규모 정제 데이터가 부족하다.
• Mecka는 사람에게 카메라와 센서를 장착해 물리적 작업 데이터를 수집하고, 후처리와 품질 검증을 거쳐 로봇 기반 모델 학습용으로 공급한다.
• 핵심 과제는 수집량 확대와 함께 작업·환경의 다양성, 힘과 접촉 정보, 부정 제출 방지를 확보하면서 데이터 생산의 경제성을 만드는 것이다.
• 로봇의 상용화는 작업별로 점진적으로 진행될 전망이다. 현장에 필요한 신뢰성을 확보하려면 범용 학습 데이터에 특정 환경·작업 데이터와 배포 이후의 실패·교정 데이터를 결합해야 한다.

🕒 시간순 섹션별 상세정리

1. 로봇 데이터의 부족과 단계적 사업화의 경제성

• 로봇 학습 데이터의 핵심 구성은 픽셀·행동·논리다. Mecka는 사람용 센서와 웨어러블 개발, 기여자·사업장 모집, 후처리와 품질 검증을 연결해 학습 가능한 데이터셋을 만든다. [02:04]
• 로봇 학습도 기존 인터넷 데이터와 언어·월드 모델 연구를 활용할 수 있어 완전히 처음부터 시작하는 것은 아니다. 다만 연구소의 웹 수집이 중심이었던 언어 모델과 달리, 로봇 분야에서는 사전학습 데이터 자체가 큰 시장을 형성하고 있다는 진단이다. [03:08]

2. ‘탄소 생명체를 가르친다’는 비전의 의미

• 로봇과 AI가 인간의 작업을 모두 해결한 뒤에는 유기체와 생물학이 마지막 개척지가 될 수 있다는 공상과학적 상상이 Mecka의 표현에 담겨 있다. 아시모프, 『엔더의 게임』, 『은하수를 여행하는 히치하이커를 위한 안내서』가 그 배경으로 연결된다. [04:33]
• 인간의 뇌가 20와트로 작동하고 몸이 스스로 치유한다는 특성은 생물학적 지능의 효율성을 보여주는 사례다. Mecka는 로봇의 일반화 과정에서 이런 인간의 특성과 물리적 경험을 학습시키려 한다. [05:05]

3. 비전공 창업팀이 데이터 사업의 기회를 찾은 과정

• Gao는 클라우드 키친용 주문 관리와 식당 키오스크 설치 사업을 했고, 공동창업자는 코인베이스에 매각된 스테이블코인 사업을 만들었다. 두 사람은 캐나다 출신이라는 공통점과 공상과학에 대한 관심을 바탕으로 로봇 분야에 진입했다. [05:37]
• 로봇 분야의 배경지식이 부족했던 만큼 수백 명의 관계자에게 연락하고 논문과 연구실을 조사했다. 2024년 말 무렵 전통적 로봇 기술에서 변화가 진행되는 모습을 보며 데이터와 연산의 중요성이 커질 것으로 판단했다. [07:01]

4. 원격조작의 확장 한계를 보완하는 1인칭 인간 데이터

• 에고센트릭 데이터는 사람이 작업하는 모습을 당사자의 1인칭 시점에서 기록한 영상이다. 로봇도 자기 시점에서 세상을 인식하므로, 인간의 1인칭 상호작용을 통해 인간 데이터와 로봇 데이터 사이의 시각적 차이를 줄이려는 접근이다. [08:48]
• 당시 주된 수집 방식이었던 원격조작은 사람이 로봇을 직접 조종해 시범을 만드는 방식으로, 대규모 확장이 어려웠다. Mecka는 인간과 휴머노이드의 유사성을 활용해 사람들을 분산된 학습 데이터 수집망으로 연결하려 했다. [09:12]

5. 영상만으로 부족한 힘 정보를 장갑으로 수집

• 손목 카메라로 손과 물체가 접촉하는 시점을 관찰하는 방식은 힘 정보를 보완하는 수단이지만, 의자를 당기거나 병뚜껑을 돌릴 때 필요한 힘을 직접 측정하는 데에는 한계가 있다. [11:02]
• Gao는 힘 데이터가 매우 중요하다고 보고, 로봇 기반 모델 연구소들과 협력하며 사람이 착용하는 장갑을 개발하고 있다. 목표는 일상과 다양한 작업에서 실제로 얼마나 힘을 쓰는지 수집하는 것이다. [11:27]

6. 개인 참여와 사업장 제휴를 결합한 수집망

• 개인 기여자는 모바일 앱으로 참여하고 직업을 등록한 뒤 침실 청소, 아침 식사 준비, 식후 정리 같은 작업을 받을 수 있다. 이 방식은 사전학습 데이터의 다양성을 비교적 가볍게 확보하는 경로다. [12:25]
• 가정 밖의 물리적 작업을 확보하려면 별도의 기업 모집 역량이 필요하다. Mecka는 제과점과 PCB 제조 라인처럼 서로 다른 업종의 사업장을 연결해 수집 범위를 넓힌다. [12:54]

7. 데이터 공장을 좌우하는 하드웨어·물류·처리 역량

• 일상에서 가하는 힘을 안정적으로 측정하고 로봇 학습용 데이터셋으로 변환하는 촉각 장갑은 기성품 구매만으로 해결하기 어렵다. Mecka는 직접 하드웨어를 설계·생산하고 여러 차례 제품 개발 주기를 거쳐 유용성을 검증해야 했다. [13:29]
• 장비를 수천 곳의 가정과 사업장에 배포한 뒤 데이터를 수집·업로드하고, 품질 검증과 컴퓨터 비전 처리를 수행해야 한다. 따라서 데이터 공장의 운영에는 제조와 물류, 업로드 기반시설, 소프트웨어가 함께 필요하다. [14:14]

8. 반복 수집의 포화와 계속 바뀌는 품질 기준

• 대형 창고에서 같은 작업을 반복하는 원격조작 데이터 공장은 수집량을 늘릴 수 있지만, 다양성이 충분하지 않으면 추가 데이터의 효용이 포화될 수 있다. Gao는 이를 기존 대규모 수집에서 얻은 교훈으로 본다. [15:46]
• 현실에서는 새로운 예외 상황이 계속 나타나므로 품질 기준도 고정되지 않는다. 처리 단계의 탐지 규칙과 신속한 문제 대응 체계를 만들고, 새롭게 확인한 품질·다양성 문제에 맞춰 수집·처리 시스템을 바꿔야 한다. [16:13]

9. 데이터 중개 수익성을 지키는 품질과 제품 고도화

• 기여자에게 지급하는 비용은 데이터를 유용하게 만드는 전체 비용 중 가장 큰 요소가 아니라는 설명이다. 대규모에서도 품질을 검증할 수 있는 하드웨어·운영·소프트웨어 역량이 차별화의 기반이 된다. [18:05]
• 에고센트릭 데이터는 여러 데이터 상품 중 하나이며, 모델의 요구에 따라 상품 구성도 달라질 수 있다. 일반 식당에서 미쉐린 식당으로, 평균적인 테니스 선수에서 페더러에 가까운 숙련도로 수집 대상을 높이는 것은 향후 고도화의 예시다. [18:33]

10. 수백만 시간으로 커졌지만 여전히 부족한 데이터

• Gao는 관련 데이터가 수백만 시간 규모에 진입했다고 본다. 약 2년 전 4,000시간 규모의 Ego4D와 비교하면 큰 증가지만, 필요한 최종 규모와는 여전히 여러 자릿수의 차이가 있다는 판단이다. [19:30]
• 비교 사례인 테슬라는 가속과 방향이라는 두 자유도의 문제를 10년 넘게 다뤘고, 수백만 대의 차량에서 훨씬 많은 영상을 확보했다. 진행자는 손에만 수십 자유도가 있는 로봇에 힘 정보까지 필요하다는 점에서 데이터 비용을 감당할 수 있을지 의문을 제기한다. [19:46]

11. 범용성 위에 현장 데이터를 더하는 점진적 상용화

• Gao는 로봇의 성공을 한 번에 달성하는 이분법적 사건으로 보지 않는다. 기초 데이터에서 일반화와 규모 확대의 효과를 확인하고, 해결 가능한 상업적 작업을 조금씩 늘려가는 경로를 예상한다. [20:57]
• 범용 학습만으로 부족한 부분은 해당 도메인·작업의 데이터를 수집해 사후학습으로 보완한다. 특정 방과 특정 작업 시범의 데이터를 활용해 실제 환경에서 요구되는 ‘포 나인’ 수준의 신뢰성에 접근하는 방식이다. [21:23]

12. 가정보다 제약된 작업이 먼저 상용화될 가능성

• 가정 영상은 수집하기 쉽지만 가정용 로봇의 배포는 특히 신중해야 한다. 아기에게 로봇이 넘어지는 상황 같은 위험을 다뤄야 하며, 이를 평가할 벤치마크와 평가 체계도 성숙하기 시작한 단계다. [22:02]
• 초기에는 목표가 명확하고 기존 표준작업절차가 있어 성능을 개선하기 쉬운 작업이 유리하다는 판단이다. 빨래 개기는 그 예시이며, Gao는 이를 해결하기 위해 1년 반 이상 노력했고 가까운 시일 내 해결될 것으로 전망한다. [22:48]

13. 이미 배포된 서비스 로봇에서 조작 작업으로 확장

• 유용한 로봇은 휴머노이드 이외의 여러 형태로 이미 존재한다. 중국과 동남아시아의 호텔에서는 청소와 서비스, 프런트에서 객실 문까지의 배달을 수행하는 로봇이 운영되고 있다. [23:36]
• 이런 로봇은 세계 여러 지역에 배포돼 있으며 미국과 북미에서는 보급이 확산되기 시작했다. Gao는 산업용 청소 로봇 등에서 출발해 초기 조작 작업으로 기능을 늘리고, 장기적으로 다양한 작업을 바로 수행하는 휴머노이드에 접근할 것으로 본다. [24:14]

14. 배포 데이터의 선순환과 Mecka의 역할 변화

• 상업적 작업을 하나씩 해결하면 실제 배포 환경에서 실패 사례와 교정 데이터를 얻을 수 있다. 이 데이터가 로봇 학습의 선순환을 시작하는 데 중요하지만, 실현 시점은 작업과 도메인별 해결 수준에 달려 있으며 아직 시간이 필요하다는 판단이다. [25:00]
• Mecka는 에고센트릭 데이터에만 한정하지 않고 여러 종류의 데이터를 공급하려 한다. 고숙련 작업이나 로봇이 아직 경험하지 못한 현실의 예외 상황은 앞으로도 학습시킬 내용으로 남을 수 있다. [25:39]

15. 수직 통합 기업과 학습을 지원하는 시스템 통합 업체의 공존

• Gao는 특정 작업에 맞춰 하드웨어·모델·데이터를 모두 만드는 수직 통합 기업과, 다양한 하드웨어 및 개방형 모델이 공존하는 수평적 생태계가 함께 성장할 것으로 본다. [27:22]
• 새로운 시스템 통합 업체는 제품 설치 이후에도 데이터를 활용해 로봇의 생산성을 높일 수 있다. 설치한 로봇이 며칠 전에는 못 하던 작업을 수행하도록 개선하면서 고객 사업의 작업 범위를 넓히는 것이 목표다. [27:48]

16. 초기 유망 분야와 인간이 수행하기 어려운 작업

• 초기에는 작업 범위가 제한되고 기존 로봇 활용 경험이 있는 산업용 로봇이 유망하다는 판단이다. 데이터센터 유지보수가 예시로 등장하며, 가정과 달리 갑자기 아기가 나타나는 상황까지 고려할 필요가 적다는 환경적 이점이 있다. [28:31]
• 호텔 프런트에서 객실까지 물건을 배달하고 조작 기능으로 전달하는 방식도 초기 실현 가능한 분야로 꼽힌다. [29:03]

17. 모바일 수집의 한계를 보완하는 착용형 센서

• 모바일 앱은 데이터 수집을 빠르게 확장하는 데 유리했지만, 주변 세계에 관한 풍부한 정보를 확보하기에는 부족했다. 이를 보완하기 위해 사람에게 카메라와 센서를 착용시키는 방식으로 수집 장치를 발전시켰다. [30:06]
• 카메라·센서가 달린 야구모자와 중앙 허브를 만들고, 촉각 장갑과 외부 카메라 등 여러 액세서리를 연결한다. 일상에서 사람이 세계와 상호작용하는 방식을 기록하고, 궁극적으로 그 행동을 복제하는 것이 목표다. [30:31]

18. Egoverse를 통한 데이터와 수집 도구의 공동 활용

• Egoverse는 사람의 일인칭 데이터를 대규모로 확보하는 일이 로봇 학습에 중요하다고 보는 연구자들의 협력체다. 메카는 초기 기여자로 참여해 여러 사업장·산업·가정 환경에서 수집한 일인칭 데이터를 제공했다. [30:56]
• 행동 궤적뿐 아니라 후처리, 컴퓨터 비전 처리, 품질 검증 과정과 플랫폼·웹 도구, 데이터 로딩 인프라도 공유했다. 산업 전체가 아직 갈 길이 멀다는 인식 아래 데이터와 도구, 경험을 함께 활용하려는 취지다. [31:29]

19. 단일 데이터 방식에서 여러 유형을 섞는 학습으로의 수렴

• 과거에는 특정 수집 방식이나 일인칭 데이터만 효과가 있다는 주장이 있었지만, 점차 여러 유형이 함께 필요하다는 방향으로 의견이 모이고 있다. 각 데이터는 학습 과정의 서로 다른 지점에서 중요한 역할을 할 수 있다. [32:32]
• 현재 관찰되는 조합은 일인칭 데이터를 비롯한 여러 모달리티의 인간 데이터 약 100만 시간, 수만 시간 규모의 추가 데이터, 마지막 단계의 원격조작 데이터다. 실제 적용 영역과 같은 분포에서 얻은 시연은 몇 시간만으로도 활용될 수 있다는 설명이다. [32:54]

20. 행동 모방에서 자기대국으로 나아가기 위한 세계 시뮬레이터

• 테니스 영상을 수백만 시간 보더라도 최고 선수를 이길 수는 없다는 반론에 대해, 알파고의 발전 과정을 비유로 든다. 전문가의 행동을 대규모로 모방한 뒤 규칙 안에서 자기대국을 수행하는 과정이 인간의 기존 선택을 넘어서는 수를 가능하게 했다는 설명이다. [33:53]
• 바둑과 달리 로봇이 활동하는 물리적 세계는 매우 복잡하며, 이를 충분히 재현하는 시뮬레이터는 아직 없다. 일인칭 데이터는 기본적인 물리와 행동 모방을 학습시키는 동시에 미래의 세계 시뮬레이터를 만드는 데도 기여할 수 있다. 자기대국은 현실과 시뮬레이션을 함께 활용하는 형태가 될 것으로 본다. [34:53]

21. 데이터 확장으로 해결할 업무와 범용 로봇에 필요한 추가 감각

• 현재의 데이터 비율을 유지하면서 규모를 크게 늘리면 여러 과제를 해결할 수 있다고 본다. 특히 환경이 제한되어 있거나 명확한 표준작업절차가 있는 사업장 업무가 유력한 대상이다. [37:20]
• 투입 즉시 어떤 과제든 이해하고, 날씨를 비롯한 현실의 복잡성까지 다루는 로봇은 여전히 멀리 있다고 판단한다. 현재의 데이터 조합이 그러한 범용 로봇의 최종 형태라고 보지는 않는다. [37:42]

22. 범용 기반모델의 일반화와 전문 로봇 모델의 신뢰성

• 대형 연구소는 불완전한 정보 속에서도 데이터 규모를 키우는 결정을 일찍 내릴 수 있는 조직적 성향을 갖췄다고 평가한다. 로봇 데이터를 대형 언어모델과 기반모델의 사전학습에 포함하면서 여러 영역으로 일반화할 가능성이 커지고 있다고 본다. [39:17]
• 힘과 행동 궤적 등 다양한 관측을 받아들이는 옴니 모델의 가능성과 함께, 특정 분야에 집중하는 모델의 필요성도 인정한다. 범용 모델이 많은 일을 잘하게 되더라도, 전문 로봇 기반모델은 특정 과제에서 ‘포 나인’ 수준의 능력과 신뢰성을 지향할 수 있다는 전망이다. [39:51]

23. 기이한 형태의 로봇과 인구를 넘어서는 보급 규모에 대한 상상

• 가와사키 코를레오처럼 말·개·표범을 연상시키는 기이한 로봇은 미래의 다양한 형태를 상상하게 하는 사례다. 사람과 닮은 형태에만 머무르지 않고, 아직 떠올리지 못한 일을 수행하는 독특한 로봇들이 등장하기를 기대한다. [42:03]
• 10년 또는 그보다 긴 미래에는 로봇이 사람보다 몇 자릿수나 많아질 것이라는 낙관적인 전망을 내놓는다. 대화에서 제시된 1,000억 대에 대해서도 그보다 더 큰 규모를 상상하지만, 구체적인 보급 근거나 확정된 예측을 제시하지는 않는다. [42:39]

24. 코를레오 선물로 이어지는 로봇 문화와 미래상

• 메카 피규어와 스티커 시리즈를 만들 구상이 있으며, 거대한 로봇과 인간 조종사 같은 소재가 나온다. 로봇에 대한 관심이 데이터 사업뿐 아니라 캐릭터와 기념품 구상으로도 계속된다. [43:54]
• 마지막 선물에는 가와사키 코를레오와, 앞서 조시와 어머니라고 농담했던 탑승 장면이 다시 등장한다. 진행자는 이를 팟캐스트 녹음실이나 사무실에 둘 생각을 밝히며, 엉뚱한 로봇 미래상을 즐기는 분위기로 대화를 마무리한다. [44:19]

🧾 결론

• Mecka의 핵심 제품은 사람이 촬영한 원본 영상이 아니라 로봇 학습에 활용할 수 있도록 처리하고 검증한 데이터다.
• 인간의 1인칭 데이터, 촉각 데이터, 원격조작 데이터는 학습 과정에서 서로 다른 역할을 맡을 수 있으며, 최적의 조합은 아직 확정되지 않았다.
• 초기 상용화 후보는 목표와 표준작업절차가 명확한 작업이다. 어떤 환경에서도 즉시 일하는 범용 로봇까지는 추가 감각과 학습·평가 체계의 발전이 필요하다는 판단이다.

📈 투자·시사 포인트

• 로봇 데이터 사업을 검토할 때는 총수집 시간과 함께 작업·환경의 다양성, 검증을 통과한 데이터의 유용성을 살펴볼 필요가 있다.
• 기여자 보상만으로 원가 경쟁력을 판단하기 어렵다. 하드웨어 제조, 물류, 업로드 기반시설, 후처리와 품질 검증을 함께 평가해야 한다.
• 초기 수요를 판단하려면 산업 현장의 제한된 작업에서 신뢰성과 생산성을 얼마나 개선하는지 확인해야 한다. 인터뷰는 집기·옮기기, 포장, 데이터센터 유지보수 등을 후보로 제시한다.
• Mecka가 구상하는 현장 데이터 수집·사후학습·도입 지원의 연결은 사업 확장 가능성이다. 실제 고객 성과와 수익성은 별도로 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 관련 데이터가 수백만 시간에 진입했다는 설명은 Gao의 판단이다. 집계 범위, 품질 기준, 작업별 구성과 필요한 최종 규모는 제시되지 않았다.
• 촉각 데이터의 중요성은 강조되지만, 장갑의 측정 정확도와 촉각 데이터 추가에 따른 로봇 성능 개선 폭은 확인되지 않는다.
• 집기·옮기기와 포장 등을 향후 1~2년 안에 해결할 수 있다는 발언은 전망이다. ‘포 나인’ 신뢰성 역시 지향점이며, 달성 실적으로 제시된 것은 아니다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 데이터 공급사를 비교할 때 수집 시간, 작업·환경 분포, 품질 통과 기준, 부정 제출 탐지 방식을 함께 확인한다.
• 영상 중심 학습과 촉각·힘 정보를 추가한 학습을 같은 작업에서 비교한 평가 결과가 있는지 확인한다.
• 초기 적용 후보별로 작업 범위와 요구 신뢰성을 정리하고, 실제 현장 성능 및 실패·교정 사례를 확인한다.
• 데이터 생산 비용을 기여자 보상, 장비, 물류, 처리·검증으로 나누어 검토하고 고객에게 제공하는 가치와 연결한다.

❓ 열린 질문

• 인간의 1인칭 데이터가 실제 로봇 제어 성능으로 이어지는 데 필요한 원격조작·촉각·현장 데이터의 조합은 작업마다 얼마나 달라질까?
• 배포 로봇이 실패·교정 데이터를 축적하기 시작하면, Mecka의 외부 데이터 공급과 현장 사후학습 지원은 각각 어떤 역할을 맡게 될까?
• 수집량을 늘릴 때 새 데이터의 효용이 포화되는 시점을 어떻게 판단하고, 부족한 작업·환경을 얼마나 경제적으로 확보할 수 있을까?