Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA는 CoRL에서 GR00T 2, Isaac Lab 3.0·Newton, 산업용 평가 벤치마크와 에이전트 워크플로를 공개하며, 시뮬레이션을 통해 로봇의 정밀 조작 학습·평가·다단계 작업 실행을 연결하는 접근을 제시했다.

📌 핵심 요약

• 미국 텍사스주 오스틴에서 열린 CoRL에서는 로봇 학습의 초점이 이동 능력에서 기어 정렬·케이블 연결·소형 부품 조립 등 정밀 조작으로 확대됐다. NVIDIA 논문 GRAIL과 RoboTTT는 수천 건의 제출작 중 최우수 논문상 최종 후보 6편에 포함됐다.
• NVIDIA Cosmos 기반의 개방형 월드 액션 모델 GR00T 2는 인간의 1인칭 시점 데이터 10만 시간을 포함한 다양한 데이터로 학습됐다. 작업별 시연 없이 평가 작업 50개 중 40개를 최소 한 번 완료했으며, 작업당 시연 1회에서는 평균 성공률 71%, 5회에서는 95%를 기록했다.
• Isaac Lab 3.0은 Newton 통합으로 케이블·천 등 변형 물체와 복잡한 로봇 손의 학습을 지원한다. 시각 기반 정교한 조작 벤치마크에서 기존 Isaac Lab 2.3·PhysX 대비 최대 2.5배의 학습 처리량을 기록했으며, AlphaNIST는 단일 정책으로 정밀 작업 20개를 학습해 98% 초과의 훈련 성공률과 약 39배 적은 GPU 시간 사용을 보고했다.
• Isaac Lab-Arena는 수천 가지 조건 변형을 병렬로 평가하고 실패 조건을 분석한다. 이를 활용하는 DexBench는 4개 장면의 15개 작업으로 일반화 능력을 평가하며, VABAR는 표준화된 변형·난이도·성공 지표를 갖춘 산업 작업 6개를 평가한다.
• UC Berkeley의 Graph-as-Policy(GaP)는 에이전트가 개별 기술을 로봇 프로그램으로 연결하고 시뮬레이션 실패를 바탕으로 수정하는 프레임워크다. 엔지니어가 배포 전에 검토·검증할 수 있는 해석 가능한 프로그램을 지향하며, Ambi Robotics·Bosch Research·Siemens가 산업 시나리오에서 활용을 탐색하고 있다.

🧩 주요 포인트

1. 기초 모델과 작업별 적응의 연결: GR00T 2의 무시연 수행 및 소수 시연 성과는 기술 전이와 일반화 가능성을 보여주지만, 최소 한 번의 완료와 반복 수행의 신뢰성은 구분해 해석해야 한다.
2. 물리 정확도·학습 규모·연습 배분의 결합: Isaac Lab 3.0·Newton의 처리량 개선과 AlphaNIST의 단일 정책 성과는 시뮬레이션 환경뿐 아니라 어떤 작업에 학습을 집중하는지도 정밀 조작의 효율에 영향을 준다는 점을 보여준다.
3. 평가에서 프로그램 수정으로 이어지는 구조: Isaac Lab-Arena·DexBench·VABAR가 실패 조건을 드러내고 GaP가 실패를 반영해 기술 연결을 수정함으로써, 산업 적용에 필요한 적응성과 검증 가능성을 함께 다룬다.

🧠 상세 정리

1. 이동 학습에서 정밀 조작으로 확대되는 로봇 시뮬레이션

로봇의 걷기·주행·도약을 검증하던 시뮬레이션이 기어 정렬, 케이블 연결, 소형 부품 조립처럼 섬세한 접촉을 요구하는 작업으로 확대되고 있다. 미국 텍사스주 오스틴에서 열린 CoRL에서 NVIDIA는 이러한 변화와 함께, 첨단 에이전트가 물리적 로봇 시스템을 위한 해석 가능한 코드를 만드는 에이전틱 로보틱스를 소개했다. NVIDIA가 공개한 기술은 월드 액션 모델, 시뮬레이션 도구, 벤치마크와 에이전트 워크플로를 포괄하며, 복잡한 작업 학습과 조건 변화에 대한 평가, 실패를 활용한 재학습을 연결하는 데 초점을 둔다. 수천 건의 제출작 가운데 최우수 논문상 최종 후보 6편에 포함된 GRAIL은 로봇 학습에 사용할 3D 자산과 시뮬레이터용 장면의 디지털 생성 파이프라인을 제시한다. 또 다른 최종 후보 RoboTTT는 추론 지연을 늘리지 않으면서 시각·운동 맥락의 규모를 기존 최고 수준 정책보다 세 자릿수 규모, 즉 1,000배 확장하는 모델과 학습 방법을 소개한다.

2. GR00T 2의 정밀 조작 능력과 적용 현황

NVIDIA는 주변 환경을 인식하고 행동의 결과를 예측하며 정밀한 다단계 작업을 수행하는 데 필요한 모델로, NVIDIA Cosmos 기반의 개방형 프런티어 월드 액션 모델 GR00T 2를 소개했다. 이 모델은 공개된 인간의 1인칭 시점 데이터 10만 시간을 포함한 다양한 인간·로봇 데이터로 학습됐으며, 작업별 시연 없이 평가 작업 50개 중 40개를 최소 한 번 완료했다. 작업당 시연 1회에서는 50개 작업의 평균 성공률이 71%였고, 시연 5회에서는 95%로 높아졌으며, 인간 시연으로 배운 기술을 로봇 시연 없이 서로 다른 로봇 몸체로 전이하는 기능도 제시됐다. 에이전트는 API와 지원 도구를 통해 기술을 순차 실행하고 오류에서 복구할 수 있으며, NVIDIA는 GR00T 2가 RoboCasa365·RoboLab·RoboDojo·MolmoSpaces의 모든 비전 언어 액션 및 월드 액션 모델 범주에서 상위 3위권에 있고 여러 순위표에서 1위를 차지했다고 밝혔다. Nexuni는 세탁물 처리에 시험 중이고 Foxconn은 서버 제조 공장 자동화에 적용하고 있으며 Siemens는 산업용 사례를 평가하고 있다. MicroAGI는 Isaac Lab 3.0과 Newton으로 시뮬레이션 환경 생성·보정을 자동화하고 강화학습으로 추가 학습한 GR00T 2를 사용해 YAM 로봇 팔로 Ethernet 케이블을 교체한다.

3. 인간 영상과 손동작을 로봇 학습 데이터로 전환

원문은 유능한 로봇을 학습시키려면 다양한 데이터가 필요하며, 공개 워크플로와 모델이 데이터 수집과 주석 작업을 지원한다고 설명한다. NVIDIA의 새로운 개방형 Video to Data 워크플로는 인간의 영상을 시뮬레이션 속 로봇 시연으로 전환해 로봇 학습 데이터셋을 만드는 연구에 활용하도록 설계됐다. NVIDIA는 연구자들이 이 워크플로를 발전시키도록 참여를 유도하는 챌린지도 함께 제시했다. CoRL에서 시연되는 공개 모델 NVIDIA EgoHand는 Noitom Robotics의 데이터로 학습됐으며, 3D 손동작을 복원하는 기능을 제공한다. EgoHand는 출시 후 2주 동안 Hugging Face에서 다운로드 4만 건을 넘겼다고 소개됐으며, 이러한 도구들은 인간 행동을 로봇 학습에 활용하는 데이터 경로를 넓히는 역할로 제시된다.

4. Isaac Lab 3.0과 Newton의 물리 시뮬레이션

사전 학습 모델이 기본 기술을 제공한다면, 시뮬레이션은 실제 로봇에 배포하기 전에 기술을 대규모로 학습·개선·평가하는 기반으로 제시된다. 개방형 로봇 학습 프레임워크 Isaac Lab의 3.0 버전은 에이전트를 활용한 학습 환경 구성, 시뮬레이션용 자산 활용, NVIDIA PhysX와 Newton 물리 솔버 간 전환, 인식 기반 학습용 렌더러 선택을 지원한다. 또한 GR00T 같은 기초 모델에 적용할 새로운 강화학습 후속 학습 라이브러리를 제공하며, Newton과의 긴밀한 통합으로 케이블·천 같은 변형 물체와 다수의 관절이 상호작용하는 로봇 손을 모델링한다. 원문은 로봇이 잡을 때 딸기가 변형되는 사례를 통해 물리 정확도가 시뮬레이션에서 배운 기술을 실제 로봇으로 옮기는 데 중요하다고 설명한다. Isaac Lab과 Newton은 수천 대의 가상 로봇을 병렬로 학습할 수 있으며, 시각 기반 정교한 조작 벤치마크에서는 Isaac Lab 3.0·Newton이 Isaac Lab 2.3·PhysX보다 최대 2.5배 높은 학습 처리량을 기록했다.

5. 파트너들의 시뮬레이션 확장과 산업 적용 탐색

Skild AI는 CoRL에서 Newton 기반의 새로운 강체 물리 솔버 STEEL을 발표하고, Isaac Lab을 활용한 로봇 학습의 가속을 목표로 제시했다. Flexion은 추론과 전신 조작을 결합한 로봇 지능 모델 Reflect의 학습에 Isaac Lab과 Newton을 활용하는 모습을 공개했다. FieldAI는 Newton, Isaac Lab, NVIDIA Omniverse 라이브러리 기반 Isaac Sim을 사용해 비정형 실제 환경에 배포할 로봇 정책을 학습하고 검증하고 있다. Dyna Robotics는 창고·호텔·음식 서비스 작업용 반휴머노이드 Taku 로봇의 전신 제어기를 Isaac Lab의 병렬 시뮬레이션으로 학습하는 방법을 시연할 예정이다. Walden Robotics는 제조·물류용 범용 로봇의 학습과 평가에 Isaac Sim의 사실적인 렌더링을 사용하며, Dexmate는 코딩 에이전트가 Vega 로봇에서 실행하기 전에 Isaac Sim에서 조작 전략을 연습하고 개선하는 방식을 탐색하고 있다.

6. AlphaNIST와 성공률에 따른 연습 배분

Isaac Lab 기반 AlphaNIST는 하나의 정책으로 NIST Assembly Task Board의 작업 20개를 모두 학습하며, 성공 여부를 나타내는 이진 신호만으로 밀리미터 크기 부품을 조작한다. 보고된 훈련 성공률은 98%를 넘었고, 작업별로 별도 정책을 학습한 경우의 81%와 비교해 더 높은 성과를 보였으며 GPU 시간은 약 39배 적게 사용했다. 이 결과의 배경에는 University of Washington과 NVIDIA가 개발한 Success-Guided Sampling(SGS)이 있다. SGS는 정책의 성공률이 약 절반인 작업에 연습을 집중해, 이미 익숙한 작업보다 아직 배우는 중인 기술에 학습 자원을 배분한다. 원문은 SGS를 적용하면 병렬 환경 100만 개를 넘는 규모로 로봇 학습을 확장할 수 있다고 설명한다. 별도로 University of Texas at Austin의 School of Computing과 Texas Robotics는 Isaac Sim·Isaac Lab을 교육에 활용해, 학생들이 실제 하드웨어를 확보하기 전부터 로봇 기술 개발을 시작하도록 지원하고 있다.

7. 조건 변화에 대한 신뢰성을 평가하는 산업 벤치마크

원문은 기술을 배우는 것과 변화하는 조건에서도 안정적으로 수행하는 것을 구분하며, 대규모 정책 평가용 공개 프레임워크 Isaac Lab-Arena를 소개한다. 개발자는 다양하고 반복 가능한 평가를 구성해 수천 가지 변형에서 정책을 병렬 실행하고, 어떤 조건이 실패를 유발하는지 분석해 다음 학습의 개선 대상을 찾을 수 있으며, 최신 0.4 버전의 개발자 프리뷰가 CoRL에서 공개된다. RLWRLD가 NVIDIA와 협력해 개발한 DexBench는 소매·물류·제조·접객 분야의 4개 장면과 15개 작업으로 구성되며, 물체·공간·물리 조건의 변화에 대한 일반화 능력을 평가한다. Genesis AI와 mimic robotics 등은 조기 접근으로 이를 평가하고 있고, Bifrost의 Manifold에서는 별도 설정 없이 실행하면서 내장 실패 분석과 초기 평가용 무료 크레딧을 이용할 수 있다. UC Berkeley와 NVIDIA의 VABAR는 산업 작업 6개 각각에 표준화된 변형, 난이도 단계, 성공 지표를 부여하며, DexBench와 함께 Isaac Lab-Arena 및 Newton을 활용해 산업 작업의 정교함과 적응성을 측정하는 새로운 공개 벤치마크로 제시된다.

8. GaP로 개별 기술을 검토 가능한 로봇 프로그램으로 연결

여러 단계로 이뤄진 작업을 완수하려면 로봇이 개별 기술을 조정하고 문제가 생겼을 때 대응해야 하므로, 신뢰할 수 있는 프로그램을 만드는 일 자체가 별도의 과제로 남는다. UC Berkeley의 새로운 Graph-as-Policy(GaP) 프레임워크는 에이전트가 개별 기술을 로봇 프로그램으로 연결하고 NVIDIA Isaac의 공개 시뮬레이션 기술로 시험하도록 한다. 에이전트는 실패 결과를 바탕으로 프로그램을 개선하며, 원문은 이 접근이 더 적은 데이터로 개발을 확장하면서도 엔지니어가 배포 전에 검토·검증할 수 있는 해석 가능성을 유지하는 데 도움이 된다고 설명한다. 바를 닦는 사례는 개별 기술이 조율된 행동으로 연결되는 모습을 보여주며, VABAR와 GaP를 이끄는 UC Berkeley의 Ken Goldberg 교수는 에이전틱 로보틱스를 1995년 인터넷 이후 가장 흥미로운 기술 발전이라고 평가했다. 이는 연구자의 견해로 제시된 발언이며, Ambi Robotics·Bosch Research·Siemens는 다양한 산업 시나리오에서 GaP 기반 에이전틱 로보틱스 워크플로의 활용을 탐색하고 있다.

🧾 핵심 주장 / 시사점

• 시뮬레이션의 역할이 사전 연습을 넘어 데이터 생성, 정책 학습, 실패 분석, 프로그램 수정으로 이어지고 있다. 원문이 제시하는 산업 적용 경로는 이러한 단계를 반복적으로 연결하는 데 중심을 둔다.
• GR00T 2의 최소 한 번 작업 완료, AlphaNIST의 훈련 성공률, Isaac Lab의 학습 처리량은 서로 다른 성과 지표다. 각각의 수치를 실제 환경에서의 반복 수행 신뢰성과 동일하게 해석하지 않는 것이 중요하다.
• SGS는 학습 중인 작업에 연습을 집중하고, Isaac Lab-Arena는 실패를 유발하는 조건을 드러내며, GaP는 실패를 프로그램 수정에 반영한다. 실패와 성공의 경계를 다음 학습에 활용한다는 공통된 방향이 나타난다.

✅ 액션 아이템

• GR00T 2의 50개 중 40개 작업 최소 한 번 완료와 시연 1회·5회의 평균 성공률 71%·95%를 구분해 적용 가능성 검토.
• Isaac Lab 3.0·Newton의 최대 2.5배 학습 처리량과 AlphaNIST의 98% 초과 훈련 성공률·약 39배 적은 GPU 시간 사용을 각각의 평가 조건에 맞춰 해석.
• Isaac Lab-Arena·DexBench·VABAR의 실패 조건 평가와 GaP의 프로그램 수정·배포 전 검증을 연결하는 활용 방식 검토.

❓ 열린 질문

• GR00T 2가 작업별 시연 없이 50개 중 40개 작업을 최소 한 번 완료한 결과는 반복 수행의 신뢰성과 어떤 관계가 있는가?
• Isaac Lab 3.0·Newton의 최대 2.5배 학습 처리량과 AlphaNIST의 높은 훈련 성공률은 변화하는 산업 작업 조건에서도 유지되는가?
• Isaac Lab-Arena·DexBench·VABAR에서 확인한 실패 조건을 GaP의 프로그램 수정과 배포 전 검증에 어떻게 반영할 수 있는가?