Into the Omniverse: How Open World Models Push the Frontier of Physical AI

🖼️ 인포그래픽

Into the Omniverse: How Open World Models Push the Frontier of Physical AI 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

개방형 월드 모델인 엔비디아 코스모스 3는 시각 추론·세계 생성·행동 예측을 통합하고, 옴니버스와 오픈유에스디 기반 시뮬레이션을 통해 로봇·자율주행차·비전 인공지능의 학습과 특화를 지원한다.

📌 핵심 요약

물리 인공지능은 장면의 외형만 인식하는 것이 아니라 행동의 결과와 다음 상태를 예측해야 하며, 월드 모델은 물리 환경의 관계와 변화, 적절한 후속 행동을 학습한다.
현실의 물리 인공지능 데이터는 대규모로 수집하기 어렵고 비용이 높으며, 희귀 사건과 롱테일 상황은 안전하고 반복적으로 재현하기가 특히 어렵다.
개방형 월드 모델은 물리적으로 근거가 있는 합성 데이터 생성, 미래 상태 시뮬레이션, 정책 시험을 가능하게 하고 특정 로봇·차량·센서·작업 환경에 맞춘 후속 학습의 기반을 제공한다.
코스모스 3는 혼합 트랜스포머 구조를 기반으로 시각 추론, 세계 생성, 행동 예측을 하나의 모델 계열에 결합했으며, 슈퍼 64B·나노 16B·엣지 4B 모델로 구성된다.
옴니버스 라이브러리와 오픈유에스디는 시뮬레이션용 환경과 복잡한 3차원 자산의 구성·재사용·교환을 지원하며, 실제 배치 전 학습·시험·검증 과정에서 발생하는 중복 작업을 줄인다.

🧩 주요 포인트

물리 인공지능의 배치마다 로봇·센서·환경이 달라진다 → 모델 가중치 접근, 수정 가능한 라이선스, 자체 데이터와 하드웨어를 이용한 후속 학습이 실질적인 요구 조건이 된다.
코스모스 3가 시각 이해·합성 데이터 생성·미래 상태 예측·행동 모델의 기반을 한 계열로 제공한다 → 기능마다 별도 모델을 구축하고 유지하는 부담을 줄일 수 있다.
개방형 모델에 옴니버스 시뮬레이션과 오픈유에스디 자산 체계를 결합한다 → 모델 특화부터 환경 구성, 정책 시험, 실제 배치 전 검증까지 연결된 개발 흐름이 형성된다.

🧠 상세 정리

1. 개방형 생태계와 물리 인공지능의 특화 문제

본문은 인공지능 리더십이 하나의 최첨단 모델이 아니라 여러 산업 분야에 도달하는 개방형 생태계에 의해 평가될 것이라는 공개서한의 주장으로 논의를 시작한다. 개방형 모델은 이용자가 내려받아 내부를 살펴보고 수정한 뒤 자체 인프라에서 실행할 수 있는 모델을 뜻한다. 이러한 개방성은 모든 배치가 서로 다른 로봇, 센서, 작업, 운영 환경에 맞춰져야 하는 물리 인공지능에서 특히 중요하다. 범용 모델은 개별 팀의 장비와 현장을 미리 경험하지 못했으므로 그대로 적용하는 것만으로는 현장과 모델 사이의 차이를 해소할 수 없다. 따라서 물리 인공지능에서 개방성은 단순한 배포 방식이 아니라 실제 환경에 맞게 모델을 특화하기 위한 기술적 전제라는 것이 본문의 핵심 주장이다.

2. 월드 모델이 해결하는 데이터와 예측의 한계

물리 인공지능은 장면이 어떻게 보이는지를 인식하는 수준을 넘어, 현재 행동이 어떤 결과를 만들고 이후 어떤 상태와 행동이 가능한지를 이해해야 한다. 월드 모델은 대규모 다중양식 상황에서 물리적 관계를 학습하고, 환경의 다음 상태와 합리적인 후속 행동을 예측하도록 설계된다. 이를 통해 물리적으로 근거가 있는 세계 및 행동 데이터를 생성하고 미래 상태를 시뮬레이션할 수 있다. 현실 데이터는 필요한 규모로 수집하기 어렵고 비용도 높으며, 희귀 사건과 롱테일 상황은 안전하게 반복 재현하기가 특히 어렵다. 월드 모델은 날씨, 조명, 물체, 이동 경로를 변화시킨 다양한 환경을 만들어 이러한 데이터 부족을 보완하고, 정책 시험과 시스템 학습에 사용할 수 있는 기반을 제공한다.

3. 모델 개방성과 후속 학습의 실질적 역할

특정 현장에 맞는 모델을 만들려면 가중치에 접근할 수 있어야 하고, 수정과 적응을 허용하는 라이선스와 후속 학습 도구도 필요하다. 엔비디아 코스모스 월드 파운데이션 모델은 리눅스 재단의 오픈엠디더블유 1.1 라이선스로 제공되며, 팀이 자체 데이터와 하드웨어를 사용해 모델을 후속 학습할 수 있도록 한다. 이 과정은 범용 모델이 알지 못하는 개별 로봇의 구조, 센서 구성, 수행 작업, 운영 조건을 모델에 반영하기 위한 것이다. 개방형 가중치만 확보한다고 전체 개발 과정이 끝나는 것은 아니며, 데이터를 생성하고 행동을 시험할 환경도 함께 필요하다. 본문은 이처럼 접근 가능한 모델, 적응을 허용하는 라이선스, 후속 학습 수단과 시뮬레이션 환경이 함께 갖춰져야 물리 인공지능의 특화가 가능하다고 설명한다.

4. 옴니버스와 오픈유에스디 기반 시뮬레이션 흐름

엔비디아 옴니버스 라이브러리는 물리 인공지능 팀이 학습과 시험에 사용할 수 있는 시뮬레이션 준비 환경을 구축하도록 돕는다. 개발자는 이 환경에서 데이터를 생성하고 행동을 시험하며, 실제 현장에 시스템을 배치하기 전에 결과를 검증할 수 있다. 오픈유에스디는 디지털 트윈, 시뮬레이션, 합성 데이터 생성 과정에 쓰이는 복잡한 3차원 데이터를 구성하고 재사용하며 교환하기 위한 개방형 프레임워크를 제공한다. 자산이나 센서 구성, 환경 조건이 바뀔 때마다 동일한 제작 작업을 다시 수행하면 개발 비용과 관리 부담이 누적될 수 있다. 본문은 옴니버스의 환경 구축 기능과 오픈유에스디의 데이터 상호운용성을 결합함으로써 이러한 중복 작업을 줄이고, 모델 학습부터 시험과 검증까지 이어지는 기반을 마련할 수 있다고 설명한다.

5. 코스모스 3의 통합 기능과 모델 구성

코스모스 3는 혼합 트랜스포머 구조를 기반으로 한 개방형 물리 인공지능 파운데이션 옴니모델로, 시각 추론·세계 생성·행동 예측을 하나의 모델 계열에 통합한다. 개발자는 이를 시각언어모델로 사용하거나, 미래의 세계 상태와 대규모 합성 데이터를 생성하는 물리 기반 시뮬레이터로 활용할 수 있으며, 세계 행동 모델의 기반으로도 사용할 수 있다. 모델 계열에는 고정밀 세계 모델링용 코스모스 3 슈퍼 64B, 효율적인 추론과 후속 학습용 나노 16B, 기기 내 시각 추론과 로봇 정책 배치용 엣지 4B가 포함된다. 엣지 모델은 엣지 그래픽처리장치에서 실행할 수 있으며 엔비디아의 여러 컴퓨팅 시스템과 젯슨 계열에 배치될 수 있다. 본문이 제시한 평가 결과에서 코스모스 3는 이미지·영상 생성, 세계 생성, 물리 평가, 로봇 정책 분야의 여러 벤치마크에서 1위를 기록했고, 슈퍼 모델은 시각 이해 평가에서 가장 높은 순위의 개방형 모델로 소개된다.

6. 산업 적용과 개방형 협력 생태계

본문은 로봇 분야의 두산로보틱스·엘지전자·삼성전자·스킬드 에이아이, 자율주행차 분야의 리오토·샤오미·아파리 등 여러 기업이 코스모스를 기반으로 물리 인공지능 응용을 개발하고 있다고 소개한다. 비전 인공지능 분야에서도 산업용 인공지능과 스마트 공간을 위한 에이전트 개발에 여러 기업이 참여하고 있다. 엔비디아의 전체 물리 인공지능 구성에는 코스모스 외에도 로봇용 아이작 그루트, 자율주행차용 알파마요, 비전 인공지능용 메트로폴리스가 포함된다. 코스모스 연합은 월드 모델 개발자, 인공지능 개발자, 물리 인공지능 관계자가 모델과 연구, 평가 방법을 함께 제공하도록 구성됐으며 일본의 로봇·제조 분야로도 확대됐다. 이러한 산업 적용과 협력은 개방형 월드 모델을 로봇, 자율주행차, 비전 인공지능 시스템에 맞춰 조정할 수 있는 공통 기반으로 확장하려는 흐름을 보여준다.

🧾 핵심 주장 / 시사점

물리 인공지능에서는 배치 대상마다 기계 구조와 센서, 환경이 달라지므로 개방형 가중치와 후속 학습 권한이 모델 활용의 부가 조건이 아니라 현장 적응을 위한 핵심 조건으로 작용한다.
월드 모델의 합성 데이터와 미래 상태 시뮬레이션은 현실에서 안전하게 반복하기 어려운 희귀 사건과 롱테일 상황을 학습·시험 과정에 포함할 수 있게 한다.
코스모스 3의 통합 모델 계열과 옴니버스·오픈유에스디의 환경 및 자산 체계를 함께 사용하면 모델별 분리 구축과 환경 변경 때의 반복 작업을 줄이면서 실제 배치 전 검증 흐름을 연결할 수 있다.