Introducing Cosmos 3 Edge

🖼️ 인포그래픽

Introducing Cosmos 3 Edge 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

코스모스 3 엣지는 제한된 메모리의 엣지 장치에서 장면 이해, 미래 예측, 행동 생성을 실시간으로 수행하도록 설계된 40억 매개변수 개방형 월드 모델이다.

📌 핵심 요약

엔비디아는 로봇과 비전 인공지능 에이전트가 주변 환경을 이해하고 실시간으로 추론하며 행동을 생성할 수 있도록 코스모스 3 엣지를 공개했다.
이 모델은 640×360 해상도의 관측 정보를 처리하며, 젯슨 토르에서 추론당 32개 행동을 생성하고 15헤르츠의 실시간 제어를 달성한다.
자기회귀형 타워와 확산형 타워가 다중양식 어텐션을 공유해 언어·영상·음성·행동 정보를 하나의 표현 안에서 정렬한다.
이동·회전·조작 상태를 공통 기하 벡터로 표현함으로써 행동의 시각적 결과를 예측하거나 관찰된 변화로부터 행동을 역으로 추론할 수 있다.
도메인별 후속 학습 자료와 드로이드 로봇 정책, 4단계 증류 모델 및 학습 스크립트가 함께 공개됐으며, 증류 모델은 기본 모델보다 최대 25배 빠른 추론을 제공한다.

🧩 주요 포인트

억 매개변수의 소형 모델이 엣지에서 실시간 추론과 로봇 제어를 수행함으로써 데이터센터급 기능을 메모리 제약 환경으로 확장한다.
장면·미래·행동을 공유 표현으로 연결해 시각적 예측과 제어 정책을 별도 문제로 분리하지 않고 하나의 월드 모델에서 함께 다룬다.
기준 체크포인트와 후속 학습·증류 도구를 공개해 범용 기반 모델을 특화 정책과 고속 생성 모델로 전환하는 경로를 제공한다.

🧠 상세 정리

1. 엣지용 개방형 월드 모델 공개

엔비디아는 2026년 7월 20일 허깅 페이스의 코스모스 3 저장소를 통해 40억 매개변수 규모의 코스모스 3 엣지를 공개했다. 이 모델은 공장, 창고, 병원 등에서 작동하는 로봇과 비전 인공지능 에이전트가 주변 장면을 이해하고, 다음 상황을 예상하며, 필요한 행동을 엣지 장치에서 생성하도록 설계됐다. 엔비디아 RTX 프로·지포스 RTX 그래픽처리장치, DGX, 젯슨 토르와 새로 발표된 젯슨 T2000·T3000 모듈 등에서 메모리 효율적인 고처리량 추론을 지원한다. 소형 비전 언어 모델로도 사용할 수 있으며, 640×360 관측 해상도에서 추론당 32개 행동을 생성하고 젯슨 토르에서 15헤르츠의 실시간 제어를 달성한다. 기사에 따르면 동급 40억 매개변수 모델 중 비전 분석용 밴티지 벤치에서 1위를 기록했으며, 로봇 정책 학습에서도 최고 수준의 성능을 제시했다.

2. 현재 상태와 미래 행동을 연결하는 월드 모델

월드 모델은 환경이 시간에 따라 어떻게 변하는지를 학습하며, 물체와 움직임, 공간적 관계, 행동이 초래하는 결과를 함께 표현한다. 예를 들어 로봇이 물체를 집으려면 물체를 인식하는 것만으로는 부족하고, 물체의 위치와 그리퍼의 움직임, 접촉 뒤 발생할 변화, 성공 가능성이 높은 행동까지 판단해야 한다. 코스모스 3 엣지는 특정 행동 뒤 나타날 시각적 결과를 예측하고, 관찰된 변화를 일으킨 행동을 추론하며, 원하는 결과를 만들 행동을 생성할 수 있다. 이러한 기능은 장면 이해와 미래 시뮬레이션, 행동 선택을 하나의 장치 내 모델로 결합한다. 공유 표현을 통해 물리적 인공지능 시스템은 현재 세계 상태와 가능한 미래, 그 미래에 영향을 주는 행동 사이의 관계를 함께 다룬다.

3. 두 트랜스포머 타워와 공유 다중양식 표현

코스모스 3는 이해와 추론을 담당하는 자기회귀형 타워와 예측·생성·신경 시뮬레이션을 담당하는 확산형 타워를 결합한다. 자기회귀형 타워는 시각 및 텍스트 토큰을 처리하고, 확산형 타워는 시각·음성·행동 토큰을 처리한다. 두 타워는 정규화 계층과 다층 퍼셉트론을 별도로 유지하지만, 언어·영상·음성·행동 정보를 정렬하는 다중양식 어텐션 계층은 공유한다. 언어 토큰에는 이전 토큰만 참조하는 인과적 어텐션을 적용하고, 확산 토큰에는 이용 가능한 문맥을 더 폭넓게 참조하는 패턴을 적용한다. 이에 따라 모델은 장면을 먼저 추론한 뒤 작업에 맞춰 추론 토큰을 출력하거나, 잡음이 제거된 영상 및 행동 토큰을 생성할 수 있다.

4. 공통 행동 표현과 정책 모드

차량은 자차 자세와 이동으로, 카메라는 카메라 움직임으로, 로봇 팔은 말단 장치의 자세로 행동을 표현하는 등 물리 시스템마다 제어 형식이 다르다. 코스모스 3는 이러한 차이를 이동·회전·조작 상태를 담은 압축 기하 벡터로 변환해 공통 행동 표현에 매핑한다. 이 표현은 픽셀 변화와 물리적 움직임, 공간 관계, 제어 입력을 직접 연결하므로 생성 영상이 단순한 시각 결과를 넘어 행동에 따른 세계 변화를 나타내게 한다. 정책 모드에서는 현재 상태를 입력받아 수행할 행동과 그 행동의 예상 시각적 결과를 함께 출력한다. 행동 정보가 양방향으로 흐를 수 있어 행동의 결과를 예측하는 것뿐 아니라 결과로부터 원인 행동을 추론하는 것도 가능하며, 이를 로봇 정책 학습과 평가에 연결한다.

5. 드로이드 정책과 도메인별 후속 학습

엔비디아는 기본 모델과 함께 드로이드 데이터셋으로 집기·놓기 작업을 후속 학습한 코스모스 3 엣지 정책 드로이드와 관련 학습 스크립트를 공개했다. 개발자는 소규모 H100 클러스터나 DGX 스테이션에서 목표 작업에 맞게 모델을 미세 조정한 뒤 엔비디아 엣지 및 가속 컴퓨팅 플랫폼에 배포할 수 있다. 참고용 후속 학습 체크포인트와 학습 방법도 제공돼 개발자가 자체 응용 분야에 맞춰 모델을 적응시키고 최적화할 수 있다. 기사에서는 고품질 도메인 특화 데이터를 이용한 후속 학습이 전문 응용 분야의 정확도를 높이는 방법이라고 설명한다. 코스모스 3는 이 과정의 출발점이 되는 개방형 월드 기반 모델 플랫폼이며, 후속 학습 중에도 출력 품질을 유지하면서 목표 작업의 성능을 개선하는 데 초점을 둔다.

6. 4단계 증류 모델과 향후 최적화

코스모스 3 슈퍼의 이미지-영상 변환 및 텍스트-이미지 변환 모델에는 각각 4단계로 동작하는 단계 증류 버전이 추가됐다. 이 모델들은 샘플링 과정을 50회의 잡음 제거 단계에서 4회로 줄이고, 단계마다 연산량을 사실상 두 배로 늘리는 분류기 없는 가이던스를 제거해 기본 모델보다 최대 25배 빠른 추론을 제공한다. 기사에 따르면 생성 품질 저하는 거의 없으며, 2026년 7월 23일 기준 이미지-영상 증류 모델은 아티피셜 애널리시스 순위에서 개방형 가중치 모델 중 1위, 텍스트-이미지 증류 모델은 2위를 기록했다. 자체 체크포인트를 응용 분야에 맞게 증류할 수 있도록 전체 증류 방법과 학습 스크립트도 공개됐다. 향후에는 상호작용형 세계 생성, 주행 상황 시뮬레이션, 로봇 정책을 개선하고, 브이엘엘엠 같은 개방형 추론·최적화 프레임워크를 활용해 더 다양한 하드웨어에서 추론과 후속 학습의 시간 및 연산 요구량을 줄일 계획이다.

🧾 핵심 주장 / 시사점

공통 행동 표현은 서로 다른 로봇·카메라·차량의 제어 정보를 같은 기하 구조로 다루게 하며, 시각 생성 결과를 물리적 원인과 결과에 연결된 학습 자료로 활용할 수 있게 한다.
코스모스 3 엣지는 장면 이해용 비전 언어 모델과 행동 생성용 월드 행동 모델을 하나의 공유 표현에 결합해 인식, 예측, 제어 사이의 단절을 줄이는 구조를 제시한다.
기준 모델뿐 아니라 드로이드 정책, 후속 학습 방법, 증류 스크립트까지 공개한 구성은 범용 모델의 배포에 그치지 않고 도메인 적응과 고속화 과정까지 개발자가 직접 수행할 수 있도록 한다.