🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

엔비디아 코스모스-H-드림스는 수술 영상과 로봇 동작의 관계를 학습한 대형 세계 모델을 인과적 소수 단계 모델로 증류하고 가속 추론을 결합해, 단일 그래픽처리장치에서 사람이나 정책이 폐쇄 루프로 조작할 수 있는 실시간 수술 로봇 시뮬레이터다.

📌 핵심 요약

• 수술 로봇의 훈련과 평가는 실물 장비의 높은 운영 비용, 낮은 실험 재현성, 기구나 생체 재료의 손상 위험뿐 아니라 변형 조직·봉합사·바늘·연기·가림 현상을 정교하게 표현해야 하는 시뮬레이션 난제를 안고 있다.
• 코스모스-H-드림스는 기존 코스모스-H-서지컬-시뮬레이터의 수술 동역학 지식을 인과적 학생 모델로 증류해, 초기 RGB 영상과 실시간 로봇 운동학 정보를 바탕으로 다음 영상 묶음을 자기회귀적으로 생성한다.
• 훈련 과정은 성공 시연뿐 아니라 바늘 낙하, 봉합 실패, 매듭 실패 같은 실패·분포 외 사례를 포함한 교사 미세조정, 인과적 워밍업, 학생이 자신의 출력을 문맥으로 사용하는 셀프포싱 증류로 구성된다.
• 플래시드림스는 스트리밍 키·값 캐시, 쿠다 그래프 캡처, 모델 컴파일을 적용해 표준 추론의 초당 약 10프레임 수준을 단일 엔비디아 RTX PRO 6000에서 초당 약 160프레임의 상호작용 가능한 속도로 높인다.
• 향후 과제는 시각적 품질을 넘어 동작 반응의 정확성, 장기 구조 보존, 실제 로봇과의 정책 결과 일치성을 검증하는 것이며, 이 플랫폼은 연구개발용으로서 진단·수술 중 영상·물리 로봇 제어를 대체하지 않는다.

🧩 주요 포인트

1. 미리 정한 동작을 영상으로 변환하던 오프라인 수술 세계 모델이 실시간 동작 입력에 연속 반응하도록 바뀌면서, 사람과 학습 정책이 생성 환경 안에서 직접 상호작용할 수 있게 됐다.
2. 실패 사례 학습과 셀프포싱 증류는 이상적인 수술 장면만 재현하는 데서 벗어나 잘못된 행동의 결과와 장기 자기회귀 오차를 다루기 위한 핵심 장치다.
3. 소수 단계 생성과 추론 시스템 최적화를 함께 적용한 결과 실시간성이 확보됐으며, 평가 기준도 영상의 외관에서 행동 충실도와 실제 로봇으로의 이전 가능성으로 확장돼야 한다.

🧠 상세 정리

1. 수술 로봇 시뮬레이션이 어려운 이유

수술 로봇은 단순 원격조작에서 더 높은 능력을 갖춘 비전-언어-행동 정책으로 빠르게 이동하고 있지만, 이러한 시스템을 실물 환경에서 반복적으로 훈련하고 평가하기는 어렵다. 물리 로봇 플랫폼은 운영 비용이 높고 실험 조건을 동일하게 재현하기가 느리며, 실패하면 기구나 생체 재료가 손상될 수 있다. 기존 시뮬레이터는 더 안전한 대안을 제공하지만, 수술 장면에는 변형되는 조직, 미세한 기구 접촉, 반사 표면, 봉합사와 바늘, 연기, 가림 현상처럼 수작업 모델링이 까다로운 요소가 동시에 존재한다. 세계 기반 모델은 모든 물체와 물리 상호작용을 사람이 직접 작성하는 대신, 동기화된 영상과 로봇 운동학 데이터에서 행동에 따른 시각적 변화를 학습한다. 코스모스-H 계열은 이 학습형 접근을 이용해 실제 장비에서 매번 동작을 실행하지 않고도 수술 행동의 결과를 생성하고 검토할 수 있도록 설계됐다.

2. 오프라인 세계 모델에서 실시간 환경으로

코스모스-H-서지컬-시뮬레이터는 코스모스-프리딕트2.5-2B를 기반으로 하고 오픈-H-임바디먼트 데이터셋으로 후속 훈련된 행동 조건부 세계 기반 모델이다. 수술 장면의 기준 프레임과 미래 로봇 궤적을 입력하면 해당 행동이 만들 가능성이 높은 후속 영상을 생성하므로, 기록된 궤적이나 정책이 산출한 궤적을 오프라인에서 평가하고 합성 데이터를 만드는 데 활용할 수 있다. 코스모스-H-드림스는 이 모델이 습득한 다중 로봇 형태의 수술 사전 지식을 다빈치 연구용 키트의 탁상 봉합 작업에 특화한 뒤, 영상을 순차 생성하는 인과적 학생 모델로 압축했다. 공개 모델은 초기 RGB 프레임과 실시간 로봇 운동학 흐름을 받아 다음 프레임 묶음을 생성하고, 이어지는 행동 묶음을 계속 처리한다. 이에 따라 미리 완성된 전체 궤적을 한 번에 평가하던 방식이 사람이나 학습 정책의 현재 행동에 즉시 반응하는 폐쇄 루프 환경으로 전환됐다.

3. 수술 교사 모델과 실패 사례 학습

양방향 교사 모델은 44차원의 통합 행동 표현을 사용하는 코스모스-H-서지컬-시뮬레이터의 오픈-H 체크포인트에서 시작한다. 공개된 다빈치 연구용 키트 모델에서는 양팔 로봇의 상대적 말단장치 이동, 회전, 그리퍼 상태를 이 공통 행동 표현에 대응시킨다. 이어 존스홉킨스대학교의 다빈치 연구용 키트 탁상 데이터 혼합물로 교사를 미세조정하며, 성공 시연뿐 아니라 바늘 낙하, 봉합 투척 실패, 매듭 묶기 실패와 같은 실패 및 분포 외 에피소드도 포함한다. 정책 평가용 시뮬레이터는 이상적인 행동만 보여주는 것이 아니라 잘못된 행동이 실제로 어떤 결과를 만드는지도 재현해야 하므로, 이러한 실패 데이터가 중요한 역할을 한다. 장시간 생성의 안정성을 높이기 위해 시간 범위는 12프레임에서 시작해 72프레임까지 점진적으로 늘리고, 범위를 확대할 때마다 앞서 예열된 모델을 사전 학습 가중치로 초기화한다.

4. 인과적 워밍업과 셀프포싱 증류

실시간 학생 모델을 훈련하기 전에 교사 모델의 잡음 제거 궤적을 미리 계산해 캐시에 저장하고, 교사 가중치로 초기화한 인과적 학생이 이 궤적을 모방하도록 한다. 이 인과적 워밍업을 통해 학생은 자신의 생성 이력을 본격적으로 사용하기 전에 인과적 어텐션과 스트리밍 키·값 캐시를 다루는 방법을 익힌다. 자기회귀 모델은 훈련 중에는 깨끗한 정답 문맥을 보지만 실제 실행에서는 불완전한 자기 출력을 다음 입력으로 사용하기 때문에 작은 오류가 시간에 따라 누적될 수 있다. 코스모스-H-드림스의 셀프포싱 증류에서는 학생이 직접 생성한 문맥으로 계속 진행하고, 고정된 교사가 분포 일치 감독을 제공해 그 생성 궤적을 현실적인 수술 영상 쪽으로 유도한다. 그 결과 학생은 전체 교사의 다단계 생성 대신 잠재 프레임당 최소 두 번의 잡음 제거 단계만으로 작동하면서도, 수술 장면에 관한 교사의 사전 지식과 스트리밍에 필요한 인과 구조를 함께 유지한다.

5. 플래시드림스와 실시간 상호작용

모델 증류만으로는 낮은 지연시간을 달성하기 어렵기 때문에 코스모스-H-드림스는 자기회귀 세계·영상 모델용 가속 추론 라이브러리인 플래시드림스를 통해 제공된다. 플래시드림스는 이전 생성 상태를 재사용하는 스트리밍 키·값 캐시, 반복 실행 비용을 줄이는 쿠다 그래프 캡처, 모델 컴파일을 결합해 생성 경로를 최적화한다. 이러한 최적화는 표준 코스모스-H-서지컬-시뮬레이터 추론의 초당 약 10프레임 수준을 단일 엔비디아 RTX PRO 6000에서 초당 약 160프레임 수준의 상호작용 가능한 실행으로 끌어올린다. 브라우저 클라이언트는 키보드 명령을 보내고 웹 실시간 통신을 통해 생성 프레임을 받을 수 있으며, 메타 퀘스트 클라이언트는 추적된 컨트롤러 움직임을 로봇 행동으로 변환하고 웹 확장 현실로 합성 장면을 표시한다. 같은 모델은 학습된 수술 정책과도 연결할 수 있어 생성 관측과 예측 행동을 폐쇄 루프 안에서 연속적으로 교환한다.

6. 다른 로봇 형태와 자체 데이터로의 확장

공개된 코스모스-H-드림스 체크포인트는 다빈치 연구용 키트의 탁상 봉합 작업에 맞춰져 있지만, 시스템 자체는 특정 장비에만 고정되지 않도록 구성됐다. 개발자는 자체 데이터셋과 로봇 형태에 맞는 실시간 학생 모델을 만들 수 있으며, 이를 위해 교사 미세조정부터 셀프포싱 증류까지 이어지는 단계별 학습 절차가 제공된다. 원래 교사 모델이 44차원의 공통 행동 표현과 다중 로봇 형태의 수술 사전 지식을 사용한다는 점은 개별 장비의 운동학 정보를 공통 구조에 대응시키는 기반이 된다. 엔비디아는 CMR 서지컬 및 케임브리지 컨설턴츠와 협력해 이 모델을 버시우스 수술자 조종기와 통합하고, 버시우스 플랫폼에서도 실시간 조작이 가능함을 시연했다. 이는 공개 체크포인트의 구체적 작업 범위와 별개로, 동일한 생성 시뮬레이션 접근을 다른 수술 로봇 인터페이스에 연결할 수 있음을 보여준 사례다.

7. 시각 품질을 넘어선 폐쇄 루프 평가

기사에서 제시한 즉각적인 다음 과제는 생성 영상이 보기 좋은지를 평가하는 데서 그치지 않고 시뮬레이터가 행동에 올바르게 반응하는지를 측정하는 것이다. 유용한 수술 시뮬레이터라면 장시간 생성에서도 기구와 장면의 구조를 보존하고, 시뮬레이션에서 얻은 정책 평가 결과가 물리 로봇에서도 성립하는지 확인할 수 있어야 한다. 이를 위한 폐쇄 루프 지표로는 도구 끝점의 도달 및 자세 정확도, 그리퍼 동작 주기의 충실도, 유휴 상태 안정성, 반사실적 행동에 따른 결과 다양성, 장기 드리프트가 제안됐다. 또한 같은 정책을 시뮬레이터와 실제 로봇에서 실행했을 때 결과가 얼마나 일치하는지도 핵심 검증 항목으로 포함된다. 실시간 세계 모델은 이러한 검증 환경과 함께 희귀 실패를 필요할 때 생성하고, 강화학습이나 모방학습을 위한 확장 가능한 환경을 제공하며, 제한된 물리 장비를 계속 점유하지 않고 새로운 정책을 빠르게 평가하는 수단으로 제시된다.

8. 장기 활용 가능성, 한계와 공개 자원

장기적으로 실시간 생성 시뮬레이션은 세계 모델이 안정적인 화면 유지에 기여하는 지연 인지형 원격수술, 상호작용식 수술 연습, 시술 계획, 수술 중 의사결정 지원을 탐색하는 기반이 될 수 있다. 다만 코스모스-H-드림스는 연구개발 플랫폼이며 진단 시스템도, 수술 중 영상 장비의 대체물도, 물리 수술 로봇을 직접 제어하는 장치도 아니라고 명확히 한정된다. 모델의 충실도와 시간적 안정성, 하드웨어 효율이 개선되면 외과의 교육, 합성 데이터 생성, 정책 훈련과 평가를 하나의 공유된 물리 인공지능 환경에서 연결하는 데 활용할 수 있다는 것이 글의 결론이다. 재현과 확장을 위해 코스모스-H-드림스 코드와 예제 및 체크포인트, 코스모스-H-서지컬-시뮬레이터 모델과 코드, 오픈-H-임바디먼트 데이터셋, 플래시드림스와 코스모스-프리딕트2.5 저장소가 공개 자원으로 안내됐다. 자체 데이터 적용을 위한 교사 미세조정·셀프포싱 증류 절차와 수술 로봇 정책 자동 온라인 평가에 관한 논문도 함께 제공돼 모델, 데이터, 실행 환경, 학습 방법을 확인할 수 있다.

🧾 핵심 주장 / 시사점

• 성공 시연뿐 아니라 실패와 분포 외 사례를 교사 학습에 포함한 것은 정책 평가용 시뮬레이터의 가치가 이상적인 장면 생성보다 잘못된 행동의 결과를 충실하게 재현하는 데 있음을 보여준다.
• 초당 약 160프레임의 실시간 실행은 학생 모델의 소수 단계 증류만으로 달성된 것이 아니라 스트리밍 캐시, 쿠다 그래프, 컴파일을 함께 적용한 결과이므로 모델 구조와 추론 시스템의 공동 최적화가 핵심이다.
• 실제 활용 가능성을 판단하려면 영상의 사실감만 비교해서는 부족하며, 행동 반응 정확도와 장기 안정성, 동일 정책에 대한 시뮬레이션과 실제 로봇 결과의 일치성을 함께 검증해야 한다.

✅ 액션 아이템

• 코스모스-H-드림스 평가 기준을 영상 외관에서 행동 충실도와 실제 로봇으로의 이전 가능성 중심으로 재정의한다.
• 바늘 낙하·봉합 실패·매듭 실패 학습과 셀프포싱 증류가 장기 자기회귀 오차를 얼마나 줄이는지 비교한다.
• 플래시드림스의 단일 엔비디아 RTX PRO 6000 초당 약 160프레임 실시간성이 폐쇄 루프 상호작용에서 유지되는지 점검한다.

❓ 열린 질문

• 코스모스-H-드림스의 동작 반응 정확성과 장기 구조 보존을 어떤 기준으로 검증할 것인가?
• 셀프포싱 증류와 실패 사례 학습이 실제 로봇과의 정책 결과 일치성을 어디까지 끌어올릴 수 있는가?
• 연구개발용 시뮬레이터로서 실시간 동작 입력이 오프라인 수술 세계 모델 대비 어떤 상호작용 이점을 남기는가?