Stanford EE292R AI and Data for Science

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford EE292R AI and Data for Science를 중심으로, 월드 모델은 행동에 따른 환경 변화를 생성한다. Genie 3처럼 과거 영상과 사용자 입력으로 다음 프레임을 만드는 방식은 로봇·를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 월드 모델은 행동에 따른 환경 변화를 생성한다. Genie 3처럼 과거 영상과 사용자 입력으로 다음 프레임을 만드는 방식은 로봇·자율주행의 학습과 평가, 희귀 사건 데이터 생성에 활용될 수 있다. 다만 전통적 시뮬레이터의 상태 해석·편집 용이성과 학습된 모델의 사실적인 외관·동역학 생성 가능성 사이에는 장단점이 있다.
2. 생성의 기반은 확산 모델과 자기회귀적 영상 예측이다. 잡음에서 데이터로 향하는 흐름을 학습하고, 잠재 공간에서 과거 프레임·텍스트·지도·행동을 조건으로 후속 영상을 생성한다. 월드 액션 모델은 미래 영상과 함께 에이전트의 행동도 예측한다.
3. 지속적인 세계를 만들려면 기억을 구조화해야 한다. 짧은 문맥에서는 이전 장소를 잊고, 문맥을 그대로 늘리면 연산 비용이 커진다. FramePack은 오래된 프레임을 압축하며, 깊이와 포인트 클라우드를 활용한 지도는 재방문 장소의 공간 구조를 유지한다. 외관의 세부 일관성과 장시간 지도 저장은 여전히 과제다.
4. 생성 오류의 누적에는 관측과 교정 학습이 필요하다. 실제 카메라 관측을 다시 입력하는 폐루프와 지속적인 지도는 드리프트를 억제한다. Bagger는 열화된 생성 영상을 역재생해 회복 과정을 학습시키며, 제시된 비교 사례에서는 외형과 움직임을 함께 유지하는 결과를 보인다.
5. 영상 생성은 로봇 정책의 일부가 될 수 있다. 현재 관측에서 성공적인 미래 영상을 생성하고 역동역학으로 행동을 얻으면, 행동 라벨 없는 영상도 활용할 수 있다. 실용화를 위해서는 긴 문맥, 계획·추론의 결합, 낮은 지연시간, 행동 결과의 검증이 필요하다.

🧩 배경과 문제 정의

• 생성형 AI의 다음 과제는 물리 세계에서 행동하고 상호작용하는 물리적 AI이며, 월드 모델은 행동에 따른 환경 변화를 생성하는 기반으로 기대된다.
• 기존 시뮬레이터는 명시적인 상태를 관리하고 편집하기 쉽지만, 실제 세계의 복잡한 외관과 동역학을 재현하는 데 한계가 있다. 데이터로 학습한 월드 모델은 사실적인 결과를 지향하지만 상태 해석과 제어가 어렵다.
• 로봇·자율주행 학습과 상호작용형 환경에 활용하려면 그럴듯한 영상 생성뿐 아니라 행동 제어, 장기적인 공간 일관성, 생성 오류의 누적 문제를 해결해야 한다.

🕒 시간순 섹션별 상세정리

1. 행동에 반응하는 영상 생성기로서의 월드 모델

• 물리적 AI는 생성형 AI의 능력을 물리 세계로 확장하는 방향이며, 월드 모델이 그 과정에서 중요한 역할을 할 것으로 기대된다 [00:20]
• Google DeepMind의 Genie 3는 방향키 입력과 과거 영상에 조건화해 프레임을 실시간으로 생성한다. 명시적인 3D 장면을 사용하는 게임 엔진과 달리, 생성된 영상 자체가 상호작용 환경을 구성한다 [00:38]

2. 자율주행의 희귀 사건 생성과 산업계 투자

• Tesla와 Waymo의 월드 모델 활용 목적에는 데이터 증강이 있다. 실제로 관측하지 못한 희귀 사건을 생성해 정책 학습의 강건성을 높이며, 도로 위 코끼리가 그 예다 [01:35]
• 월드 모델은 영상뿐 아니라 포인트 클라우드와 여러 방향의 카메라 관측도 포함할 수 있다. Tesla 사례에서는 실제 운행 차량이 수집한 대량의 영상이 모델 학습에 사용된다 [02:10]

3. 명시적 시뮬레이션과 학습된 월드 모델의 장단점

• 전통적 시뮬레이터는 질량·마찰·속도 같은 상태를 물리 엔진으로 갱신하고, 그래픽스 엔진으로 화면을 만든다. 명시적인 3D 환경과 상태는 해석·편집이 쉽고 실시간 처리에도 유리하다 [03:18]
• 시뮬레이션과 현실 사이의 차이는 외관과 동역학 모두에서 발생한다. 실시간 출력은 대체로 완전히 사실적이지 않으며, 강체 물리 엔진만으로 복잡한 유체 흐름까지 실시간 재현할 수는 없다 [04:42]

4. 시뮬레이션의 학습·평가·데이터 생성 용도

• 로봇과 자율주행차는 시뮬레이션 안에서 행동하고, 그에 따른 현실적이거나 적어도 그럴듯한 시각적 반응을 관측하며 학습·평가를 수행할 수 있다 [05:56]
• 시뮬레이션은 게임과 사람의 훈련 환경으로도 쓰인다. 국제우주정거장 유지보수처럼 실제 환경에서 연습하기 어렵거나 비용이 크거나 불가능한 작업이 대표적이다 [06:17]

5. 가우시안 잡음에서 데이터 분포로 이동하는 확산 생성

• 확산 모델의 목표는 학습 이미지 분포에서 새로운 이미지를 생성하는 것이다. 말·우주비행사·달처럼 각각 학습한 개념을 조합해, 학습 중 함께 보지 못한 장면을 만드는 구성적 생성도 포함한다 [07:14]
• 복잡한 이미지 분포에서 직접 표본을 뽑는 일은 비용이 매우 크다. 대신 표본 추출이 쉬운 가우시안 잡음 분포에서 데이터 분포로 이동하는 흐름을 학습한다 [08:03]

6. 이미지 생성 성능을 뒷받침하는 데이터 규모

• 학계에서 사용하는 ImageNet은 이미지가 100만 장을 조금 넘는 규모이며, 최첨단 이미지 생성기를 학습시키는 데이터에 비하면 작고 해상도도 낮다 [09:08]
• LAION-5B는 수십억 장 규모의 데이터이며, 초기 Stable Diffusion 같은 공개 모델은 그 일부를 활용했다. 전체 50억 장을 모두 사용했다고 단정할 수는 없다 [09:29]

7. 역확산의 속도장 학습과 잠재 공간 압축

• 순방향 확산은 깨끗한 이미지에 잡음을 더하는 과정이다. 최근 널리 쓰이는 구성에서는 데이터와 잡음을 선형 보간해 임의의 잡음 수준에 해당하는 학습 입력을 만든다 [10:18]
• 신경망은 잡음에서 데이터로 향하는 경로의 변화율인 속도장을 L2 손실로 학습한다. 추론 중에는 이 방향을 따라 반복적으로 잡음을 줄이며, 출력이 반드시 잡음이나 깨끗한 이미지 자체인 것은 아니다 [10:56]

8. 텍스트 조건과 과거 프레임을 결합하는 트랜스포머

• 현대의 대규모 이미지 생성기는 주로 트랜스포머를 사용하며, 잡음 수준에 조건화해 반복적으로 이미지를 정제한다 [12:22]
• 원하는 장면을 지정하는 텍스트는 별도의 텍스트 인코더에서 임베딩으로 변환된다. 이 표현은 교차 어텐션 등의 방식으로 확산 트랜스포머에 전달된다 [12:56]

9. 다양한 제어 입력과 월드 액션 모델

• 비디오 월드 모델은 대규모 인터넷 영상으로 사전학습하며, 이전 프레임을 바탕으로 비워 둔 후속 프레임을 확산 과정으로 예측하도록 학습한다 [14:27]
• 추론 조건에는 인물 사진, 환경 지도, 동작 정보, 과거 프레임, 행동 입력이 들어갈 수 있다. 행동 입력은 방향키·텍스트뿐 아니라 시선, 생체 신호, 손과 머리의 추적 정보로도 구성할 수 있다 [15:08]

10. 개방 루프의 오류 누적과 관측·지도를 통한 고정

• 개방 루프에서는 생성한 프레임이 다음 생성의 문맥으로 다시 들어간다. 작은 오류가 시간에 따라 누적되며, 이 문제는 노출 편향이라고도 불린다 [17:37]
• 로봇이나 자율주행차의 폐쇄 루프에서는 행동 후 실제 카메라 관측을 새 문맥으로 사용할 수 있다. 생성 영상만 계속 재사용할 때 생기는 드리프트를 실제 관측으로 억제할 수 있다 [18:09]

11. 짧은 문맥이 초래하는 공간 기억 상실

• Oasis는 Minecraft 데이터로 학습한 초기 비디오 월드 모델 사례다. 이동·점프·달리기·아이템 사용 같은 행동에 따라 세계를 자기회귀적으로 생성한다 [19:19]
• 사용자가 하늘을 본 뒤 다시 아래를 보면 이전과 전혀 다른 세계가 나타날 수 있다. 결과는 Minecraft 장면으로서 그럴듯하지만, 이전에 본 장소와의 일관성은 유지되지 않는다 [20:00]

12. 영상 문맥을 늘리기 어려운 토큰·연산 비용

• 트랜스포머의 문맥 토큰이 늘면 어텐션 계산 비용이 학습 시 제곱에 비례해 증가하고, 추론 시에도 선형으로 증가한다. 긴 문맥을 그대로 넣는 방식에는 계산 자원의 한계가 있다 [20:51]
• 512×512 해상도, 초당 32프레임, 10초 길이의 영상 예시에서도 VAE 압축 이후 토큰 수가 빠르게 수십만 개에 이를 수 있다. 영상은 짧은 시간만으로도 큰 문맥 예산을 소비한다 [21:39]

13. 기억의 역할 분담과 FramePack의 시공간 압축

• 인간의 기억에는 시각·공간처럼 기능이 다른 체계와, 초 단위 작업 기억부터 수십 년에 이르는 장기 기억까지 서로 다른 시간 척도가 있다. 이 구분은 신경망의 기억 구조를 설계하는 유사점으로 활용할 수 있다 [23:02]
• FramePack은 모든 과거 프레임을 원래 해상도와 빈도로 보관하지 않는다. 오래된 프레임일수록 공간 해상도와 시간 샘플링 빈도를 낮추고, 이를 효율적으로 처리할 수 있는 구조로 묶어 문맥을 확장한다 [24:30]

14. 깊이와 포인트 클라우드를 활용한 명시적 공간 기억

• 모든 움직임을 시공간 전체에 걸쳐 기억하는 대신, 비교적 변하지 않는 3D 구조를 기억할 수 있다. 장소를 다시 방문했을 때 건물은 유지하되 나뭇잎이나 지나가는 사람까지 동일하게 재현할 필요는 없다는 접근이다 [25:49]
• 각 프레임의 RGB와 함께 깊이 지도를 생성하거나 다른 모델로 추출하고, 이를 전역적으로 일관된 포인트 클라우드에 통합한다. 에이전트가 이동할수록 환경의 3D 지도가 점차 구축된다 [26:40]

15. 지도에 조건화된 다중 플레이어 생성 환경

• 다중 에이전트 환경의 실험에는 대량의 데이터를 쉽게 만들 수 있는 Doom 엔진이 사용된다 [27:39]
• 수동 설계하거나 생성한 2D 지도에서 벽을 위로 확장하고, 플레이어 위치에 맞춰 깊이 또는 시차 지도를 렌더링한다. 이를 과거 프레임 및 이동·사격 행동과 함께 다음 프레임 생성의 조건으로 사용한다 [28:22]

16. 공간 구조의 지속성과 외관 기억의 한계

• 지도에 기반한 생성은 이전 장소로 돌아가도 장면의 기하 구조를 유지한다. 텍스처와 외관은 문맥 창에 의존하므로, 같은 장소라도 벽 타일의 색 같은 세부 표현은 달라질 수 있다 [29:29]
• 다중 플레이어 구성에서는 플레이어의 위치를 저장한다. 제공된 자막은 그 이후 설명이 이어지기 전에 끝나므로, 추가적인 상태 구성이나 동기화 방식은 확인할 수 없다 [29:56]

17. 공유 지도로 다중 사용자 환경의 상태를 유지한다

• 플레이어의 방향과 생존 상태 등을 각자의 생성 조건에 반영하면 플레이어별로 게임을 독립적으로 실행할 수 있다. 사용자 사이에서 공유해야 하는 핵심 정보는 지도다. [30:01]
• 연구실 구성원들이 약 30분 동안 플레이한 사례에서는 드리프트가 나타나지 않았다고 보여준다. 서버의 고성능 GPU 여러 대로 실행했으며, 약 일주일간 온라인에 공개해 수천 명이 이용했다. [30:16]

18. 카메라와 손을 제어해 생성 세계와 상호작용한다

• 단일 이미지를 입력받아 영상을 생성하면서 카메라의 위치와 방향을 지정할 수 있다. 이러한 카메라 제어는 여러 영상 생성 시스템에서 일반적인 기능이 됐다. [31:03]
• VR의 생성 환경에서는 추적된 머리 자세뿐 아니라 손의 움직임도 조건으로 넣어야 물체 조작과 상호작용이 가능하다. 생성된 개를 쓰다듬고 반응을 얻거나 손으로 게임을 하는 사례가 이에 해당한다. [31:33]

19. 장면의 시간과 카메라 움직임을 독립적으로 제어한다

• ‘불릿 타임’은 실제 입력 영상에서 카메라를 움직이면서 장면의 시간을 멈추는 시공간 제어다. 보통 함께 묶이는 장면 내부의 시간과 카메라 움직임을 독립적인 제어 변수로 분리한다. [32:17]
• 이러한 시공간 제어와 카메라 제어는 상용 영상 생성 시스템에도 반영되고 있다. 자막에서는 Atlas를 관련 기능을 제공하는 사례로 든다. [33:06]

20. 생성 영상의 역재생으로 누적 오류를 교정한다

• 자기회귀 생성을 계속하면 움직임이 이상해지고 색이 과포화되며 물체의 외형이 무너질 수 있다. 학습에서는 실제 영상의 깨끗한 프레임을 보지만 추론에서는 점차 품질이 나빠지는 생성 프레임을 입력받는 노출 편향 때문에 오류가 누적된다. [33:26]
• 로봇의 DAgger는 전문가가 실패 상태에서 복구하는 시범을 제공하지만, 사람이 잘못된 영상을 직접 수정하기는 어렵다. Bagger는 모델이 생성하다 열화된 영상을 역재생하고 역재생임을 알리는 텍스트 조건을 붙여, 열화 상태에서 회복하는 학습 자료로 사용한다. [34:22]

21. 로봇 정책 학습에서 시뮬레이터와 세계 모델의 한계가 드러난다

• 로봇 정책은 환경 관측을 다음 행동으로 연결한다. 전통적 시뮬레이터는 많은 데이터를 제공하지만 현실의 복잡성과 다양성을 충분히 담지 못해 시뮬레이션과 현실 사이의 격차가 생긴다. [37:20]
• 완벽한 세계 모델이 있다면 원칙적으로 이 격차를 줄일 수 있지만, 현재는 가능한 모든 행동과 상황을 시뮬레이션할 수준에 이르지 못했다. 전통적 시뮬레이터와 생성 모델을 결합하는 방식은 유망한 가능성으로 남아 있다. [38:04]

22. 행동 라벨의 부족을 비라벨 영상으로 넘어서려 한다

• Gemini에 물어 얻은 매우 거친 추정에서는 행동 라벨이 있는 영상이 약 2천 시간, 일반 온라인 영상이 약 20억 시간이었다. 작은 점과 큰 원으로 그 차이를 표현했으며, 같은 축척이라면 큰 원의 지름이 60m가 된다는 비유로 규모 차이를 강조한다. 이 수치들은 검증된 집계가 아닌 근사치다. [39:27]
• 대규모 모델과 데이터에서 나타나는 추론·문맥 내 학습 같은 능력을 로봇에서도 기대하려면 학습 규모를 키워야 한다는 관점이다. 이를 위해 로봇 데이터를 더 수집하거나, 이미 존재하는 행동 라벨 없는 영상을 활용하는 두 경로를 제시한다. [40:26]

23. 미래 영상 생성과 역동역학으로 정책을 분해한다

• 정책을 관측에서 행동으로 바로 매핑하는 대신, 현재 관측에서 미래 관측을 생성하도록 재정의한다. 이후 생성된 영상에서 손이나 로봇 팔의 말단 자세와 행동을 얻는 역동역학 문제로 연결하면 비라벨 영상을 학습에 활용할 수 있다. [41:17]
• 전체 문제는 실시간 인과적 영상 생성과 역동역학의 두 부분으로 나뉜다. 영상 생성에는 대규모 데이터가 필요하지만, 역동역학 모델은 상대적으로 적은 데이터로 학습할 수 있다는 것이 접근의 핵심이다. [42:04]

24. 긴 문맥과 계획·추론의 결합이 필요하다

• 긴 문맥은 3차원 구조와 과거 행동을 기억하고, 동역학을 외삽하며, 문맥 내 학습을 수행하는 데 필요하다. 현재보다 더 긴 문맥을 확보하는 문제는 계속 남는다. [44:54]
• 영상 모델과 VLM을 어떻게 결합할지도 미해결 문제다. 현재는 VLM에서 추론하는 방식이 흔하지만, 확산 모델 자체에서 추론하는 접근도 가능성으로 제시한다. [45:12]

25. 실시간 실행을 위한 효율과 생성 표현을 개선해야 한다

• 큰 모델과 많은 확산 단계는 실행 비용을 높인다. 30회나 50회 대신 1~2회로 생성하는 증류, 과제에 중요한 문맥 토큰만 사용하는 방식, 양자화·가지치기·모델 구조 개선이 연구 방향이다. [45:32]
• 현재 사용하는 VAE에는 한계가 있으며, 판별 과제가 아닌 생성 과제에 적합한 표현을 확장 가능한 방식으로 학습하는 방법이 필요하다. [46:06]

26. 시간 제어의 핵심 병목은 독립적인 학습 데이터다

• 일반적인 모델은 프레임 인덱스를 시간으로 취급하고 위치 임베딩으로 시공간적 거리를 표현한다. 그러나 장면의 전역 시간과 카메라 자세를 프레임 인덱스와 독립적으로 제어하려면 이러한 표현만으로는 부족하다. [47:39]
• 원하는 제어 변수를 정의하고 구조에 신호를 넣는 것뿐 아니라, 각 변수가 독립적으로 달라지는 학습 사례가 충분해야 한다. 따라서 시간 제어는 결국 학습 데이터 확보 문제로 귀결되는 경우가 많다. [48:12]

27. 짧은 예측과 검증을 반복해 실행 결과를 확인한다

• 폐루프에서는 약 1초나 몇 프레임 정도의 가까운 미래를 예측해 행동한 뒤, VLM이나 지각 모델로 실제 결과가 목표에 맞는지 확인할 수 있다. 실행 전에 여러 가능한 미래를 생성하고 원하는 결과를 선택하는 방법도 가능하다. [48:50]
• 다만 모델이 제안한 물리적 행동의 성공·안전·실행 가능성을 원칙적으로 보장하는 방법이 있다고 보지는 않는다. VLM을 상위 검증기로 쓸 수 있지만, 더 복잡하고 나은 검증 방법도 필요하다. [49:27]

28. 사전학습의 비용과 실시간 요구가 기반 모델 선택을 제한한다

• 사전학습에는 적절한 구조, 대규모 데이터와 라벨, 막대한 연산 자원이 필요하다. 이후 중간학습이나 사후학습으로 원하는 방향에 맞출 수는 있지만, 기반 모델을 만드는 어려움 자체가 사라지지는 않는다. [49:57]
• 실시간 게임에 140억 매개변수 확산 트랜스포머를 쓰면 강하게 증류해도 느리고 고성능 GPU가 필요할 수 있다. 실제 서비스에서는 비용과 함께 사용자의 입력에 즉시 반응하는 지연시간이 중요하다. [50:29]

29. 포인트 클라우드의 누적 저장이 장기 실행의 과제로 남는다

• 탐색하면서 얻은 포인트 클라우드는 동적 물체를 걸러낸 뒤 기존 지도에 병합한다. 그러나 장시간 실행할수록 점이 계속 늘어나므로 저장 문제가 생기며, 이 문제는 해결하지 못했다. [51:45]
• 모델에 조건을 넣을 때는 사용자 시점에서 포인트 클라우드를 렌더링한 이미지를 사용한다. 이 과정은 빠르고 희소한 영상은 압축도 가능하므로, 문맥 입력보다 계속 커지는 지도 자체가 더 큰 문제가 될 수 있다. 가우시안·메시·2차원 지도 등 다른 표현도 대안으로 거론한다. [52:16]

30. 물리적 관측에 근거한 짧은 행동 계획으로 환각을 다룬다

• 생성 모델은 가능한 내용을 만들어내므로 환각을 완전히 없애기보다 로봇의 실제 관측에 계속 근거하도록 하는 것이 중요하다는 입장이다. 카메라 관측을 바탕으로 다음 행동에 필요한 만큼만 가까운 미래를 생성하고 반복 실행한다. [52:59]
• 수분이나 수시간에 걸친 고수준 과제 분해는 VLM이 맡는 편이 적합하다고 본다. 영상 모델은 물체를 잡기 위한 다음 물리적 궤적처럼 짧은 동작 계획에 강점이 있지만, 그 이후의 과제까지 이해한다고 볼 수는 없다. [53:41]

🧾 결론

• 월드 모델의 가치는 생성 영상의 사실성과 함께 행동 제어, 공간의 지속성, 실제 실행 결과로 평가해야 한다.
• 명시적 지도와 학습된 생성 모델의 결합은 공간 일관성을 높이는 접근이다. 다만 기하 구조 유지가 텍스처와 외관의 완전한 보존까지 뜻하지는 않는다.
• 로봇에서는 실제 관측을 바탕으로 짧은 미래를 예측하고 행동한 뒤 결과를 확인하는 반복이 중요하다. 수분·수시간 단위의 고수준 과제 분해에는 VLM을 활용하는 역할 분담이 제시된다.
• 현재의 월드 모델은 모든 행동과 상황을 충분히 시뮬레이션하거나 물리적 행동의 성공·안전을 보장하는 수준에 이르지 못했다.

📈 투자·시사 포인트

• 로봇·자율주행 분야에서는 희귀 상황 데이터 생성과 비라벨 영상 활용이 학습 규모를 확대할 기회다. 사업성을 판단하려면 실제 정책 성능 개선으로 이어지는지 확인해야 한다.
• 실시간 서비스의 경쟁력에는 입력 반응 지연과 실행 비용이 직접 영향을 준다. 증류, 필요한 문맥의 선택, 양자화와 모델 구조 개선은 주요 효율화 방향이다.
• 지도·기억·검증 기술은 장시간 상호작용의 핵심 과제와 연결된다. 생성 품질과 함께 재방문 일관성, 오류 회복, 지도 저장 부담을 살펴볼 필요가 있다.
• 기반 모델 개발에는 대규모 데이터와 연산 자원이 필요하다. 기존 모델을 활용하는 제품도 목표 작업에 필요한 행동 제어와 신뢰성을 확보했는지 따로 평가해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 자료에 등장하는 World Labs·AMD 인수, Emmy Labs 자금 조달 등 거래명·주체·금액은 별도 검증이 필요하다. 제공된 내용만으로 확정된 투자 사실로 취급하기 어렵다.
• 행동 라벨 영상 약 2천 시간과 일반 온라인 영상 약 20억 시간은 Gemini에서 얻은 매우 거친 추정이다. 최신 이미지 생성기의 학습 데이터 규모 역시 확인된 공개 수치가 아닌 추정으로 제시된다.
• 약 30분 동안 드리프트가 관찰되지 않았다는 시연은 해당 실험의 결과다. 더 긴 실행, 다른 환경, 외관 일관성까지 보장하는 근거로 확대하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 활용 목적을 로봇 정책 학습, 자율주행 데이터 증강, 상호작용형 환경 중 하나로 정하고 필요한 행동 입력과 관측 출력을 명시한다.
• 평가 항목에 재방문 시 공간 일관성, 외관 변화, 오류 누적, 입력 반응 지연, 실행 비용을 포함한다.
• 문맥 압축과 지도 기반 기억을 비교할 때 유지되는 정보와 손실되는 정보를 구분하고, 장시간 실행 시 지도 저장량도 확인한다.
• 로봇 적용에서는 짧은 미래 예측→행동→실제 관측→결과 확인의 폐루프를 기준으로 검증 절차를 설계한다.

❓ 열린 질문

• 공간 구조와 외관을 장시간 유지하면서도 지도 저장량이 계속 늘어나는 문제를 어떻게 해결할 수 있을까?
• 비라벨 영상으로 학습한 미래 예측과 적은 행동 데이터로 학습한 역동역학은 다양한 로봇과 작업에 어느 범위까지 적용될까?
• VLM의 고수준 계획과 영상 모델의 짧은 동작 예측을 결합할 때, 실패를 감지하고 복구하는 검증기는 어떻게 구성해야 할까?