Why World Models Could Change Robotics, 3D, and Creativity

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Why World Models Could Change Robotics, 3D, and Creativity를 중심으로, 아틀라스의 중심 과제는 새로운 시점 예측이다. 이미지와 카메라 위치·방향을 조건으로 원하는 장면을 생성하며, RGB 이미지와 깊이를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 아틀라스의 중심 과제는 새로운 시점 예측이다. 이미지와 카메라 위치·방향을 조건으로 원하는 장면을 생성하며, RGB 이미지와 깊이 지도로 외관과 공간 구조를 함께 다룬다.
2. 생성과 재구성을 결합하면 촬영 부담을 낮출 수 있다. 스탠퍼드 데모에서는 지상 사진 3~25장으로 광장을 재구성하고 공중 시점을 만들었다. 다만 입력에 보이지 않은 부분은 관측 사실이 아니라 생성적 추정으로 채운다.
3. 마블이 가우시안 스플랫으로 출력했던 것과 달리, 아틀라스는 시점별 프레임과 3차원 정보를 직접 생성한다. 필요하면 가우시안 스플랫으로 변환할 수 있어 활용 목적에 따라 표현을 선택할 여지가 커졌다.
4. 창작에서는 카메라 제어와 공간 상태 유지가 중요하다. 불릿 타임 촬영, 영화·게임 환경 제작, 건축 설계에서 시점마다 구조가 바뀌는 문제와 반복 수정의 부담을 줄일 가능성이 있다.
5. 로봇 분야의 출발점은 실제 환경을 시뮬레이션으로 옮기는 비용과 데이터 부족이다. 환경 변형을 통한 학습 데이터 확충이 활용 방향이며, 세계의 반응을 예측해 행동을 선택하는 모델로의 확장은 향후 연구 과제다.

🧩 배경과 문제 정의

• 공간 지능에는 공간의 생성·추론·편집·상호작용 능력이 필요하다. 이를 위해서는 시각적으로 그럴듯한 이미지뿐 아니라 기하 구조와 카메라 위치에 맞는 장면을 만들어야 한다.
• 기존 3차원 재구성은 같은 공간을 여러 각도에서 촘촘하게 촬영해야 하므로 수집 비용이 크고, 가려진 부분은 빈틈으로 남기 쉽다.
• 아틀라스는 새로운 시점 예측을 중심으로 생성과 재구성을 결합한다. 적은 촬영 자료로 공간을 복원하고 카메라를 자유롭게 움직이는 능력은 영상 제작과 로봇 시뮬레이션의 활용 범위를 넓힐 수 있다.

🕒 시간순 섹션별 상세정리

1. 공간 생성·재구성·시뮬레이션과 불릿 타임

• 아틀라스는 이미지와 카메라 경로를 받아 원하는 시점의 프레임을 생성하고, 1~100개의 입력 프레임으로 공간을 재구성한다. 활용 범위에는 불릿 타임 영상과 로봇 시뮬레이션이 포함된다. [01:05]
• 영화 「매트릭스」의 불릿 타임은 수백 대의 카메라와 그린 스크린을 사용했지만, 아틀라스의 사례에서는 삼각대에 설치한 아이폰 3대로 촬영한다. 촬영 뒤 시간을 멈춘 듯한 장면에서 카메라 위치를 바꾸며, 별도 스튜디오나 고가의 보정 작업 없이 구도를 조정한다. [02:18]

2. 새로운 시점 예측과 명시적인 카메라 제어

• 새로운 시점 예측은 장면의 이미지나 설명을 공간 맥락으로 받아, 특정 시공간에 놓인 가상 카메라에서 보일 모습을 예측하는 작업이다. 다음 토큰이나 다음 프레임 예측과 달리 관찰 위치가 핵심 조건이다. [02:55]
• 입력 이미지마다 3차원 카메라 위치와 방향이 연결되므로 공간 배치와 시점을 직접 제어할 수 있다. 실제 사진이나 생성 이미지를 원하는 위치에 배치해 이동 영상을 구성하며, 텍스트 지시와 반복 생성에 의존하는 방식보다 구체적인 제어가 가능하다. [04:08]

3. 생성과 재구성을 통합하는 멀티모달 구조

• 기존에 별도 분야로 발전했던 3차원 재구성과 이미지 생성을 하나의 아키텍처에서 처리한다. 텍스트·이미지·영상뿐 아니라 카메라 위치와 방향, 3차원 정보도 처음부터 모델의 기본 입력 체계에 포함한다. [05:27]
• 현재 3차원 정보의 표현에는 깊이 지도를 사용한다. 카메라 위치와 매개변수를 바탕으로 RGB 이미지와 깊이 지도를 얻어, 같은 시점에서의 외관과 공간 구조를 함께 다룬다. [06:37]

4. 공간 지능의 기반이 되는 기하 구조

• 공간 지능은 공간을 만들고 추론하며 편집하고 상호작용하는 능력이다. 렌더링·시뮬레이션·행동 계획으로 확장하려면 공간의 기하 구조와 물리적 성질을 이해해야 하며, 시간까지 포함하면 4차원 문제가 된다. [08:50]
• 공간적 근거를 갖춘 픽셀 생성은 공간 지능의 중요한 단계다. 시간에 따른 동적 변화와 더 정밀한 공간 시뮬레이션은 그다음 확장 과제로 남는다. [10:05]

5. 마블에서 아틀라스로 바뀐 출력 방식

• 이전 모델 마블은 이미지·영상·텍스트로 3차원 세계를 만들고 가우시안 스플랫으로 출력한다. 이 표현은 모바일·가상현실 기기에서 효율적으로 렌더링할 수 있고 게임·시뮬레이션 엔진과도 연동할 수 있지만, 출력 방식을 제한하는 병목이기도 했다. [11:15]
• 아틀라스는 가우시안 스플랫 생성 대신 새로운 시점 예측을 기본 작업으로 삼는다. RGB 프레임과 3차원 정보를 직접 생성하고, 필요할 때 이를 가우시안 스플랫으로 변환해 용도에 맞는 표현을 선택한다. [12:08]

6. 확장 가능한 설계를 찾기 위한 실험

• 창업 초기에는 공간 지능의 스케일링 법칙이 확립되지 않아 작은 모델과 실험으로 확장 가능성을 확인해야 했다. 현재의 설계에 도달하기까지 여러 차례 접근법을 수정했다. [12:38]
• 여러 시점을 생성한 뒤 3차원으로 결합할지, 처음부터 3차원을 직접 생성할지가 주요 설계 쟁점이었다. 밀집 재구성에서 관측량 증가가 성능을 높였던 경험은 여러 시점을 활용하는 접근의 가능성을 뒷받침했지만, 어떤 방식이 우세할지는 불확실했다. [13:33]

7. 밀집 재구성의 촬영 부담

• 전통적인 밀집 재구성에서는 복원할 각 부분을 최소 3~4개 시점에서 관측해야 한다. 마이크와 탁자 아래, 식물 잎 사이까지 촬영해야 하므로 작은 공간도 빠짐없이 기록하기 어렵다. [15:02]
• 숙련자에게 몇 분 걸리는 촬영도 초보자에게는 한 시간가량 걸릴 수 있으며, 여러 방을 처음 스캔하면서 약 두 시간을 쓴 사례도 있다. 방 하나에 약 100~300장의 사진이 필요한 수준이어서 촬영 자체가 큰 작업 부담이다. [15:34]

8. 희소 입력이 넓히는 재구성 대상

• 방 하나의 촬영량을 수백 장에서 약 3장으로 줄이는 목표는 과거 사진과 일반 영상까지 재구성 대상으로 넓힌다. 기존 방식으로 처리하기 어려웠던 개인 사진을 재구성하거나, 원래 촬영분의 95%를 제외하고도 새로운 시점을 얻은 사례가 있다. [16:04]
• 스탠퍼드 데모는 3~25장의 지상 사진으로 광장 공간을 재구성하고 공중 시점을 만든다. 입력에 없던 시점은 생성하면서도 관측한 공간 구조에 맞춰야 하므로, 생성과 재구성이 함께 작동해야 한다. [16:57]

9. 보이지 않는 부분을 채우는 생성 능력

• 전통적인 재구성은 여러 이미지에서 같은 점을 찾아 삼각측량하므로, 어느 입력에도 보이지 않은 부분은 구멍으로 남는다. 이런 빈틈은 직접 관측한 사실만으로 복원할 수 없어 생성적 추정이 필요하다. [17:29]
• 수백 장을 촬영해도 가구 아래나 의자 다리 사이처럼 빠지는 영역이 생긴다. 관측 가능한 부분은 기하학적으로 복원하고, 누락 영역은 주변 정보를 바탕으로 추정해 채우는 결합이 필요하다. [18:07]

10. 긴 공간 맥락으로 연결되는 생성과 재구성

• 재구성은 관측 자료를 더 많이 제공하는 생성 작업으로 해석할 수 있다. 입력 맥락을 길게 확장하면 모델이 참고할 공간 정보가 늘어나며, 생성과 재구성을 연속적인 작업으로 연결할 수 있다. [18:43]
• 마블은 두 장을 넘는 이미지 입력에 근본적인 제약이 있었지만, 아틀라스는 64장으로 집 전체의 이동 영상을 구성할 수 있다. 여러 방을 찍은 2,000장을 약 30~40장으로 줄이고도 비슷한 이동 영상을 얻은 사례는 확장 가능한 맥락 창의 효과를 보여준다. [19:25]

11. 가상 카메라 탐색과 3차원 일관성의 과제

• 아틀라스는 이미지 한 장에서도 시작해 원하는 위치의 시점을 추가로 생성하는 렌더링 엔진처럼 사용할 수 있다. 자기회귀 방식으로 장면을 순차 생성하면서 사용자가 어떤 결과를 다음 맥락에 넣을지 선택할 수 있다. [20:21]
• 여러 사진 사이에서 생성한 장면이 하나의 3차원 공간으로 일관되게 맞물리는지가 핵심 기술 과제다. 이를 달성할 수 있다는 기대의 일부는 스케일링 가설에 근거하며, 이 구간만으로 구체적인 일관성 확보 원리까지 확인할 수는 없다. [21:15]

12. 아틀라스의 초기 성과와 학습 연산량의 병목

• 새로운 아키텍처와 학습 방식의 첫 사전학습은 불확실성이 컸지만, 목표 품질에 도달하는 속도와 결과는 초기 예상보다 좋았다. 추가 학습 주기를 여러 차례 거쳐야 할 가능성도 있었으나 성과가 더 빨리 나타났다. [22:20]
• 모델 크기, 학습 시간, 칩 수를 늘릴 때마다 성능이 뚜렷하게 개선됐다. 공개 모델의 규모는 확장 한계보다 출시 일정 안에서 확보할 수 있는 학습 연산량에 좌우됐다. [23:07]

13. 새로운 시점 생성의 성과와 직접적인 이미지 수요

• 현재 아틀라스보다 작은 초기 모델에서도 테이블 아래로 카메라가 이동하는 시점 생성 결과가 나왔다. 이 결과가 개발 방향을 확정하는 계기가 됐다. [23:51]
• 기존 마블 사용자는 이미지 한 장으로 가우시안 스플랫 기반 3차원 장면을 만든 뒤, 다른 각도의 스크린샷만 추출하기도 했다. 필요한 결과가 시점별 이미지라면 이를 직접 생성해 중간 3차원 표현에서 발생하는 품질 저하를 줄일 여지가 있다. [25:17]

14. 창작 도구를 연결하는 일관된 3차원 공간

• 창작 과정은 이미지 모델로 만든 스토리보드·무드보드를 영상 도구의 키프레임으로 옮기고, 클립을 편집하는 여러 단계로 구성된다. 일관된 3차원 공간은 이 과정에서 시점마다 건물이나 사물의 구조가 달라지는 문제를 줄이는 기반이다. [25:52]
• 영화 세트, 소품, 게임 환경은 상태와 배치가 지속적으로 유지돼야 한다. 자산을 축적하면서 세계를 수정하려면 공간 맥락을 보존하고 장면을 정밀하게 제어할 수 있어야 한다. [26:43]

15. 건축과 설계의 반복 수정 비용

• 가상 공간 생성의 활용 범위는 영화와 게임을 넘어 건축·시공·전시 부스의 사전 설계까지 넓어진다. 실제로 만들 공간을 먼저 가상으로 구성하는 과정에서 3차원 소프트웨어 작업이 큰 부담을 차지한다. [27:43]
• 말이나 스케치로 받은 피드백을 3차원 표현으로 옮기는 일이 작업의 약 95%를 차지한다는 현장 추정이 나온다. 회의 후 수정에 일주일이 걸리는 사례처럼, 의도를 모델에 반영하는 과정이 길어 AI가 이를 단축할 여지가 크다. [28:13]

16. 로봇 학습을 막는 환경 재구성과 데이터 부족

• 인수한 시냅스의 핵심 기술은 실제 환경을 시뮬레이션으로 옮기고, 학습 결과를 다시 현실에 적용하는 체계다. 산업용 케이블 작업을 하는 로봇 팔도 정책 학습, 성능 평가, 현장 배치에 필요한 데이터를 확보해야 한다. [29:26]
• 환경을 촘촘히 촬영해 재구성하는 기존 방식은 시간과 노동이 많이 들어 시뮬레이션 구축을 지연시킨다. 현재 로봇 학습의 주요 병목은 데이터이며, 아틀라스는 실제 환경을 가상 환경으로 옮기는 부담을 줄일 후보 기술이다. [30:12]

17. 환경 무작위화와 행동 계획으로의 확장

• 로봇 학습에는 같은 작업 환경의 다양한 변형이 필요하다. 케이블의 굽힘 방향이나 상자의 크기·색상·뚜껑·위치를 바꾸는 무작위화가 필요하며, 실제 환경을 시뮬레이션으로 전환하면 이런 데이터를 확충할 수 있다. [31:18]
• 충분히 강력한 로봇용 기반 모델은 아직 부족하다. 다양한 입출력을 다루는 아틀라스에 동적 데이터를 추가하면 공간 생성 결과를 로봇의 행동 계획과 연결할 가능성이 있다. [31:58]

18. 실패를 학습하는 시뮬레이터와 행동하는 월드 모델

• 로봇 정책은 정적인 결과물을 만드는 데 그치지 않고 현실과 상호작용하며 목표를 달성해야 한다. 환경이 예상과 다르게 반응할 수 있으므로, 학습 중에도 배치 이후 발생할 실패 상황을 경험해야 한다. [33:14]
• 시뮬레이션에는 사람이 물리 엔진과 코드로 상황을 설계하는 방식과, 데이터로 환경의 반응을 학습하는 방식이 있다. 학습된 신경망 시뮬레이터를 로봇 정책의 훈련 환경으로 활용하는 것이 향후 연구 방향이다. [33:50]

19. 동적 세계를 학습해 정적 장면까지 개선하는 방식

• 마블은 아키텍처와 학습 자체가 정적 장면에 맞춰져 있었지만, 아틀라스는 동적 변화를 지원하는 구조와 학습 데이터를 갖췄다. 공개 결과에도 물결과 이동하는 작은 자동차 같은 초기 움직임이 포함돼 있다. [35:55]
• 정확한 3차원 재구성에는 동일한 시점의 장면을 여러 각도에서 표현해야 하지만, 완전히 정적인 데이터만 모으기는 어렵다. 정적·동적 데이터를 함께 학습하고 움직이는 요소를 구분하게 하는 접근은 정적 출력의 품질 개선에도 유리할 수 있다. [36:54]

20. 생성 품질을 유지하는 편집과 상호작용

• 다중모달 제어와 편집 기능은 모델이 가진 능력을 사용자의 의도에 맞게 활용하는 데 중요하다. 인물·사물·사건을 여러 차례의 지시로 조합하는 방식은 이미지에서 발전했지만, 영상과 월드 모델에서는 아직 활용이 제한적이다. [38:25]
• 산업적 활용에는 제어 기능을 늘리면서도 출력 품질을 유지해야 한다. 장면과의 상호작용, 배치, 대상의 정체성, 시간 흐름을 조절하는 기능은 상태가 유지되는 3차원 세계의 인터페이스를 새롭게 설계할 기회를 만든다. [39:26]

21. 지각과 상호작용을 연결하는 지능의 조건

• 지능은 공간을 보고 해석하는 능력에 더해 경험과 상호작용을 연결하는 능력을 포함한다. 월드 모델의 확장 방향도 관찰에서 경험과 행동으로 이어지는 연결에 있다. [40:34]
• 인공지능 완전성은 어떤 과제를 모든 경우에 걸쳐 해결하려면 일반적인 지능 문제까지 풀어야 한다는 개념이다. 추리소설의 마지막 문장인 ‘범인은…’의 다음 토큰을 맞히려면 이야기 전체를 추론해야 한다는 예시는 다음 토큰 예측의 범용성을 뒷받침하는 논거다. [41:35]

22. 새로운 시점 예측의 범용 지능 가능성

• 생성형 새 시점 예측도 인공지능 완전성을 가질 수 있다는 가설이 있다. 영화의 앞선 장면을 바탕으로 등장할 범인을 예측하거나, 수학 증명이 적힌 장면을 정확히 생성하려면 시각적 외형을 넘어 내용에 대한 추론이 필요하다는 논리다. [42:14]
• 이동하는 동물은 움직일 때마다 새로운 시각 정보를 접하므로, 시점 변화의 예측은 지각과 행동을 연결하는 문제다. 이러한 진화적 관점은 새 시점 예측이 다음 토큰 예측에 견줄 범용 학습 과제가 될 수 있다는 가설로 계속된다. [42:43]

🧾 결론

• 핵심 변화는 공간 재구성과 이미지 생성을 연결해, 관측한 구조를 활용하면서 새로운 시점까지 만들어내는 데 있다.
• 산업적 유용성은 시각적 품질뿐 아니라 여러 시점의 기하학적 일관성, 정밀한 제어, 공간 상태 유지에 달려 있다.
• 현재 공개 체크포인트의 후속 학습은 정적 장면과 공간 이동에 집중했다. 동적 세계의 시뮬레이션과 로봇 행동 계획까지 완성됐다고 보기는 어렵다.

📈 투자·시사 포인트

• 창작·설계 도구의 도입 가치는 촬영량과 수정 시간을 얼마나 줄이는지로 평가할 수 있다. 설계 작업의 약 95%가 피드백을 3차원 표현으로 옮기는 데 쓰인다는 수치는 현장 추정으로 제시됐다.
• 로봇 분야에서는 실제 환경의 가상화와 환경 무작위화가 데이터 확보 비용을 낮추는지 주목필요가 있다. 시뮬레이션 구축 부담 감소가 현실의 정책 성능 개선으로 이어지는지도 확인해야 한다.
• 모델 크기·학습 시간·칩 수 증가에 따른 성능 개선이 보고됐다. 연산 자원 확보가 개발 속도에 영향을 주지만, 이 자료만으로 확장의 경제성이나 수익성을 판단할 수는 없다.
• 창작 도구의 경쟁 요소로 장면 배치, 대상의 정체성, 시간 흐름을 제어하는 인터페이스가 부각된다. 기능을 추가하면서 생성 품질을 유지하는 능력이 중요하다.

⚠️ 불확실하거나 확인이 필요한 부분

• 여러 시점의 결과가 하나의 3차원 공간으로 일관되게 맞물리는 구체적인 원리는 제시된 설명만으로 확인되지 않는다. 기대의 일부는 스케일링 가설에 근거한다.
• 적은 사진으로 재구성한 사례는 입력 축소의 가능성을 보여주지만, 모든 공간에서 같은 품질을 보장하는 기준은 아니다. 가려진 영역의 추정이 실제 구조와 일치하는지도 별도 검증이 필요하다.
• 초기 움직임이 공개됐어도 정밀한 물리 시뮬레이션이나 로봇 행동 계획의 완성을 뜻하지는 않는다. 공개 체크포인트는 정적 장면과 공간 이동에 집중했다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 같은 공간을 촬영한 자료에서 입력 사진 수를 줄여가며 시점별 구조 일관성과 누락 영역의 정확도를 비교한다.
• 관측 자료로 복원한 부분과 생성적으로 채운 부분을 구분해, 실제 구조 확인이 필요한 용도에 적합한지 검토한다.
• 창작·설계 작업 하나를 선정해 촬영 시간, 수정 시간, 카메라 제어 가능 범위, 결과 품질을 기존 과정과 비교한다.
• 로봇 활용에서는 환경 재구성 시간과 변형 환경 생성 능력을 확인하고, 학습 결과가 현실에서도 유지되는지 평가한다.

❓ 열린 질문

• 입력 사진이 적고 가려진 영역이 많을 때도 어느 수준까지 실제 공간의 구조를 유지할 수 있을까?
• 연산량 확대만으로 시점 간 일관성이 충분히 개선될까, 아니면 추가적인 구조적 장치가 필요할까?
• 동적 세계의 반응 예측을 로봇의 행동 선택으로 연결하려면 어떤 데이터와 검증이 더 필요할까?