🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

몰모모션은 영상 관찰, 객체의 3차원 질의점, 행동 지시를 결합해 향후 수초간의 객체 움직임을 예측하고, 그 궤적을 로봇 계획과 제어 가능한 영상 생성에 활용하는 언어 기반 3차원 동작 예측 모델이다.

📌 핵심 요약

• 몰모모션은 이미 일어난 움직임을 추적하는 데서 나아가, 현재 관찰과 언어 지시를 바탕으로 객체 표면의 3차원 점들이 앞으로 어떻게 이동할지 예측한다.
• 객체에 부착된 희소한 3차원 점을 공유 세계 좌표계에서 표현함으로써 객체 종류에 구애받지 않고, 시점 변화에 안정적이며, 로봇 정책이나 영상 생성 모델에 직접 전달할 수 있는 궤적을 만든다.
• 모델은 몰모 2를 기반으로 하며, 좌표를 시간순으로 생성하는 자기회귀형과 잡음에서 연속 궤적을 복원해 여러 가능한 미래를 다루는 흐름 정합형의 두 가지 변형으로 학습됐다.
• 학습을 위해 116만 개 영상에서 736가지 동작 유형과 5천600개의 객체를 포괄하는 몰모모션-100만 데이터셋을 구축했고, 2천700개 영상으로 구성된 사람 검증 벤치마크 포인트모션벤치를 함께 공개했다.
• 포인트모션벤치에서 기존 예측 방법보다 높은 정확도를 보였으며, 로봇 집기·배치 성공률과 학습 효율을 개선하고 영상 생성에서도 측정한 다섯 가지 동작 지표를 모두 향상시켰지만, 객체당 여덟 개 질의점만 사용해 복잡한 변형 동작을 조밀하게 표현하는 데에는 한계가 있다.

🧩 주요 포인트

1. 몰모모션은 이미 일어난 움직임을 추적하는 데서 나아가, 현재 관찰과 언어 지시를 바탕으로 객체 표면의 3차원 점들이 앞으로 어떻게 이동할지 예측한다.
2. 객체에 부착된 희소한 3차원 점을 공유 세계 좌표계에서 표현함으로써 객체 종류에 구애받지 않고, 시점 변화에 안정적이며, 로봇 정책이나 영상 생성 모델에 직접 전달할 수 있는 궤적을 만든다.
3. 모델은 몰모 2를 기반으로 하며, 좌표를 시간순으로 생성하는 자기회귀형과 잡음에서 연속 궤적을 복원해 여러 가능한 미래를 다루는 흐름 정합형의 두 가지 변형으로 학습됐다.
4. 학습을 위해 116만 개 영상에서 736가지 동작 유형과 5천600개의 객체를 포괄하는 몰모모션-100만 데이터셋을 구축했고, 2천700개 영상으로 구성된 사람 검증 벤치마크 포인트모션벤치를 함께 공개했다.
5. 포인트모션벤치에서 기존 예측 방법보다 높은 정확도를 보였으며, 로봇 집기·배치 성공률과 학습 효율을 개선하고 영상 생성에서도 측정한 다섯 가지 동작 지표를 모두 향상시켰지만, 객체당 여덟 개 질의점만 사용해 복잡한 변형 동작을 조밀하게 표현하는 데에는 한계가 있다.

🧠 상세 정리

1. 관찰을 넘어 미래의 움직임을 예측하는 문제

현대 모델은 영상에서 객체와 점이 이미 어떻게 움직였는지를 높은 신뢰도로 추적할 수 있지만, 이러한 지각은 본질적으로 과거에 일어난 일을 설명하는 작업이다. 반면 로봇이 컵을 잡거나 영상 생성기가 물리적으로 자연스러운 다음 장면을 만들려면 실제 움직임이 발생하기 전에 그 경로를 예상해야 한다. 몰모모션은 이 차이를 겨냥해 현재 영상 관찰, 객체에 표시된 3차원 질의점, 의도한 행동을 설명하는 언어 지시를 입력받고 향후 수초간 각 점의 3차원 궤적을 출력한다. 예를 들어 과일이 담긴 나무 그릇을 옮기고 회전하라는 지시가 주어지면, 지시 대상 객체를 파악한 뒤 그릇에 속한 점들이 공간에서 이동할 미래 경로를 예측하며, 이 결과는 로봇 계획이나 궤적 조건부 영상 생성에 사용될 수 있다.

2. 객체 부착형 3차원 점으로 표현한 동작

몰모모션은 전체 영상을 직접 렌더링하는 대신 객체 표면에 부착된 희소한 3차원 점들의 세계 좌표계상 이동으로 동작을 표현한다. 연구진은 일반적인 동작 표현에 필요한 조건으로 특정 객체 범주나 신체 틀에 종속되지 않을 것, 카메라와 관점이 바뀌어도 동일한 물리적 움직임을 일관되게 나타낼 것, 후속 시스템이 직접 사용할 수 있을 것을 제시했다. 희소 표면점은 객체의 종류를 미리 가정하지 않고도 강체, 관절형 객체, 일정 범위의 변형 객체 움직임을 기술하며, 공유 세계 좌표계에 놓이므로 카메라 이동과 시점 변화에도 궤적이 안정적으로 유지된다. 또한 결과가 간결하고 명시적인 3차원 궤적이기 때문에 로봇 정책이나 영상 생성 모델이 별도의 전체 영상 표현을 해석하지 않고 바로 활용할 수 있다.

3. 언어와 시각 정보를 연결하는 두 가지 예측 방식

몰모모션은 몰모 2를 기반으로 짧은 영상 이력, 행동 설명, 질의점의 초기 3차원 위치를 함께 처리한다. 모델은 먼저 언어 지시가 가리키는 객체와 질의점을 식별하고, 지시가 뜻하는 움직임을 해석한 다음 각 점의 미래 3차원 궤적을 예측한다. 자기회귀형인 몰모모션-자기회귀는 3차원 좌표를 구조화된 텍스트로 나타내 시간순으로 하나씩 생성하며, 새 좌표가 앞서 생성한 궤적에 조건화되기 때문에 경로가 명확한 상황에서 부드러운 전개와 가장 높은 정확도를 보인다. 흐름 정합형인 몰모모션-흐름정합은 잡음을 연속적인 3차원 동작으로 변환해 궤적을 직접 표현하므로, 하나의 지시에서 여러 미래 경로가 가능할 때 불확실성을 나타내는 데 더 적합하다.

4. 몰모모션-100만 데이터셋의 자동 구축

모델 학습에는 특정 객체에 연결된 3차원 점 궤적과 행동 설명을 함께 제공하는 대규모 자료가 필요했지만, 기존 3차원 추적 데이터셋은 규모가 작고 적용 영역도 제한적이었다. 인터넷 영상은 규모와 다양성은 충분했으나 3차원 주석이 없었기 때문에, 연구진은 제약 없는 영상에서 객체 중심의 3차원 궤적을 자동 추출하는 파이프라인을 만들었다. 이 과정은 움직이는 객체를 언어 설명에 맞춰 찾고 표면의 질의점을 선택한 뒤, 조밀한 2차원 점을 추적하고 이를 공유된 미터 단위의 3차원 좌표계로 변환한다. 이후 깊이 및 추적 오류로 흔들리거나 표류하는 점을 객체 수준의 공간·시간 일관성에 따라 걸러내고, 남은 궤적을 평활화하며, 객체가 실제로 의미 있게 움직이는 구간만 잘라낸다. 그 결과 116만 개 영상에서 736가지 동작 유형과 5천600개의 서로 다른 객체를 포함하는 몰모모션-100만이 구축됐다.

5. 실제 미래 궤적을 평가하는 포인트모션벤치

연구진은 모델이 만들어 낸 궤적이 단순히 그럴듯해 보이는지를 넘어 실제 미래 움직임과 얼마나 일치하는지 정량적으로 측정하기 위해 포인트모션벤치를 구축했다. 이 벤치마크는 사람이 검증한 보류 데이터 2천700개 영상으로 구성되며, 111개 객체 범주와 61가지 동작 유형을 포괄한다. 평가 장면에는 실내 물체 조작, 1인칭 시점의 손과 객체 상호작용, 실외의 동적 장면이 포함돼 서로 다른 환경과 관점을 시험한다. 각 영상에서 모델은 현재 관찰, 객체의 질의점, 행동 설명을 입력받고, 예측한 3차원 점 궤적이 객체의 실제 미래 움직임과 얼마나 정확히 일치하는지 평가받는다. 이 설계는 생성된 점의 이동이 시각적으로 자연스러운지만 보는 대신, 객체 중심의 3차원 동작 예측 정확도를 직접 비교하게 한다.

6. 기존 3차원 동작 예측 방법과의 성능 비교

몰모모션의 실험은 미래 3차원 동작 예측 정확도, 로봇 조작에 대한 전이 효과, 생성 영상의 동작 제어 효과라는 세 축으로 진행됐다. 포인트모션벤치에서는 픽셀 공간 영상 생성기, 매개변수 기반 3차원 방법, 단순한 등속도 기준선을 포함해 연구진이 시험한 모든 기존 3차원 동작 예측 방법보다 높은 성능을 기록했다. 모델은 천 위에서 앞뒤로 움직이는 먼지 제거 롤러, 탁자 위에서 미끄러지며 회전하는 그릇, 오른쪽으로 걸으며 부리를 물에 담그는 홍학, 굽은 도로를 따라 회전하는 자동차처럼 종류가 다른 동작을 예측했다. 각 사례에서 예측 경로는 주어진 언어 지시를 따르면서 벤치마크의 실제 움직임에 매우 가깝게 유지돼, 특정 객체 틀에 한정되지 않은 동작 예측 능력을 보여줬다.

7. 로봇 계획에서 확인된 전이와 학습 효율

연구진은 사람이 컵을 들어 올리는 행동과 로봇 집게가 컵을 드는 행동은 수행 주체가 다르지만 컵 자체의 3차원 경로는 비슷할 수 있다는 점에 주목했다. 실제 로봇 조작 영상으로 구성된 대규모 공개 데이터셋 드로이드로 미세 조정한 결과, 몰모모션은 여러 객체, 카메라 관점, 장면, 작업에 걸쳐 합리적인 객체 이동 경로를 예측했다. 시뮬레이션의 집기·배치 과제에서 몰모모션 기반 제어 정책은 76.3퍼센트의 성공률을 기록해 몰모 2 기반 동일 정책의 56.0퍼센트를 앞섰다. 학습 1만 단계 시점의 성공률도 몰모모션 기반 정책은 51퍼센트였지만 몰모 2 기반 정책은 19퍼센트에 머물렀다. 실제 로봇에서는 몰모 2 기준선이 1만2천 단계 뒤 도달한 시험 제곱거리 오차 수준에 몰모모션이 약 2천 단계 만에 도달해 학습 효율의 차이를 보였다.

8. 영상 생성 활용과 현재의 한계

몰모모션이 예측한 3차원 경로는 이미지 기반 영상 생성 모델의 움직임을 제어하는 조건으로도 사용됐다. 텍스트 지시만 주고 생성 모델이 움직임을 추측하게 하는 대신 예측 궤적을 함께 입력하면, 언어로는 모호하게 표현되기 쉬운 작고 정밀한 동작까지 요청한 행동을 더 충실하게 따르는 영상이 만들어졌다. 측정 결과 몰모모션으로 영상 생성기를 유도했을 때 기준 모델보다 다섯 가지 동작 관련 지표가 모두 향상됐고, 훨씬 큰 이미지 기반 영상 모델과 비교해서도 다섯 지표 중 네 지표에서 앞섰다. 다만 학습 중 객체마다 여덟 개의 질의점만 사용하므로 유용한 궤적을 예측할 수는 있어도 표면 형상을 조밀하게 표현하지는 못하며, 이 때문에 복잡한 변형 동작을 처리하는 능력이 제한된다. 연구진은 범주별 틀 없이 일반 객체의 미래 움직임을 예측하는 것이 기계 지능의 핵심 능력이라고 보고 모델 가중치, 데이터셋, 벤치마크를 공개했다.

🧾 핵심 주장 / 시사점

• 몰모모션의 핵심은 미래 영상을 직접 생성하는 것이 아니라, 객체의 물리적 움직임을 공유 세계 좌표계의 희소한 3차원 점 궤적으로 분리해 예측한다는 데 있다. 이 표현은 동일한 예측 결과를 로봇 정책과 영상 생성 모델처럼 성격이 다른 후속 시스템에 전달할 수 있게 한다.
• 자기회귀형과 흐름 정합형은 하나가 다른 하나를 단순히 대체하는 관계가 아니다. 미래 경로가 비교적 명확할 때는 시간순 좌표 생성이 정확도와 부드러움에 유리하고, 여러 경로가 가능한 상황에서는 연속 공간의 흐름 정합 방식이 불확실성을 다루는 데 적합하다는 역할 차이가 있다.
• 실험 결과는 영상에서 학습한 객체 움직임 지식이 예측 정확도에만 머물지 않고 로봇 조작의 성공률과 학습 속도, 생성 영상의 동작 품질로 이어질 수 있음을 보여준다. 동시에 여덟 개 질의점이라는 희소한 표현의 장점이 복잡한 변형 객체에서는 표면 형상을 충분히 나타내지 못하는 한계로 연결된다.

✅ 액션 아이템

• 몰모모션-100만 학습 영상 116만 건과 포인트모션벤치 2,700개 영상을 사용해 두 변형의 수초 예측 성능과 다중 미래 추정 일관성을 재비교한다.
• 공유 세계 좌표계의 3차원 질의점 궤적이 시점 변화 및 객체 종류 변경에서 로봇 정책·영상 생성으로 안정적으로 전달되는지 점검한다.
• 객체당 8개 질의점 제약에서 복잡한 변형 동작의 디테일 손실이 언제 발생하는지 계량화해 성능 저하 유형을 분리한다.

❓ 열린 질문

• 복잡한 변형 동작에서 객체당 8개 질의점이 놓치는 정보는 어떤 동작 축에서 가장 크게 발생하는가?
• 언어 지시가 모호할 때 자기회귀형과 흐름 정합형 중 어느 변형이 예측 안정성과 정밀도를 더 잘 유지하는가?
• 실무 환경에서 로봇 집기·배치 성공률 개선과 영상 다섯 지표 개선이 동시에 재현될지 어떤 기준으로 판단할 것인가?