Introducing Waypoint-1: Real-time interactive video diffusion from Overworld

🖼️ 인포그래픽

Introducing Waypoint-1: Real-time interactive video diffusion from Overworld 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

웨이포인트-1은 텍스트·마우스·키보드 입력을 매 프레임 반영해 실시간으로 상호작용 가능한 세계를 생성하는 오버월드의 비디오 확산 모델이다.

📌 핵심 요약

웨이포인트-1은 초기 프레임을 바탕으로 새로운 장면을 연속 생성하며, 사용자가 텍스트와 마우스·키보드로 생성 세계를 직접 조작할 수 있는 실시간 상호작용형 비디오 확산 모델이다.
모델은 제어 입력 및 텍스트 설명과 짝지어진 1만 시간의 다양한 비디오 게임 영상으로 학습한 프레임 인과적 정류 흐름 트랜스포머이며, 압축된 프레임 표현을 사용하는 잠재 모델이다.
사전 학습에는 과거 프레임으로부터 미래 프레임의 노이즈를 제거하는 확산 강제 기법이 사용됐고, 추론 과정과의 불일치로 발생하는 장기 생성 오류를 줄이기 위해 자기 강제 방식으로 후속 학습했다.
전용 추론 라이브러리인 월드엔진은 프레임 이미지, 텍스트, 키보드 및 마우스 입력을 받아 실시간 스트리밍용 이미지를 생성하며, 낮은 지연과 높은 처리량을 위해 여러 실행 최적화를 적용한다.
23억 매개변수 규모의 웨이포인트-1 스몰은 지포스 5090에서 프레임당 256토큰 기준 초당 약 3만 토큰 패스를 처리하며, 4단계에서는 초당 30프레임, 2단계에서는 초당 60프레임을 달성한다.

🧩 주요 포인트

웨이포인트-1은 초기 프레임을 바탕으로 새로운 장면을 연속 생성하며, 사용자가 텍스트와 마우스·키보드로 생성 세계를 직접 조작할 수 있는 실시간 상호작용형 비디오 확산 모델이다.
모델은 제어 입력 및 텍스트 설명과 짝지어진 1만 시간의 다양한 비디오 게임 영상으로 학습한 프레임 인과적 정류 흐름 트랜스포머이며, 압축된 프레임 표현을 사용하는 잠재 모델이다.
사전 학습에는 과거 프레임으로부터 미래 프레임의 노이즈를 제거하는 확산 강제 기법이 사용됐고, 추론 과정과의 불일치로 발생하는 장기 생성 오류를 줄이기 위해 자기 강제 방식으로 후속 학습했다.
전용 추론 라이브러리인 월드엔진은 프레임 이미지, 텍스트, 키보드 및 마우스 입력을 받아 실시간 스트리밍용 이미지를 생성하며, 낮은 지연과 높은 처리량을 위해 여러 실행 최적화를 적용한다.
23억 매개변수 규모의 웨이포인트-1 스몰은 지포스 5090에서 프레임당 256토큰 기준 초당 약 3만 토큰 패스를 처리하며, 4단계에서는 초당 30프레임, 2단계에서는 초당 60프레임을 달성한다.

🧠 상세 정리

1. 실시간으로 조작하는 생성 세계

웨이포인트-1은 오버월드가 공개한 실시간 상호작용형 비디오 확산 모델로, 텍스트 프롬프트뿐 아니라 마우스와 키보드 입력으로도 제어할 수 있다. 사용자가 몇 개의 초기 프레임을 제공하고 모델을 실행하면, 모델은 그 장면에서 이어지는 새로운 세계를 생성하며 사용자가 그 안에 들어가 움직이는 것과 같은 경험을 제공한다. 기존 방식이 몇 프레임에 한 번씩 카메라 이동이나 회전 같은 단순한 제어를 반영하는 데 그쳤다면, 웨이포인트-1은 마우스의 자유로운 카메라 조작과 임의의 키보드 입력을 매 프레임 생성 문맥에 포함한다. 오버월드는 이러한 구조가 제어 지연을 없애고 일반 소비자용 하드웨어에서도 끊김이 적은 상호작용을 제공한다고 설명한다.

2. 상호작용을 전제로 설계된 모델과 학습 데이터

모델의 기반 구조는 프레임 인과적 정류 흐름 트랜스포머이며, 제어 입력과 텍스트 설명이 함께 제공된 1만 시간 분량의 다양한 비디오 게임 영상으로 학습됐다. 웨이포인트-1은 원본 픽셀 프레임을 그대로 처리하는 대신 압축된 프레임 표현을 학습하는 잠재 모델이다. 기존 세계 모델은 사전 학습된 비디오 모델에 짧고 단순한 제어 신호를 추가 학습하는 방식이 일반적이었지만, 웨이포인트-1은 처음부터 상호작용 경험을 중심 목표로 삼아 학습됐다. 따라서 제어 기능은 완성된 비디오 생성 모델에 사후적으로 덧붙인 요소가 아니라, 각 프레임을 생성하는 핵심 조건으로 모델 구조와 학습 과정에 포함된다.

3. 확산 강제를 이용한 프레임별 사전 학습

웨이포인트-1의 사전 학습에는 과거 프레임이 주어졌을 때 미래 프레임의 노이즈를 제거하도록 학습하는 확산 강제 기법이 사용됐다. 인과적 어텐션 마스크가 적용되므로 특정 프레임의 토큰은 같은 프레임이나 과거 프레임의 토큰만 참조할 수 있고, 아직 생성되지 않은 미래 프레임은 볼 수 없다. 학습 과정에서는 각 프레임에 서로 독립적인 무작위 노이즈가 적용되며, 모델은 프레임마다 노이즈를 개별적으로 제거하는 방법을 익힌다. 이 구조 덕분에 추론 시에는 새로운 프레임을 한 번에 하나씩 복원하면서, 이전 프레임과 사용자 제어를 문맥으로 사용하는 절차적 영상 스트림을 계속 생성할 수 있다.

4. 장기 생성 오류를 줄이는 자기 강제 후속 학습

확산 강제는 강력한 기본 학습 방식이지만, 모든 프레임에 무작위로 노이즈를 주는 학습 환경은 실제 추론에서 프레임을 하나씩 자기회귀적으로 생성하는 환경과 정확히 일치하지 않는다. 이러한 학습과 추론의 불일치는 생성된 프레임이 다음 프레임의 입력으로 반복 사용될수록 오류가 누적되고, 장시간 생성 결과가 불안정하거나 흐려지는 문제로 이어진다. 오버월드는 이를 해결하기 위해 실제 추론 동작과 유사한 조건에서 현실적인 출력을 생성하도록 모델을 훈련하는 자기 강제 방식으로 후속 학습했다. 특히 분포 일치 증류를 이용한 자기 강제는 한 번의 분류기 없는 안내 처리와 적은 단계의 노이즈 제거를 가능하게 해, 장기 생성의 안정성과 실시간 처리 요구를 함께 다룬다.

5. 실시간 추론을 담당하는 월드엔진

월드엔진은 상호작용형 세계 모델을 스트리밍하기 위해 오버월드가 개발한 고성능 추론 라이브러리로, 순수 파이썬에서 추론 응용 프로그램을 만들 수 있는 핵심 도구를 제공한다. 실행 루프는 문맥 프레임 이미지와 텍스트, 키보드 및 마우스 입력을 받아 실시간 스트리밍에 사용할 새로운 이미지 프레임을 출력하도록 구성돼 있다. 성능 최적화에는 프롬프트 조건과 시간 단계가 유지될 때 조건부 투영 계산을 재사용하는 적응형 층 정규화 특성 캐싱, 정적 롤링 키·값 캐시와 유연한 어텐션, 질의·키·값 투영의 행렬 곱 융합이 포함된다. 여기에 전체 그래프, 최대 자동 조정, 고정 형태 설정을 사용하는 파이토치 컴파일을 적용해 낮은 지연, 높은 처리량, 확장성 및 개발 편의성을 함께 목표로 한다.

6. 공개 모델의 성능과 활용 방식

23억 매개변수 규모의 웨이포인트-1 스몰을 지포스 5090에서 실행하면, 단일 노이즈 제거 패스와 프레임당 256토큰 조건에서 초당 약 3만 토큰 패스를 처리한다. 같은 환경에서 노이즈 제거 4단계를 사용하면 초당 30프레임, 2단계를 사용하면 초당 60프레임의 생성 속도를 달성한다. 개발자는 월드엔진에서 모델을 불러온 뒤 텍스트 프롬프트를 설정하고, 필요하면 특정 이미지를 다음 프레임으로 강제한 다음, 버튼 집합과 마우스 좌표를 담은 제어 입력으로 프레임을 연속 생성할 수 있다. 웨이포인트-1 스몰의 가중치는 허브에 공개됐으며 미디엄 버전은 추후 공개 예정이고, 오버월드는 월드엔진 확장 아이디어를 겨루는 8시간 규모의 해커톤도 함께 안내했다.

🧾 핵심 주장 / 시사점

웨이포인트-1의 핵심 차별점은 제어 기능을 기존 비디오 모델에 사후 추가한 것이 아니라, 학습 초기부터 매 프레임의 생성 조건으로 포함했다는 데 있다.
확산 강제에서 자기 강제로 이어지는 학습 구성은 무작위 노이즈 기반 학습과 자기회귀식 실제 추론 사이의 차이를 직접 다루며, 장기 생성에서 발생하는 오류 누적을 줄이는 데 초점을 둔다.
실시간 상호작용 성능은 모델 자체만의 결과가 아니라 적은 단계의 노이즈 제거, 조건 계산 캐싱, 키·값 캐시, 행렬 곱 융합, 컴파일 최적화를 결합한 월드엔진 실행 구조에서 나온다.

✅ 액션 아이템

웨이포인트-1의 실시간 생성 특성을 반영해 텍스트·마우스·키보드 입력별 반응 패턴을 구간별로 비교·정리한다.
사전 학습의 확산 강제와 자기 강제 후속학습을 결합했을 때 장기 생성 오차 감소를 기존 방식 대비 지표로 정량화한다.
월드엔진의 최적화 성능을 23억 매개변수 스몰 기준으로 측정해 256토큰/프레임 처리량, 4단계 30fps, 2단계 60fps 달성 여부를 점검한다.