Introducing Genie 4

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Genie 4는 오디오·자유로운 제어·Gemini의 상황 판단을 결합해 상호작용 가능한 세계 생성을 확장한 월드 모델이며, 장시간 일관성과 지연·비용은 여전히 연구 과제다.

📌 핵심 요점

1. 월드 모델의 핵심은 환경 상태를 유지하고 행동의 결과를 예측하는 것이다. Genie 4는 사실성을 높이고 사용자가 세계 안에서 상황을 바꾸는 시뮬레이션의 범위를 넓힌다.
2. 하나의 모델이 영상과 오디오를 함께 예측한다. 밴드 연주와 주변 인물의 대화처럼 시청각 상호작용이 가능해졌지만, 미세한 동작과 대화의 맥락에는 오류가 남아 있다.
3. Gemini는 이전 프레임의 사건과 사용자 의도를 판단하며 생성 과정을 돕는다. 사용자는 1인칭 행동, 카메라 이동, 텍스트 지시로 개입할 수 있고, 일시정지를 최종 사용자 기능으로 제공할지는 미정이다.
4. 영화 사전 시각화와 교육, 로봇 학습으로의 활용을 탐색한다. Argon이 지시하고 Genie가 행동과 픽셀을 생성하는 로봇 시연은 녹화된 사례이며, 실제 로봇으로의 기술 이전 효과는 추가 검증이 필요하다.
5. 제품화의 관건은 장시간 일관성, 빠른 입력 반응, 계산 효율, 안전장치다. Project Genie와 API를 통한 접근 확대를 예고하며, Trusted Testers부터 피드백을 수집하는 단계적 공개를 설명한다.

🧩 배경과 문제 정의

• 월드 모델은 환경의 상태와 상호작용을 이해하고, 행동에 따라 세계가 어떻게 변할지 예측하는 모델이다. 현실뿐 아니라 가상 환경에서도 일관된 반응을 생성하는 것이 핵심 과제다.
• Genie는 에이전트 학습에 필요한 풍부한 시뮬레이션을 생성하려는 연구에서 출발했다. 2D 환경에서 3D 환경으로, 다시 실시간 상호작용이 가능한 환경으로 발전했다.
• Genie 4는 사실성, 오디오, 자유로운 제어, Gemini와의 결합을 통해 활용 범위를 넓히지만, 여전히 오류와 미해결 과제가 있는 연구 단계다.
• 로봇 학습, 교육, 창작에 활용하려면 장시간 일관성과 낮은 지연을 확보하면서 계산 비용도 감당할 수 있어야 한다.

🕒 시간순 섹션별 상세정리

1. 제품·API 제공과 함께 확장되는 Genie 4의 기능

• Genie 4는 제품과 API를 통한 첫 제공을 추진한다. 주요 변화는 오디오, Gemini를 통한 생성 제어, Omni Flash 기반의 향상된 사실성이다 [01:03]

2. 월드 모델의 핵심은 환경 상태와 행동 결과의 예측

• 언어 모델이 지식과 언어를 다룬다면, 월드 모델은 구체적인 환경과 그 안에서 일어나는 상호작용을 다룬다. 이를 위해 세계의 내부 상태를 유지하고 충돌·이동·사용자 행동에 따른 변화를 이해해야 한다 [02:09]
• 현실에서 본 적 없는 환상적인 환경에서도 행동에 따라 어떤 물리적 반응이 일어날 가능성이 높은지 예측하는 것이 중요하다 [02:30]

3. 에이전트 학습용 시뮬레이션에서 실시간 3D 세계로의 발전

• 더 풍부한 환경으로 에이전트를 훈련하려는 목적에서 새로운 시뮬레이션을 계속 생성하는 연구가 시작됐다. Genie 1은 고위험 연구였지만, 2D 플랫폼 게임을 학습해 좌우 이동과 점프에 반응하는 환경을 생성하면서 가능성을 입증했다 [03:55]
• Genie 2는 약 1년 뒤 3D 환경으로 확장했지만, 결과물은 게임에 가까웠고 실시간성과 상호작용성도 충분하지 않았다 [04:15]

4. 무음의 게임풍 장면에서 사실적인 시청각 세계로의 전환

• Genie 3의 비교 장면은 초기 이미지에 없던 인물의 사실성이 떨어지고 게임 같은 외형을 보였다. 생성된 세계에는 소리도 없었다 [06:12]
• Genie 4의 밴드 장면에서는 연주와 소리가 더해지고, 카메라를 가까이 이동했을 때 인물의 세부 표현과 손동작이 개선됐다. 다만 미세한 움직임까지 완벽하지는 않다 [08:21]

5. 실시간 텍스트 제어를 돕는 일시정지와 미정인 사용자 경험

• 생성 도중 텍스트를 입력해 세계를 조정할 수 있지만, 영상이 계속 흐르면 원하는 순간에 지시를 넣기 어렵다. 일시정지는 적절한 프레임에서 개입하기 위한 연구·개발 도구로 쓰인다 [10:24]
• 일시정지를 사용자 기능으로 제공할지는 정해지지 않았다. 지시를 미리 대기시키는 방식, 진행 중 삽입하는 방식, 절차적인 행동 제어 등 여러 상호작용 방식을 검토한다 [10:48]

6. 1인칭 행동과 카메라 제어로 넓어지는 상호작용

• 이번 개발은 3인칭 캐릭터 조작보다 두 가지 방식에 집중한다. 하나는 키보드·마우스로 세계를 탐색하는 1인칭 시점이고, 다른 하나는 카메라 자체를 움직이는 제어다 [11:43]
• 커피 장면은 1인칭 손의 행동과 이동 중에도 비교적 일관되게 유지되는 모습을 보여준다. 사실성 향상이 단순한 배경 표현을 넘어 행동 장면에도 적용된다 [12:05]

7. 행동에 반응하는 대화와 교육·로봇 분야의 가능성

• 제어 범위가 장면 속 이동에서 물건을 집거나 커피를 건네는 행동으로 넓어진다. 주변 인물은 사용자의 행동에 실시간으로 반응하면서 대화도 이어간다 [13:55]
• 실시간 대화에는 생성 오류가 생길 수 있으며, 대화 자체의 자연스러움과 현재 세계의 맥락에 맞는 응답을 함께 확보해야 한다 [14:23]

8. Gemini의 상황 판단과 Genie의 생성을 결합하는 구조

• Gemini는 확산 모델과 함께 작동하며 이전 프레임의 사건, 사용자의 의도, 다음에 필요한 변화를 판단한다. 이 결합이 세계 생성에 추가적인 지능을 제공한다 [16:15]
• 시연에는 실시간 동작을 고려해 기본 3.8 Flash를 사용한다. 로봇 사례 등에서는 Argon을 결합해 성능을 더 높이는 실험도 진행했다 [16:38]

9. 사진 속 공간을 바꾸며 반복하는 창작과 사전 시각화

• 촬영 세트 사진을 출발점으로 사람들이 움직이는 세계를 만들고 용을 추가한다. 현실에서 재현하기 어려운 요소도 같은 공간 안에서 시뮬레이션할 수 있다 [18:06]
• 용이 불을 뿜도록 지시하는 식으로 생성 중 장면을 바꿀 수 있다. 일시정지는 이런 상호작용에서 개입 시점을 조절하는 수단이 된다 [18:18]

10. 로봇용 학습 데이터에서 행동 생성으로 확장되는 연구

• 인간이 움직임의 결과를 미리 예측하듯, 로봇도 월드 모델로 단기와 일부 장기 결과를 예측할 수 있다는 가설이 있다. 이를 통해 손재주와 민첩성, 자연스러운 움직임을 개선할 가능성이 있다 [20:21]
• 초기 구상은 로봇 실험 환경과 비슷한 세계를 생성해 학습 데이터를 확보하는 것이었다. 더 나아가 Genie가 로봇의 행동을 직접 생성하고, 무거운 컵과 가벼운 컵을 들거나 물체를 떨어뜨렸을 때의 결과를 예측하는 방향도 연구한다 [21:27]

11. Argon의 과업 지시와 Genie의 로봇 시뮬레이션

• 로봇 협력팀의 녹화 시연에서는 Argon과 Genie 4가 스크래블 글자를 배열하는 과업을 수행한다. Argon이 사용자 의도에 따라 텍스트 지시를 만들며, 이 구성은 반드시 실시간으로 실행되는 것은 아니다 [22:31]
• 시연 화면 전체는 Genie가 생성한다. 역할을 나누면 Argon이 지시를 제공하고, Genie가 행동과 픽셀을 생성하는 구조다 [22:50]

12. 사실성·자유로운 제어·오디오가 만드는 시뮬레이션의 확장

• Genie 3에서는 생성된 사람이 정지해 있거나 의도대로 움직이지 않는 문제가 있었다. Genie 4는 Omni 기반으로 인물의 행동과 사실성을 개선했지만, 추가 개선 여지는 남아 있다 [24:37]
• 공개된 Genie 3의 제어가 주로 탐색과 이동에 한정됐다면, 자유로운 제어는 세계 안에서 할 수 있는 행동을 넓힌다. 활용의 중심도 세계를 둘러보는 경험에서 상황을 바꾸는 시뮬레이션으로 이동한다 [25:02]

13. 장시간 일관성과 낮은 지연을 함께 확보해야 하는 과제

• 초기에는 생성이 이어지면 장면이 흐려지는 문제가 있었다. 현재는 더 오래 선명하고 사실적인 환경을 유지하지만, 동일한 세계를 장시간 일관되게 생성하는 능력은 여전히 중요한 개선 과제다 [26:40]
• 계산량과 모델 규모를 늘리는 것만으로는 충분하지 않다. 사용자의 행동에 빠르게 반응하려면 새 기능을 추가하면서도 모델을 작고 효율적으로 유지해야 한다 [27:03]

14. 코드로 만든 세계와 생성 픽셀을 결합하는 미래 방향

• 코딩 모델이 상호작용 가능한 3D 장면이나 게임을 생성할 수 있게 되면서, 픽셀을 생성하는 월드 모델의 역할도 질문 대상이 된다 [27:20]
• 생성형 코드와 생성형 픽셀을 결합하면 실행에 필요한 계산량을 줄이고 세계를 더 오래 유지할 가능성이 있다. 여러 사용자가 동시에 참여하는 환경도 미래의 확장 방향으로 거론된다 [27:49]

15. 실시간 성능의 절충과 검증되지 않은 60FPS 가능성

• 더 많은 TPU를 한 사용자에게 집중하면 60FPS를 달성할 수 있는지, 아니면 인프라와 연구의 추가 진전이 필요한지는 분명하지 않다. 속도 문제가 서비스 규모와 자원 배분만으로 해결되는지가 핵심 쟁점이다 [28:49]
• 실시간 실행을 구현하는 과정에서는 구성 간 절충과 개별 구성 요소의 최적화가 필요했다. 비용 효율까지 확보해야 하므로 계산 자원 확대와 성능 향상의 관계는 단순한 선형 관계가 아니다 [29:28]

16. 프레임률과 입력 지연은 서로 다른 성능 지표다

• 재생 FPS는 영상의 매끄러움과 관련되고, 입력 지연은 행동이 세계에 반영되기까지 걸리는 시간과 관련된다. 연산량을 늘려 프레임을 더 빠르게 생성하면 재생 프레임률을 높일 수 있다 [30:30]
• 24라는 선택은 생성 과정에 사용자 입력을 끼워 넣을 수 있는 주기와 연결된다. 외부 입력을 받아들이면서 다음 구간의 프레임도 충분히 생성해야 지연이나 끊김을 줄일 수 있다 [30:54]

17. 세계의 지속성과 자유로운 변형 사이의 균형

• 코드와 월드 모델을 결합하면 세계의 상태를 기억해 지속적인 일관성을 확보할 수 있다. 다만 용이 날아오거나 세계가 수채화로 바뀌는 자유로운 표현도 월드 모델의 중요한 가치다 [32:24]
• 코드나 3D를 기반 구조로 활용하면 상태를 유지하기 쉬워진다. 언덕을 돌아다닌 뒤 돌아왔을 때 집이 이전 모습 그대로 남아 있는 경험이 가능한 방향이다 [33:18]

18. Project Genie와 API로 활용 경로를 넓힌다

• Genie 4는 Project Genie에서 계속 제공되고 API로도 제공될 예정이다. 이전 출시에서 받은 피드백을 반영해, 개발자가 제작진이 생각하지 못한 방식으로 모델을 활용할 수 있도록 접근 경로를 넓힌다 [34:21]

19. 사실적인 실시간 생성에는 지연을 억제하는 안전장치가 필요하다

• 생성 결과물에는 SynthID가 적용된다. 사실적인 표현과 실시간 상호작용이 결합되면서 어떤 상황까지 시뮬레이션할 수 있게 되는지는 새로운 안전 과제로 남아 있다 [35:04]
• 안전팀과 함께 실시간 필터링과 예외 상황 대응, 가드레일을 구축하고 있다. 콘텐츠 안전성을 확보하면서도 응답 지연과 생성 품질을 유지해야 한다 [35:29]

20. 사용자와 목적에 맞춰 안전 기준을 적용하고 단계적으로 공개한다

• 일반 대중의 사용과 영화 제작자·교육자의 특정 목적 사용은 맥락이 다르다. 교육용 전장 장면처럼 정당한 요구를 고려하려면 누가 어떤 목적으로 사용하는지 살펴야 하며, 초기 공개에서는 이용자를 보호하는 가드레일을 확보하려 한다 [36:54]
• Trusted Testers부터 시작하는 단계적 공개는 모델에 대한 초기 피드백과 예외 사례를 수집하기 위한 절차다. 이를 통해 공개 방식의 적절성도 점검하려 한다 [37:54]

21. Gemini를 통한 장면 조향은 안전 대응 수단이 될 수 있다

• Gemini가 생성 과정에 참여하면 텍스트와 캡션을 통해 모델의 방향을 조정할 여지가 생긴다. 다만 특정 상황으로 유도하거나 피하게 하는 효과는 시나리오에 따라 달라지며, 구체적인 사례가 확인됐는지는 확답하지 않았다 [38:26]
• 생성 내용을 판별해 중단하는 방식 외에도, Gemini가 장면을 관찰하고 내부 논리를 제어하면서 위험한 상황에서 벗어나도록 유도할 가능성이 있다 [38:58]

22. 사용자별 요구에 맞는 제어 기능이 필요하다

• 감독에게는 정확한 카메라 제어가 중요하지만 다른 사용자에게는 다른 기능이 우선할 수 있다. 하나의 모델로 가능한 범위를 최대한 지원한 뒤 용도별로 추가 기능을 마련하는 접근이다 [40:07]
• API를 통한 외부 개발자의 활용은 내부 실험을 넘어 새로운 사용법을 찾는 기회로 기대된다. 구체적으로 어떤 결과물이 나올지는 아직 열려 있다 [40:47]

23. 주방 시연은 상호작용과 사건의 연쇄를 시험한다

• 사실적인 식당 주방은 여러 인물이 요리하고 재료를 손질하는 복잡한 환경을 시험하는 사례다. 여러 행동이 순서대로 일어나고 인물 사이에 상호작용이 생기는지가 주요 관찰 대상이다 [41:27]
• 음성으로 요리 내용을 묻자 요리사는 저녁 영업을 위해 허브와 마늘을 곁들인 연어를 조리한다고 답했다. 이어지는 시연에서는 스프링클러를 켜는 상호작용도 나타났다 [43:36]

24. 평가 기준을 계속 갱신하고 탐색 에이전트를 활용하려 한다

• 월드 모델의 평가 체계는 모델 개발과 함께 계속 바뀐다. 새로운 문제와 개선할 특성이 반복해서 발견되므로, 평가가 완성된 상태에 도달했다고 보기는 어렵다 [45:52]
• 게임을 플레이하고 세계를 자동으로 탐색할 수 있는 SIMA 계열 에이전트를 Genie 세계 평가에 활용하려 한다. 이는 평가를 돕기 위한 방향으로 제시됐으며, 이미 완성된 평가 체계로 설명되지는 않았다 [46:24]

🧾 결론

• Genie 4의 주요 진전은 사실성·오디오·행동 제어를 함께 개선해 생성된 세계의 활용 범위를 넓힌 데 있다.
• Gemini의 상황 판단과 Genie의 생성을 결합하면 사용자 행동에 반응하는 교육·창작·시뮬레이션을 시도할 수 있다.
• 시연의 개선은 확인되지만, 장시간 안정성과 로봇 활용 성과까지 입증된 것은 아니다. 현재는 오류와 미해결 과제가 있는 연구 단계로 이해해야 한다.
• 코드 기반 상태 관리와 생성 픽셀의 결합은 세계의 지속성과 계산 효율을 개선할 수 있는 탐색 방향이다.

📈 투자·시사 포인트

• 사업화 가능성을 판단하려면 화면의 사실성과 함께 입력 지연, 세계 유지 시간, 사용자당 계산 비용을 확인해야 한다. 계산 자원 확대가 성능 향상으로 단순하게 이어지지는 않는다.
• 창작 분야에서는 사진과 거친 지시를 상호작용 가능한 장면으로 바꾸고 반복 수정하는 과정의 가치에 주목할 수 있다. 최종 영상 품질 외에도 사전 시각화의 활용성이 관찰 대상이다.
• 로봇 분야에서는 다양한 학습 사례 확보와 행동 결과 예측이 잠재적 가치다. 실제 로봇의 성능 개선과 일반화 효과가 검증되는지가 핵심 판단 기준이다.
• API를 통한 외부 개발자의 활용은 새로운 사용처를 발견할 기회다. 구체적인 결과물과 비용 효율이 확인되기 전까지 활용 전망을 매출이나 수익성으로 연결하기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• 60FPS 가능성은 시험으로 확인되지 않았다. 대화에서 언급된 24FPS·25~30FPS와 질문자가 제시한 60FPS를 확정 성능으로 혼동하면 안 된다.
• 영상 재생 FPS와 입력 지연은 별개다. 화면이 매끄럽게 재생된다는 사실만으로 사용자 행동이 빠르게 반영된다고 판단할 수 없다.
• 장시간 세계 일관성, 미세한 동작, 상황에 맞는 대화는 개선이 필요한 영역이다. 제공된 설명에는 이를 종합적으로 비교할 정량 평가가 제시되지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• Project Genie와 API의 실제 접근 가능 범위, 공개 단계, 이용 조건을 확인한다.
• 활용 목적별로 입력 지연·세계 유지 시간·제어 정확도·계산 비용을 나눠 점검한다.
• 창작 용도에서는 사진 입력부터 장면 수정과 카메라 변경까지 반복하며 원하는 결과를 얻는지 확인한다.
• 로봇 용도에서는 생성된 학습 사례의 다양성과 실제 과업 성능 개선을 구분해 검증한다.

❓ 열린 질문

• 자유롭게 세계를 바꾸는 표현력과 돌아왔을 때 같은 공간이 유지되는 지속성을 어떻게 함께 확보할 수 있을까?
• 코드 기반 세계와 생성 픽셀의 결합은 계산 비용과 장시간 일관성을 얼마나 개선할 수 있을까?
• 생성된 로봇 행동과 시뮬레이션 경험이 실제 환경의 기술 습득으로 얼마나 이전될까?