🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈 비디오 생성 모델은 빠르게 발전하고 있지만 높은 메모리 요구량, 긴 생성 시간, 제한적인 일반화가 확산을 가로막고 있으며, 디퓨저스는 양자화·오프로딩·분할 추론을 조합해 이러한 모델을 더 적은 자원에서 실행할 수 있도록 지원한다.

📌 핵심 요약

• 소라 공개 이후 비디오 생성 경쟁이 격화된 가운데 CogVideoX, Mochi-1, Hunyuan Video, Allegro, LTX-Video와 같은 오픈 모델도 잇달아 등장했다.
• 비디오 생성은 텍스트 조건 준수와 사실성뿐 아니라 움직임, 시공간 일관성, 프레임 속도, 길이까지 동시에 다뤄야 하므로 이미지 생성보다 어려운 문제다.
• 최신 오픈 비디오 모델은 텍스트 인코더, 3차원 비디오 토큰을 처리하는 디노이징 네트워크, 잠재 공간 인코더·디코더, 스케줄러를 공통 구성요소로 사용한다.
• 기본 설정에서 HunyuanVideo는 약 60.09GB, CogVideoX 1.5 5B는 36.51GB, LTX-Video는 17.75GB의 메모리가 필요해 일반 소비자용 하드웨어에서 실행하기 어렵다.
• 디퓨저스는 양자화, 중앙처리장치 오프로딩, 변분 오토인코더 타일링, 그룹 오프로딩과 같은 최적화를 조합해 메모리를 크게 낮추지만 속도와 품질 사이의 절충을 고려해야 한다.

🧩 주요 포인트

1. 소라 공개 이후 비디오 생성 경쟁이 격화된 가운데 CogVideoX, Mochi-1, Hunyuan Video, Allegro, LTX-Video와 같은 오픈 모델도 잇달아 등장했다.
2. 비디오 생성은 텍스트 조건 준수와 사실성뿐 아니라 움직임, 시공간 일관성, 프레임 속도, 길이까지 동시에 다뤄야 하므로 이미지 생성보다 어려운 문제다.
3. 최신 오픈 비디오 모델은 텍스트 인코더, 3차원 비디오 토큰을 처리하는 디노이징 네트워크, 잠재 공간 인코더·디코더, 스케줄러를 공통 구성요소로 사용한다.
4. 기본 설정에서 HunyuanVideo는 약 60.09GB, CogVideoX 1.5 5B는 36.51GB, LTX-Video는 17.75GB의 메모리가 필요해 일반 소비자용 하드웨어에서 실행하기 어렵다.
5. 디퓨저스는 양자화, 중앙처리장치 오프로딩, 변분 오토인코더 타일링, 그룹 오프로딩과 같은 최적화를 조합해 메모리를 크게 낮추지만 속도와 품질 사이의 절충을 고려해야 한다.

🧠 상세 정리

1. 비디오 생성 경쟁과 오픈 모델의 부상

오픈에이아이의 소라 시연은 인공지능 비디오 생성 능력의 큰 진전을 보여주었고, 이후 시장의 경쟁을 빠르게 촉진했다. 구글의 Veo 2, 런웨이의 Gen 3 Alpha, Pika 2.0, Kling, MiniMax, Dream Machine 등 주요 기업과 신생 기업의 비공개 모델이 잇달아 등장했으며, 대부분 독점 라이선스로 제공된다. 동시에 CogVideoX, Mochi-1, Allegro, LTX-Video, Hunyuan Video와 같은 오픈 모델도 늘어났고, 이 가운데 Mochi-1과 Allegro는 아파치 2.0 라이선스를 사용하지만 일부 모델은 별도의 사용자 정의 라이선스를 적용한다. 글은 이러한 흐름이 비디오 분야의 ‘스테이블 디퓨전 순간’으로 이어질 수 있는지를 문제로 제시하면서, 오픈 모델의 현재 역량과 한계, 디퓨저스를 통한 대규모 채택 지원 방향을 살펴본다.

2. 현재 오픈 비디오 모델의 세 가지 핵심 한계

첫 번째 한계는 고품질 비디오 모델을 개발하고 배포하는 데 막대한 자원이 필요하다는 점이다. 데이터 수집, 고성능 하드웨어, 반복적인 학습과 실험에 큰 비용이 들기 때문에 모델을 오픈소스로 공개하고 무료로 제공하기가 쉽지 않다. 두 번째는 일반화 능력으로, 일부 오픈 모델은 특정한 문장 구조나 매우 상세한 프롬프트를 요구하고 학습 분포에서 벗어난 입력에 제대로 대응하지 못하며, LTX-Video도 좋은 결과를 얻으려면 구체적인 묘사가 필요한 사례로 언급된다. 세 번째는 지연 시간으로, 높은 연산량과 메모리 사용량 때문에 로컬 생성이 느리고, 소비자용 하드웨어에서 실행하려면 메모리 최적화와 양자화를 적용해야 하지만 이 과정이 생성 속도와 결과 품질에 다시 영향을 줄 수 있다.

3. 이미지보다 비디오 생성이 어려운 이유

이미지 생성에서는 주로 입력 조건 준수, 사실성, 미적 품질을 평가하지만 비디오에는 움직임의 역학, 시간에 따른 시공간 일관성과 정합성, 초당 프레임 수, 재생 길이라는 조건이 추가된다. 단일 장면을 자연스럽게 만드는 것만으로는 충분하지 않으며, 여러 프레임과 여러 피사체가 등장하는 동안 외형과 위치, 행동이 서로 모순되지 않아야 한다. 특히 텍스트나 시작 이미지와 같은 입력 조건을 따르면서도 움직임을 자연스럽게 만들고, 전체 영상의 사실성과 미적 품질을 유지해야 한다는 점에서 요구사항 사이의 균형이 복잡해진다. 이러한 추가 요구사항에 적합한 데이터, 귀납적 편향, 학습 방법론의 조합을 찾는 일이 다른 생성 양식보다 더 어려웠다는 것이 글의 핵심 설명이다.

4. 오픈 비디오 생성 모델의 공통 구조

텍스트 기반 비디오 생성 모델은 텍스트-이미지 모델과 유사하게 텍스트 인코더, 디노이징 네트워크, 픽셀 공간과 잠재 공간을 변환하는 인코더·디코더, 시간 단계와 디노이징 계산을 관리하는 비매개변수 스케줄러로 구성된다. 최신 모델의 핵심 특징은 디노이징 네트워크가 공간 정보와 시간 정보를 함께 담은 3차원 비디오 토큰을 처리한다는 점이며, 비디오 인코더와 디코더도 공간 및 시간 압축을 함께 수행한다. 잠재 표현을 영상으로 복원하는 디코딩 단계가 보통 가장 많은 메모리를 요구하므로, 여러 모델은 메모리 사용량을 줄이기 위한 프레임 단위 디코딩 방식을 제공한다. 텍스트 조건은 공동 어텐션 또는 교차 어텐션으로 결합되며 대부분 T5를 텍스트 인코더로 사용하지만, Hunyuan은 CLIP-L과 LLaMA 3를 함께 사용하고 디노이징 네트워크는 DiT 구조와 PixArt의 여러 설계 요소를 바탕으로 한다.

5. 디퓨저스를 이용한 비디오 생성 방식

디퓨저스에서 지원하는 비디오 생성은 크게 텍스트에서 비디오 생성, 이미지 또는 이미지 제어 조건과 텍스트를 결합한 비디오 생성, 비디오 또는 비디오 제어 조건과 텍스트를 결합한 비디오 생성으로 나뉜다. 글은 Lightricks의 LTX-Video를 불러와 텍스트-비디오 생성을 수행하는 예제를 제시하며, 모델을 뇌부동소수점 16비트 형식으로 그래픽처리장치에 올린 뒤 긍정 프롬프트와 부정 프롬프트를 함께 전달한다. 예제의 출력 조건은 가로 704픽셀, 세로 480픽셀, 161프레임, 50회의 추론 단계이며, 생성된 프레임은 초당 24프레임의 동영상 파일로 내보낸다. 코드 자체는 짧지만 좋은 품질을 얻기 위해 인물의 외모, 카메라 각도, 조명, 장면의 분위기를 구체적으로 기술하고 흐림, 흔들림, 왜곡, 불일치한 움직임을 부정 조건으로 지정한다.

6. 모델별 기본 메모리 요구량

비디오 모델의 전체 메모리 요구량은 모델 가중치를 저장하는 데 필요한 메모리와 추론 도중 중간 활성화 상태가 차지하는 최대 메모리를 더해 계산할 수 있다. 가중치 메모리는 양자화, 더 낮은 정밀도 형식으로의 변환, 중앙처리장치 오프로딩을 통해 줄일 수 있지만, 활성화 메모리를 줄이는 작업은 상대적으로 더 복잡하다. 80GB A100 환경에서 뇌부동소수점 16비트, 121프레임, 512×768 해상도, 최대 시퀀스 길이 128, 추론 50단계를 적용했을 때 HunyuanVideo는 60.09GB, CogVideoX 1.5 5B는 36.51GB, LTX-Video는 17.75GB를 사용했다. 이 수치는 소비자용 하드웨어에서 기본 설정으로 실행하기 어렵다는 점을 보여주며, 극단적으로 적은 메모리에서도 실행 자체는 가능하지만 추론 시간이 사용자가 받아들이기 어려울 만큼 길어지면 실용적인 해법이 되지 못한다.

7. 메모리 절감 효과와 속도·품질의 절충

HunyuanVideo 실험에서 뇌부동소수점 16비트 기본 실행은 60.10GB와 863초가 필요했지만, 중앙처리장치 오프로딩을 적용하면 28.87GB와 917초로 메모리는 줄고 시간은 늘어났다. 4비트 양자화와 오프로딩, 변분 오토인코더 타일링을 모두 적용한 경우에는 14.15GB와 995초였으며, 블록 단위가 아닌 리프 단위 그룹 오프로딩과 타일링을 사용한 경우에는 6.66GB와 887초까지 낮아졌다. 여기에 8비트 부동소수점 업캐스팅을 결합하면 6.56GB와 885초를 기록했지만, 이 지점의 최대 메모리는 어텐션과 피드포워드 계산에서 발생해 같은 방식만으로는 더 줄어들지 않는다. 플래시 어텐션과 최적화된 피드포워드를 적용하면 약 5GB까지 낮출 수 있다고 설명하지만, 양자화에 따른 수치 정밀도 손실은 결과 품질에 영향을 주며 그 영향이 이미지보다 비디오에서 더 두드러질 수 있다는 주의점도 제시한다.

8. 디퓨저스의 최적화 도구와 발전 방향

디퓨저스의 최적화 수단은 양자화, 오프로딩, 분할 추론, 어텐션 및 다층 퍼셉트론 상태 재사용이라는 네 범주로 정리된다. 양자화는 가중치를 낮은 정밀도로 저장하며 bitsandbytes, torchao, GGUF를 지원하고, 오프로딩은 필요한 계층만 계산 시점에 그래픽처리장치로 가져왔다가 다시 중앙처리장치로 이동해 메모리를 절약한다. 분할 추론은 잠재 텐서의 비임베딩 차원을 나누어 중간 활성화의 부담을 줄이며, 피드포워드 청킹, 디코더 타일링과 슬라이싱, 분할 어텐션 추론이 이에 포함되고, 상태 재사용은 조건을 만족할 때 일부 디노이징 계산을 건너뛰어 품질 손실을 최소화하면서 속도를 높인다. 추가로 낮은 정밀도로 매개변수를 저장하고 더 높은 정밀도로 계산하는 계층별 캐스팅과, 내부 블록이나 리프 모듈을 묶어 필요한 부분만 전송하는 그룹 오프로딩이 개발 중이며, 그룹 오프로딩은 쿠다 스트림으로 데이터 전송과 계산을 겹쳐 반복적인 적재·해제 비용을 줄이는 방향을 취한다.

🧾 핵심 주장 / 시사점

• 오픈 비디오 모델의 접근성을 좌우하는 병목은 가중치 크기만이 아니라 어텐션, 피드포워드, 디코딩 과정에서 발생하는 중간 활성화의 최대 메모리이므로 여러 최적화를 함께 적용해야 한다.
• HunyuanVideo 결과는 메모리를 약 60GB에서 6GB대까지 낮출 수 있음을 보여주지만, 각 방식에 따라 추론 시간이 늘거나 양자화로 품질이 저하될 수 있어 최소 메모리 수치만으로 실용성을 판단할 수 없다.
• 오픈 모델의 수가 빠르게 증가했더라도 상세 프롬프트 의존성, 제한적인 일반화, 높은 하드웨어 요구량이 남아 있어 광범위한 채택에는 모델 개선과 실행 최적화가 동시에 필요하다.

✅ 액션 아이템

• 오픈 모델 경쟁 구도를 반영해 CogVideoX, Mochi-1, Hunyuan Video, Allegro, LTX-Video의 적용 우선순위를 정한다.
• 텍스트 조건, 사실성, 움직임, 시공간 일관성, 프레임 속도, 길이를 함께 반영한 품질 평가 기준을 정의한다.
• 메모리 절감 목표에 맞춰 양자화·CPU 오프로딩·VAE 타일링·그룹 오프로딩 조합을 정하고 속도와 품질을 점검한다.

❓ 열린 질문

• HunyuanVideo, CogVideoX 1.5 5B, LTX-Video의 기본 메모리 요구량에서 소비자용 하드웨어 적용 한계는 어느 수준인가?
• 텍스트 조건 충실도와 사실성, 움직임, 시공간 일관성 충돌 시 우선순위 판단은 어떻게 할 것인가?
• 양자화, CPU 오프로딩, VAE 타일링, 그룹 오프로딩을 병행할 때 속도와 품질의 허용 가능한 트레이드오프 기준은 무엇인가?