The AI tools for Art Newsletter - Issue 1

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

2024년 창작 AI는 오픈소스 이미지 생성의 구조적 도약과 개인화 기술의 대중화를 이뤘으며, 2025년에는 비디오·오디오·3D 등 더 다양한 형식으로 발전의 중심이 이동하고 있다.

📌 핵심 요약

• 2024년 이미지 생성 분야에서는 기존 U-Net 중심 확산 모델에서 확산 트랜스포머와 플로 매칭으로 구조와 학습 목표가 전환됐고, HunyuanDiT·AuraFlow·Flux.1·Stable Diffusion 3.5 같은 오픈소스 모델이 이 흐름을 주도했다.
• Flux.1은 여러 벤치마크에서 Midjourney v6.0과 DALL·E 3 HD 등 주요 폐쇄형 모델을 앞서는 성과를 보이며 오픈소스 이미지 생성의 중요한 전환점으로 평가됐다.
• 개인화와 스타일화에서는 SDXL 기반 기술의 성숙과 함께 IP-Adapter FaceID·InstantID·PhotoMaker 같은 무학습 기법이 등장해, 한 장의 참조 이미지로도 고품질 인물 생성이 가능해졌다.
• 비디오와 오디오는 이미지보다 높은 연산량, 메모리 요구량, 데이터 부족 등의 제약이 남아 있지만 CogVideoX·HunyuanVideo·YuE·Kokoro 등 공개 모델이 빠르게 늘어나며 발전 기반을 넓혔다.
• 2025년 초에는 음악·3D·이미지 생성 모델과 배포 도구가 연이어 공개됐으며, 이 뉴스레터는 빠르게 변화하는 창작 AI 모델과 도구를 매월 선별해 소개하는 것을 목표로 한다.

🧩 주요 포인트

1. 2024년 이미지 생성 분야에서는 기존 U-Net 중심 확산 모델에서 확산 트랜스포머와 플로 매칭으로 구조와 학습 목표가 전환됐고, HunyuanDiT·AuraFlow·Flux.1·Stable Diffusion 3.5 같은 오픈소스 모델이 이 흐름을 주도했다.
2. Flux.1은 여러 벤치마크에서 Midjourney v6.0과 DALL·E 3 HD 등 주요 폐쇄형 모델을 앞서는 성과를 보이며 오픈소스 이미지 생성의 중요한 전환점으로 평가됐다.
3. 개인화와 스타일화에서는 SDXL 기반 기술의 성숙과 함께 IP-Adapter FaceID·InstantID·PhotoMaker 같은 무학습 기법이 등장해, 한 장의 참조 이미지로도 고품질 인물 생성이 가능해졌다.
4. 비디오와 오디오는 이미지보다 높은 연산량, 메모리 요구량, 데이터 부족 등의 제약이 남아 있지만 CogVideoX·HunyuanVideo·YuE·Kokoro 등 공개 모델이 빠르게 늘어나며 발전 기반을 넓혔다.
5. 2025년 초에는 음악·3D·이미지 생성 모델과 배포 도구가 연이어 공개됐으며, 이 뉴스레터는 빠르게 변화하는 창작 AI 모델과 도구를 매월 선별해 소개하는 것을 목표로 한다.

🧠 상세 정리

1. 창작 AI와 오픈소스가 맞이한 전환점

이 글은 2024년 창작 AI 분야에서 나타난 주요 모델, 도구, 기술적 전환을 돌아보고 2025년의 방향을 짚는 월간 뉴스레터의 첫 호다. 불과 1년 전만 해도 인물의 손가락을 정확하게 표현하는 일이 어려웠지만, 이제 텍스트 기반 이미지 생성뿐 아니라 편집, 제어 생성, 개인화, 비디오, 오디오, 3D 제작까지 활용 범위가 크게 넓어졌다. 특히 지난 몇 년은 예술적 활용을 위한 오픈소스 모델과 도구에 결정적인 시기였으며, 폐쇄형 서비스에 의존하지 않고도 창작자가 다양한 모델과 워크플로를 실험할 수 있는 환경이 형성됐다. 글은 이미지 생성의 구조적 변화부터 비디오와 오디오의 발전, 커뮤니티가 만든 실용 도구, 2025년 1월의 신규 공개 모델까지 순서대로 살펴보며 창작 AI가 아직 초기 단계에 있다고 강조한다.

2. 이미지 생성 모델의 구조와 학습 목표 변화

2024년 텍스트 이미지 생성의 핵심 변화는 전통적인 U-Net 기반 확산 모델에서 확산 트랜스포머, 즉 DiT 구조로 중심이 이동한 것이다. 학습 목표에서도 기존 확산 모델에서 흔히 사용하던 방식 대신 플로 매칭이 본격적으로 채택됐는데, 글은 확산 모델과 가우시안 플로 매칭이 서로 동등하며 네트워크 출력을 표현하는 벡터장 매개변수화 방식에서 차이가 난다고 설명한다. Stability AI가 Stable Diffusion 3를 통해 이러한 전환을 먼저 발표했지만, 실제로 공개된 최초의 DiT 기반 오픈소스 모델은 HunyuanDiT였다. 이후 AuraFlow, Flux.1, Stable Diffusion 3.5가 같은 흐름을 이어가며 새로운 구조와 학습 방식이 오픈소스 이미지 생성의 주요 방향으로 자리 잡았다. 이는 단순히 모델 이름이 바뀐 것이 아니라 이미지 생성 모델을 설계하고 제어하는 기반 자체가 달라진 사건으로 제시된다.

3. Flux.1이 보여준 오픈소스 이미지 생성의 경쟁력

글은 오픈소스 이미지 생성의 짧은 역사에서 Flux.1 공개를 중요한 전환점 가운데 하나로 평가한다. Flux의 개발자용 모델인 Flux.1 dev는 여러 벤치마크에서 새로운 최고 수준의 성능을 달성했으며, Midjourney v6.0과 DALL·E 3 HD 같은 인기 폐쇄형 모델을 앞선 결과도 제시했다. Stable Diffusion이 오픈소스 이미지 생성을 대중화한 지 2년여 만에 공개 모델은 텍스트 이미지 생성뿐 아니라 이미지 편집과 조건 제어 생성에서도 폐쇄형 모델과 실질적으로 경쟁하는 단계에 도달했다. 이러한 발전은 고품질 기본 모델을 누구나 활용하고 수정할 수 있게 만들었고, 이후 파인튜닝과 스타일 전이, 참조 이미지 기반 생성, 커뮤니티 워크플로가 발전할 수 있는 토대가 됐다. 글이 Flux.1을 특별히 강조하는 이유도 개별 모델의 성능을 넘어 오픈소스 생태계가 폐쇄형 모델에 근접하거나 일부 평가에서 이를 넘어설 수 있음을 보여줬기 때문이다.

4. 개인화·스타일화와 무학습 생성 기술의 성장

개인화 기술은 2022년 Textual Inversion과 DreamBooth가 텍스트 이미지 모델에 새로운 인물이나 개념을 학습시키는 방법을 제시하면서 본격적으로 확장됐고, 이후 확산 모델용 LoRA를 비롯한 여러 개선 기법으로 이어졌다. 다만 파인튜닝 결과의 품질은 출발점인 기본 모델의 성능을 넘어설 수 없기 때문에, 글은 Stable Diffusion XL이 오픈소스 개인화 발전에서 중요한 기준점이었다고 평가한다. 2024년에는 한 장의 참조 이미지만으로 별도 최적화 없이 고품질 인물 이미지를 만드는 IP-Adapter FaceID, InstantID, PhotoMaker 같은 무학습 기법이 등장해 파인튜닝 모델과 경쟁하거나 더 나은 결과를 보였다. Canny 윤곽선, 깊이, 자세 같은 조건을 이용하는 제어 생성과 이미지 편집도 기본 모델의 품질 향상 및 모델 구성 요소의 의미적 역할에 대한 이해 덕분에 발전했으며, Instant Style과 B-LoRA가 관련 사례로 언급된다. 반면 Flux와 Stable Diffusion 3.5 같은 DiT 기반 모델을 활용한 개인화 기법은 아직 SDXL 기반 방식의 품질을 확실히 넘지 못했는데, 글은 그 배경으로 U-Net보다 DiT 내부 구성 요소의 의미적 역할에 대한 이해가 부족하다는 점을 든다.

5. 비디오 생성의 급진적 발전과 현실적인 제약

비디오 생성은 이미지 생성보다 해결해야 할 문제가 많지만, 2024년 한 해 동안 이전과 비교하기 어려울 정도로 빠르게 발전했다. 글은 OpenAI의 Sora가 실제 활용 가능성과는 별개로 비디오 모델이 구현할 수 있는 수준에 대한 기대를 급격히 높였고, 무엇이 가능한지를 업계 전반에 인식시켰다고 평가한다. 오픈소스 진영에서도 CogVideoX, Mochi, Allegro, LTX Video, HunyuanVideo가 잇달아 등장하며 공개 비디오 모델의 선택지가 크게 늘었다. 그러나 비디오는 움직임의 품질과 장면의 일관성, 시간축에서의 안정성을 동시에 확보해야 하며, 이미지보다 훨씬 많은 연산 자원과 메모리를 요구해 생성 지연도 크다. 메모리 최적화와 양자화를 적용하면 일반적인 커뮤니티 하드웨어에서도 접근할 여지가 생기지만, 추론 속도와 결과 품질에 영향을 줄 수 있어 많은 사용자가 아직 최신 공개 모델을 직접 실험하기 어렵다는 한계가 남아 있다.

6. 음성·음악 생성 모델의 확장

오디오 생성은 단순한 효과음 수준에서 가사를 포함한 완성된 노래를 만들 수 있는 단계로 발전했다. 오디오 신호는 구조가 복잡하고 여러 특성이 결합돼 있어 텍스트나 이미지보다 정교한 수학적 모델이 필요하며, 학습에 사용할 수 있는 데이터도 상대적으로 부족하다는 문제가 있다. 그럼에도 2024년에는 텍스트 음성 변환 모델인 OuteTTS와 IndicParlerTTS, 음성 인식 모델인 Whisper large v3 turbo 같은 공개 모델이 등장했다. 2025년 1월에는 Kokoro, LLasa TTS, OuteTTS 0.3 등 세 가지 텍스트 음성 변환 모델과 JASCO, YuE 등 두 가지 음악 생성 모델이 추가로 공개되면서 발전 속도가 더 빨라졌다. 특히 YuE는 가사를 포함한 전체 곡을 생성할 수 있는 오픈소스 음악 기반 모델군으로 소개됐으며, 글에는 YuE로 만든 노래 사례도 함께 제시됐다.

7. 커뮤니티가 완성한 창작 도구와 워크플로

글은 오픈소스의 강점이 모델 공개에 그치지 않고, 커뮤니티가 기존 모델과 파이프라인을 조합해 새로운 활용법과 제작 도구를 만들어 내는 데 있다고 설명한다. ostris의 AI-toolkit은 다양한 Flux 파인튜닝 모델을 학습하는 기반으로 활용됐고, Face to All은 InstantID에 ControlNet 깊이 조건과 커뮤니티 제작 SDXL LoRA를 결합해 별도 학습 없이 다양한 스타일의 고품질 인물 이미지를 생성한다. Flux style shaping은 Flux.1 dev Redux와 Depth를 조합해 스타일 전이와 착시 이미지를 만들며, Diffusers Image Outpaint는 SDXL Fill Pipeline과 SDXL Union ControlNet을 이용해 입력 이미지의 바깥 영역을 자연스럽게 확장한다. LivePortrait와 Face Poke는 정적인 인물 사진에 표정과 움직임을 더하는 과정을 간소화했고, TRELLIS는 고품질 3D 자산 생성을 지원하는 범용 3D 모델로 주목받았다. 여기에 전경 조건을 바탕으로 조명을 다시 구성하는 IC-Light까지 포함되며, 2024년의 창작 AI 성과가 개별 모델보다 모델을 실제 작업에 연결한 공동체적 도구 생태계에서 더욱 분명하게 드러났다고 정리한다.

8. 2025년의 방향과 1월 공개 모델

글은 2025년에 오픈소스가 비디오, 움직임, 오디오 분야에서 폐쇄형 모델과의 격차를 줄이고, 창작 AI의 중심이 더 다양한 형식으로 확장될 것으로 전망한다. 이미지 생성은 자연스러운 성능 정체 구간에 가까워지고 있어, 효율적인 연산과 양자화의 발전을 바탕으로 비디오와 다른 형식의 모델에 더 많은 관심이 이동할 수 있다는 설명이다. 실제로 2025년 1월에는 전체 곡 생성 모델 YuE, 3D 생성 모델 Hunyuan3D-2·SPAR3D·DiffSplat, 20억 매개변수 규모로 120억 매개변수 Flux.1 dev와 경쟁한다고 소개된 Lumina-Image 2.0이 공개됐다. 또한 복잡한 ComfyUI 워크플로를 간단한 Gradio 애플리케이션으로 변환하고 Hugging Face Spaces의 ZeroGPU 서버리스 환경에 배포하는 안내서도 소개돼, 모델뿐 아니라 사용과 배포의 접근성도 함께 개선되고 있음을 보여준다. 저자들은 이처럼 빠르게 쏟아지는 창작 AI 발전을 사용자가 직접 모두 추적하고 선별하기 어렵다는 문제를 해결하기 위해, 이 글을 시작으로 최신 모델과 도구를 정리하는 월간 뉴스레터를 이어가겠다고 밝혔다.

🧾 핵심 주장 / 시사점

• 2024년 오픈소스 이미지 생성의 핵심 성과는 결과 품질 향상만이 아니라, U-Net에서 DiT로의 구조 전환과 플로 매칭 도입을 통해 차세대 모델의 기술적 기반이 바뀌었다는 점이다.
• 개인화 품질은 기본 모델의 성능뿐 아니라 내부 구성 요소의 의미적 역할을 얼마나 이해하느냐에 좌우되며, SDXL 기반 기법이 DiT 기반 기법보다 여전히 강한 이유도 이러한 이해의 축적 차이로 설명된다.
• 2025년 창작 AI의 주요 과제는 더 큰 모델을 만드는 데만 있지 않고, 비디오·오디오·3D 모델을 효율화하고 양자화해 일반적인 커뮤니티 하드웨어와 간단한 애플리케이션에서도 사용할 수 있게 만드는 데 있다.

✅ 액션 아이템

• 확산 트랜스포머·플로 매칭 기반 오픈소스 이미지 생성 모델군의 성능 추세를 핵심 지표로 분기별로 점검한다.
• Flux.1·HunyuanDiT·AuraFlow·Stable Diffusion 3.5와 Midjourney v6.0·DALL·E 3 HD 간 벤치마크 간극을 주기적으로 비교한다.
• 한 장 참조 이미지 기반의 IP-Adapter FaceID·InstantID·PhotoMaker 개인화 기법을 메모리와 품질로 정기 검증한다.

❓ 열린 질문

• 2025년 음악·3D·이미지 생성 모델군은 2024년 오픈소스 변화의 성과를 어떻게 흡수해야 하는가?
• 비디오·오디오 공개 모델은 어떤 지표 개선이 계산량·메모리 제약 완화에 가장 직접적 영향을 주는가?
• CogVideoX·HunyuanVideo·YuE·Kokoro 확대로 실제 콘텐츠 품질 경쟁력이 언제 유의미하게 확장될 수 있는가?