PRX Part 3 — Training a Text-to-Image Model in 24h! | Article 정리

🖼️ 인포그래픽

PRX Part 3 — Training a Text-to-Image Model in 24h! 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Photoroom 팀은 32대 H200과 약 1500달러의 24시간 예산 안에서 픽셀 공간 학습, 지각 손실, 토큰 라우팅, 표현 정렬, Muon 최적화를 결합해 실사용 가능한 텍스트-이미지 확산 모델을 학습시키는 레시피를 공개했다.

📌 핵심 요약

이 글은 이전 두 편에서 개별적으로 검증한 확산 모델의 아키텍처와 학습 기법을 한데 묶었을 때, 제한된 시간과 비용 안에서 얼마나 강한 텍스트-이미지 모델을 만들 수 있는지 실험한 24시간 학습 기록이다.
핵심 설정은 32대 H200을 사용해 약 1500달러의 총 컴퓨트 예산으로 512픽셀 학습 후 1024픽셀 미세조정을 수행하는 것이며, 과거에는 수백만 달러가 들 수 있던 경쟁력 있는 모델 학습이 훨씬 낮은 비용으로 가능해졌음을 보이려 한다.
모델 레시피는 x-prediction 기반의 픽셀 공간 직접 학습, LPIPS와 DINOv2 기반 지각 손실, TREAD 토큰 라우팅, REPA와 DINOv3를 이용한 표현 정렬, 2차원 파라미터에 적용한 Muon 최적화로 구성된다.
학습 데이터는 공개 합성 데이터셋 세 종류를 사용하고 Gemini 1.5로 재캡션해 프롬프트 일관성과 캡션 노이즈를 개선했으며, 512픽셀 10만 스텝과 1024픽셀 2만 스텝으로 빠른 학습 뒤 세부 묘사를 강화하는 흐름을 택했다.
최종 모델은 완벽하지는 않지만 프롬프트 추종과 전반적 미감이 강하고 1024픽셀 단계가 구성은 유지하면서 디테일을 선명하게 만드는 데 대체로 성공했으며, 남은 문제는 구조적 결함보다는 부족한 학습량과 데이터 다양성의 한계로 해석된다.

🧩 주요 포인트

이 글은 이전 두 편에서 개별적으로 검증한 확산 모델의 아키텍처와 학습 기법을 한데 묶었을 때, 제한된 시간과 비용 안에서 얼마나 강한 텍스트-이미지 모델을 만들 수 있는지 실험한 24시간 학습 기록이다.
핵심 설정은 32대 H200을 사용해 약 1500달러의 총 컴퓨트 예산으로 512픽셀 학습 후 1024픽셀 미세조정을 수행하는 것이며, 과거에는 수백만 달러가 들 수 있던 경쟁력 있는 모델 학습이 훨씬 낮은 비용으로 가능해졌음을 보이려 한다.
모델 레시피는 x-prediction 기반의 픽셀 공간 직접 학습, LPIPS와 DINOv2 기반 지각 손실, TREAD 토큰 라우팅, REPA와 DINOv3를 이용한 표현 정렬, 2차원 파라미터에 적용한 Muon 최적화로 구성된다.
학습 데이터는 공개 합성 데이터셋 세 종류를 사용하고 Gemini 1.5로 재캡션해 프롬프트 일관성과 캡션 노이즈를 개선했으며, 512픽셀 10만 스텝과 1024픽셀 2만 스텝으로 빠른 학습 뒤 세부 묘사를 강화하는 흐름을 택했다.
최종 모델은 완벽하지는 않지만 프롬프트 추종과 전반적 미감이 강하고 1024픽셀 단계가 구성은 유지하면서 디테일을 선명하게 만드는 데 대체로 성공했으며, 남은 문제는 구조적 결함보다는 부족한 학습량과 데이터 다양성의 한계로 해석된다.

🧠 상세 정리

1. 24시간 텍스트-이미지 학습 실험의 목적

글의 출발점은 이전 두 편에서 따로 검증했던 확산 모델 학습 기법들을 실제로 모두 조합하면 어떤 결과가 나오는지 확인하는 것이다. 저자들은 처리량, 수렴 속도, 최종 이미지 품질을 각각 살펴보는 단계에서 벗어나, 유망한 요소들을 하나의 레시피로 쌓아 올리는 실전형 실험을 설계했다. 조건은 32대 H200, GPU당 시간당 2달러, 총 약 1500달러의 24시간 학습 예산으로 명확하게 제한했다. 이 실험은 단순한 재미용 속도전이 아니라, 앞으로 더 큰 규모의 학습 레시피를 구성하기 위한 기반으로 제시된다.

2. 픽셀 공간 직접 학습과 x-prediction

저자들은 Li와 He의 연구에서 제안된 x-prediction 형식을 사용해, VAE 없이 픽셀 공간에서 직접 학습하는 구성을 택했다. 이는 잠재 공간을 거치지 않고 이미지 자체를 예측하기 때문에 더 직접적이고 깔끔한 formulation으로 설명된다. 계산량을 관리하기 위해 패치 크기는 32로 설정하고 초기 토큰 투영층에 256차원 병목을 둬 시퀀스 길이를 통제했다. 그 결과 512픽셀에서는 토큰 수가 256개, 1024픽셀에서는 1024개가 되며, 기존의 256→512→1024 단계 대신 512픽셀에서 바로 시작한 뒤 1024픽셀로 미세조정하는 일정이 가능해졌다.

3. 지각 손실을 이용한 품질과 수렴 개선

픽셀 공간에서 clean image를 직접 예측하면 고전적 컴퓨터 비전에서 쓰던 지각 손실을 자연스럽게 재사용할 수 있다는 장점이 생긴다. 잠재 공간 출력에서는 다시 픽셀로 디코딩하거나 사람이 보는 지각과 잘 맞는지 불명확한 latent loss를 정의해야 하지만, 픽셀 출력에서는 LPIPS나 DINO 기반 손실을 바로 적용할 수 있다. 저자들은 PixelGen 논문에서 영감을 받아 기본 flow matching objective에 LPIPS 손실과 DINOv2 기반 지각 손실을 보조 목표로 추가했다. LPIPS는 저수준 지각 유사성을, DINO 특징은 더 강한 의미적 신호를 제공하며, 전체 이미지에 pooled 방식으로 모든 노이즈 수준에서 적용했을 때 더 좋은 결과를 얻었다고 설명한다.

4. TREAD 토큰 라우팅과 self-guidance

학습 스텝당 비용을 줄이기 위해 저자들은 TREAD 방식의 토큰 라우팅을 적용했다. 이 방법은 일부 토큰을 무작위로 선택해 transformer block의 연속 구간을 건너뛰게 한 뒤 나중에 다시 주입하므로, 토큰을 완전히 버리지 않으면서 계산량을 줄인다. 저자들은 SPRINT도 언급하지만, 자신들의 설정에서는 추가 복잡도에 비해 절감 효과가 크지 않다고 보고 TREAD를 선택했다. 구체적으로 전체 토큰의 50%를 두 번째 블록부터 끝에서 두 번째 블록까지 우회시켰고, 라우팅 모델이 일반적인 CFG에서 특히 undertrained 상태일 때 나빠질 수 있어 dense conditional prediction과 routed conditional prediction을 비교해 안내하는 self-guidance 방식을 구현했다.

5. REPA와 DINOv3를 통한 표현 정렬

표현 정렬을 위해서는 REPA를 사용했고, teacher 모델로는 이전 실험에서 품질 개선 효과가 가장 좋았던 DINOv3를 선택했다. 정렬 손실은 transformer의 8번째 블록에서 한 번 적용되며, 손실 가중치는 0.5로 설정됐다. 이 구성은 모델 내부 표현이 더 강한 시각 표현과 맞춰지도록 유도해 학습 품질을 끌어올리는 역할을 한다. 다만 TREAD 라우팅과 함께 쓰기 때문에 모든 토큰에 정렬 손실을 계산하지 않고, 실제로 해당 블록을 통과한 non-routed 토큰에만 손실을 계산했다. 저자들은 이렇게 해야 계산 경로를 건너뛴 토큰의 특징을 부적절하게 비교하지 않아 REPA 신호가 일관되게 유지된다고 설명한다.

6. Muon 최적화와 파라미터 그룹 분리

최적화에는 이전 실험에서 Adam보다 분명한 개선을 보였던 Muon을 사용했다. 구현은 muon_fsdp_2의 FSDP 구현을 활용했으며, Muon은 기본적으로 행렬에 해당하는 2차원 파라미터에만 적용됐다. 편향, 정규화 계층, 임베딩 등 2차원이 아닌 파라미터는 Adam으로 최적화했기 때문에 설정은 두 개의 파라미터 그룹으로 나뉜다. Muon 그룹에는 학습률 1e-4, momentum 0.95, nesterov true, ns_steps 5가 쓰였고, Adam 그룹에는 학습률 1e-4, betas 0.9와 0.95, eps 1e-8이 사용됐다. 이 분리는 각 파라미터 종류에 맞는 최적화 방식을 적용하려는 실용적 설계로 제시된다.

7. 데이터셋, 재캡션, 해상도 스케줄

학습 데이터는 Flux generated 170만 개, FLUX-Reason-6M 600만 개, midjourney-v6-llava 100만 개라는 세 가지 공개 합성 데이터셋으로 구성됐다. 저자들은 프롬프트를 더 일관되게 만들고 캡션 노이즈를 줄이기 위해 Gemini 1.5로 데이터를 재캡션했다. 학습 일정은 512픽셀에서 빠르게 대량 학습한 뒤 1024픽셀에서 선명도를 올리는 흐름이다. 구체적으로 512픽셀에서는 배치 크기 1024로 10만 스텝을 수행하고, 1024픽셀에서는 배치 크기 512로 2만 스텝을 수행하며 이 단계에서는 REPA를 사용하지 않았다. 샘플링과 평가에는 smoothing 0.999, update_interval 10ba, ema_start 0ba 설정의 EMA 가중치를 유지했다.

8. 결과, 한계, 공개 코드와 다음 단계

최종 결과에 대해 저자들은 하루짜리 학습으로는 상당히 견고한 출발점에 도달했다고 평가한다. 모델은 아직 완벽하지 않아 텍스처 결함, 가끔 이상한 해부학적 표현, 매우 어려운 프롬프트에서의 불안정성이 남아 있지만, 전반적으로 사용 가능한 수준이며 프롬프트 추종과 미감의 일관성이 강하다고 설명한다. 특히 1024픽셀 단계는 구도를 깨지 않으면서 디테일을 선명하게 만드는 목적을 대체로 달성했다. 남은 문제는 레시피의 구조적 결함이라기보다 undertraining과 데이터 다양성 부족에서 오는 현상으로 해석된다. 저자들은 PRX 저장소에 24시간 실험 코드와 이전 글들의 실험 프레임워크를 공개하며, 사용자가 데이터셋과 TREAD, REPA, 지각 손실, Muon 등의 구성요소를 바꿔 빠르게 실험할 수 있도록 만들었다고 밝힌다.

🧾 핵심 주장 / 시사점

이 글의 핵심은 단일 기법의 새로움보다, 이미 검증된 여러 학습·효율화 기법을 충돌 없이 결합해 제한된 예산 안에서 작동하는 전체 레시피로 만든 점에 있다.
픽셀 공간 직접 학습은 VAE를 제거하는 단순화일 뿐 아니라, LPIPS와 DINO 계열 손실처럼 이미지 지각에 가까운 보조 신호를 자연스럽게 붙일 수 있게 해 레시피 전체의 중심축이 된다.
저자들이 남은 실패 양상을 구조적 한계가 아니라 학습량과 데이터 다양성 문제로 본다는 점은, 같은 레시피를 더 큰 규모와 더 나은 데이터 혼합으로 확장하는 것이 다음 실험의 주된 방향임을 보여준다.

✅ 액션 아이템

실험을 32대 H200, 24시간, 약1500달러 예산으로 512픽셀 10만 스텝 후 1024픽셀 2만 스텝 미세조정까지 동일하게 재현해 성능-비용 곡선을 정량화한다.
x-prediction 픽셀 학습, LPIPS·DINOv2 지각손실, TREAD 토큰 라우팅, REPA·DINOv3 정렬, Muon 최적화를 함께 적용하고 단계별 ablation로 구성요소 기여도를 점검한다.
공개 합성 데이터셋 3종에 Gemini 1.5 재캡션을 적용해 프롬프트 일관성 및 캡션 노이즈 감소가 512/1024픽셀 텍스처 선명도에 미치는 영향을 검증한다.