🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

PRX의 데이터 전략은 공개·내부 데이터셋을 폭넓게 결합하고 이미지마다 일관된 장문 설명을 다시 생성한 뒤, 탐색·가공에는 랜스를, 분산 학습 스트리밍에는 모자이크 데이터 샤드를 사용하는 것이다.

📌 핵심 요약

• 사전 학습 데이터는 개별 이미지의 미적 완성도보다 시각 개념, 사물, 장면, 구도, 조명 등을 폭넓게 포괄하는 다양성과 대표성을 우선했다.
• 여러 출처의 기존 설명 품질이 일정하지 않아 모든 이미지를 시각언어모델로 다시 설명했으며, 정확한 장문 설명을 통해 화면의 문자·로고·광고 같은 요소도 조건으로 제어할 수 있게 했다.
• 데이터셋 구축과 탐색에는 조건 검색·색인·벡터 검색에 적합한 랜스를 사용하고, 완성된 학습 데이터의 혼합·셔플·분산 스트리밍에는 모자이크 데이터 샤드를 사용했다.
• 텍스트 잠재값은 미리 저장하지 않고 학습 중 계산하도록 바꿨으며, PRX의 70억 매개변수 규모에서는 처리량 감소가 약 3~4%에 그치는 대신 저장 공간과 인코더 변경 비용을 크게 줄였다.
• 이미지는 품질 92의 제이펙으로 통일했고, 반복 재인코딩 측정과 동일 조건의 모델 학습 비교를 통해 피엔지 대비 출력 품질에 측정 가능한 차이가 거의 없음을 확인했다.

🧩 주요 포인트

1. 사전 학습 데이터는 개별 이미지의 미적 완성도보다 시각 개념, 사물, 장면, 구도, 조명 등을 폭넓게 포괄하는 다양성과 대표성을 우선했다.
2. 여러 출처의 기존 설명 품질이 일정하지 않아 모든 이미지를 시각언어모델로 다시 설명했으며, 정확한 장문 설명을 통해 화면의 문자·로고·광고 같은 요소도 조건으로 제어할 수 있게 했다.
3. 데이터셋 구축과 탐색에는 조건 검색·색인·벡터 검색에 적합한 랜스를 사용하고, 완성된 학습 데이터의 혼합·셔플·분산 스트리밍에는 모자이크 데이터 샤드를 사용했다.
4. 텍스트 잠재값은 미리 저장하지 않고 학습 중 계산하도록 바꿨으며, PRX의 70억 매개변수 규모에서는 처리량 감소가 약 3~4%에 그치는 대신 저장 공간과 인코더 변경 비용을 크게 줄였다.
5. 이미지는 품질 92의 제이펙으로 통일했고, 반복 재인코딩 측정과 동일 조건의 모델 학습 비교를 통해 피엔지 대비 출력 품질에 측정 가능한 차이가 거의 없음을 확인했다.

🧠 상세 정리

1. 사전 학습 데이터의 목표

PRX 데이터 파이프라인의 목적은 공개 데이터셋과 내부 데이터셋을 결합하고, 각 이미지에 시각언어모델로 새로운 설명을 붙여 실제 학습에서 스트리밍할 수 있는 말뭉치로 변환하는 것이었다. 사전 학습 단계에서는 이미지 한 장 한 장의 미적 완성도보다 세계를 구성하는 시각 개념, 사물, 장면, 구도, 조명과 표현 범위를 폭넓게 담는 것이 더 중요하다고 판단했다. 평범한 사진이나 약간 압축된 이미지가 포함되더라도 넓고 대표적인 분포가 작고 보기 좋은 데이터셋보다 시각 세계의 구조를 더 많이 가르칠 수 있다는 원칙이다. 따라서 사전 학습은 범위와 다양성을 담당하고, 세련된 생성 결과와 취향의 반영은 작고 엄격하게 선별한 데이터로 수행하는 미세 조정과 선호 정렬 단계에 맡겼다.

2. 데이터 출처와 설명문 원칙

데이터는 공개·내부 출처를 혼합하되, 기존 데이터셋에 이미 적용된 품질 필터링, 중복 제거, 유해 콘텐츠와 개인정보 제거 작업을 가능한 한 활용했다. 이미지 자체를 제공하는 출처와 메타데이터 및 기본 설명만 제공하는 출처를 공통 형태로 통합하면서, 처음부터 완전히 새로운 말뭉치를 만드는 대신 기존 선별 결과와 자체 도구를 결합하는 실용적인 방식을 택했다. 이미지 설명은 짧은 문구보다 화면에 보이는 모든 요소를 정확하게 기술하는 장문이 사전 학습 품질에 더 중요했으며, 이전 실험에서도 장문 설명으로 전환했을 때 표본 품질이 크게 향상됐다. 스크린숏, 광고, 로고, 문자 같은 요소도 정확히 설명하면 무조건 재현되는 잡음이 아니라 프롬프트로 포함하거나 배제할 수 있는 조건이 되므로, 후속 필터링은 실제로 사용할 수 없는 항목만 제거하는 수준으로 제한했다.

3. 랜스와 모자이크 데이터 샤드의 역할 분담

분산 학습용 최종 형식으로는 모자이크 스트리밍과 모자이크 데이터 샤드를 사용했다. 이 형식은 데이터셋을 효율적으로 혼합하고 셔플할 수 있으며, 분산 학습 과정에서 원격 객체 저장소의 데이터를 직접 스트리밍하는 데도 적합했지만, 열을 추가하거나 특정 조건의 부분집합을 만들 때 전체 데이터셋을 다시 읽고 써야 하는 경직성이 있었다. 반면 랜스는 조건 밀어넣기, 스칼라 색인, 벡터 검색을 지원하는 열 지향 형식이어서 수억에서 수십억 행 규모의 특징 공학, 선별, 탐색에 적합했다. 이에 따라 파이프라인은 랜스에서 데이터를 구축하고 조사한 뒤, 학습에 사용할 결과를 모자이크 데이터 샤드로 만들어 스트리밍하는 명확한 역할 분담을 채택했다.

4. 텍스트 잠재값의 학습 중 계산

이전 학습에서는 텍스트 인코더가 만든 잠재값을 미리 계산해 바이트 형태로 모자이크 데이터 샤드에 저장했지만, 이번에는 텍스트 인코더를 Qwen3-VL로 교체하면서 학습 중에 잠재값을 계산하도록 바꿨다. 텍스트 인코더를 학습 반복문 안에서 실행하면 처리량이 줄지만, 그 영향은 주된 잡음 제거 모델의 규모에 따라 달라진다. PRX의 70억 매개변수 규모에서는 텍스트 인코더의 계산량이 상대적으로 작아 실제 처리량 비용은 약 3~4%였고, 30일 학습을 기준으로 약 하루가 추가되는 수준이었다. 대신 미리 계산한 잠재값을 저장하지 않아 샤드가 크게 작아졌고, 전체 사전 학습 데이터를 클러스터의 고속 공유 파일 시스템에 둘 수 있었으며, 향후 텍스트 인코더를 바꾸더라도 수 테라바이트의 잠재값을 다시 작성할 필요가 없어졌다.

5. 품질 92 제이펙 저장의 검증

모든 이미지는 무손실 피엔지 대신 품질 92의 제이펙으로 인코딩했으며, 이 설정이 안전하다고 가정하지 않고 반복 디코딩과 재인코딩으로 직접 측정했다. 현실의 원본 이미지 대부분은 이미 여러 차례 제이펙 압축을 거쳤기 때문에 핵심 검증 대상은 한 차례의 추가 인코딩이 지각 품질을 훼손하는지 여부였다. 고해상도와 저해상도 실제 이미지 각각 100장을 측정한 결과, 첫 재인코딩의 품질 저하는 사실상 감지하기 어려웠고 이후에는 제이펙이 안정 상태에 가까워져 열 차례를 반복해도 변화가 작았다. 고해상도 이미지는 첫 인코딩에서 피에스엔알 48.7데시벨과 엘피아이피에스 0.004, 열 번째에서 각각 45.4와 0.008을 기록했으며, 저해상도 이미지는 각각 45.1과 0.005에서 42.2와 0.010으로 변했다. 같은 이미지를 피엔지로 저장하면 지각적 이득 없이 용량이 약 3배에서 10배까지 커졌기 때문에, 대규모 학습 말뭉치에는 고품질 제이펙이 더 실용적이었다.

6. 제이펙과 피엔지의 모델 학습 비교

저장 이미지의 압축 형식이 모델 생성물에 영향을 주는지 확인하기 위해 같은 고해상도 이미지로 두 개의 동일한 PRX 모델을 1024픽셀 조건에서 학습했다. 한 모델은 품질 92의 제이펙을, 다른 모델은 피엔지를 사용했으며, 두 모델은 평가 지표상 동일한 수준으로 학습됐고 생성 결과도 사실상 구분하기 어려웠다. 생성물에서 양자화 구조가 검출된 비율은 제이펙 학습 모델이 12.0%, 피엔지 학습 모델이 10.8%였고, 검출된 이미지에 한정한 추정 제이펙 품질의 평균은 각각 39.6과 42.1, 중앙값은 34.0과 45.0이었다. 어느 쪽도 양자화 구조가 나타난 생성물은 대략 열 장 중 한 장에 불과했고 차이도 작아, 학습 이미지 형식이 출력 품질에 미치는 영향은 최소라고 결론 내렸다. 다만 압축 흔적에 민감한 다른 모델용 데이터에는 여전히 피엔지를 사용해 용도에 따라 저장 방식을 구분했다.

7. 랜스 적재와 조각화 문제

수억 또는 수십억 행의 파케이 테이블은 대화형으로 탐색하기 어렵기 때문에 데이터를 랜스에 저장하고, 레이 데이터를 이용해 원본 테이블을 병렬로 읽으며 클러스터 전반에서 여러 조각을 작성했다. 랜스의 일부 연산은 전체 행 수가 아니라 조각 수에 비례해 비용이 증가하고, 스캔 시 모든 조각의 파일을 열어야 하므로 작은 조각이 지나치게 많으면 단순 질의조차 느려진다. 첫 적재에서는 조각당 10만 행을 목표로 삼아 수천 개의 작은 조각이 생겼고, 필터와 전문 검색의 응답 속도가 크게 저하됐다. 이후 조각당 약 100만 행이 되도록 압축해 수억 행 규모 테이블의 조각 수를 약 1천 개 수준으로 줄이자 질의 속도가 개선됐다. 적절한 조각 크기는 행의 폭, 질의 방식, 쓰기 패턴에 따라 달라지지만, 처음부터 과도한 조각화를 피하고 필요할 때 분산 압축으로 조정하는 것이 중요하다는 경험을 얻었다.

8. 기존 메타데이터를 활용한 탐색과 선별

여러 데이터 출처의 설명 길이, 문체, 품질이 크게 달랐기 때문에 최종 학습용 설명은 기존 것을 그대로 쓰지 않고 모든 이미지에 대해 일관된 기준으로 다시 생성하기로 했다. 그러나 기존 설명과 클립 임베딩 같은 벡터 정보는 자체 설명 생성이 끝나기 전부터 데이터 품질을 조사하고 필요한 필터를 판단하는 탐색 수단으로 유지했다. 랜스의 전문 검색과 임베딩 열의 최근접 이웃 검색에 색인을 구축하고, 설명문을 실시간으로 검색하거나 시각적으로 유사한 이미지 군집을 이동하며 살펴볼 수 있는 작은 탐색 화면도 만들었다. 해상도 분포를 분석한 결과 최소 학습 버킷은 512픽셀 정사각형이고 최대 업스케일 비율은 약 33%였으므로, 실질적인 하한을 384픽셀 정사각형에 해당하는 약 14만 7천 화소로 정했다. 여기에 가로세로비 0.5 이상 2.0 이하 조건을 적용해 기준보다 작은 이미지를 제거함으로써, 검색 가능한 메타데이터와 실제 학습 제약을 연결해 데이터셋을 선별했다.

🧾 핵심 주장 / 시사점

• 사전 학습에서는 미적 기준으로 강하게 걸러내기보다 다양한 시각 분포를 보존하고, 정확한 장문 설명으로 불완전한 요소까지 조건화하는 것이 핵심이다.
• 텍스트 잠재값의 사전 계산 여부는 저장 공간, 처리량, 모델 규모, 인코더 변경 가능성을 함께 고려해야 하며, PRX에서는 약 3~4%의 처리량 비용으로 저장 효율과 유연성을 확보했다.
• 대규모 데이터 파이프라인에서는 파일 형식 자체뿐 아니라 조각 수와 크기가 탐색 성능을 좌우하며, 이미지 저장 형식도 압축 지표와 실제 모델 학습 결과를 함께 측정해 결정해야 한다.

✅ 액션 아이템

• 공개·내부 데이터셋 결합 시 PRX 방식대로 시각 개념, 장면, 조명 분포의 대표성 지표를 정량화한다.
• 모든 이미지에 대해 VLM 재설명을 수행해 장문 캡션 품질 편차를 줄이고 문자·로고·광고 제어용 조건 표현을 통일한다.
• 텍스트 잠재값 즉시 계산 전략을 적용해 70억 파라미터 기준 3~4% 처리량 손실 내에서 저장공간·인코더 변경 비용 절감을 정량 검증한다.

❓ 열린 질문

• 랜스 기반 조건 검색·색인·벡터 검색은 데이터 탐색 단계에서 어떤 질의 패턴에서 성능 이점을 가장 크게 제공하는가?
• 모자이크 데이터 샤드가 혼합·셔플·분산 스트리밍에서 재현 가능한 학습 속도 향상을 보장하려면 샤드 크기와 분산 전략을 어떻게 맞춰야 하는가?
• JPEG 품질 92 통일과 반복 재인코딩 비교 결과를 다른 작업 부하에서 재현할 경우 피엔지 대비 출력 품질 차이가 왜 미미했는지 어떤 지표로 판단할 것인가?