🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

PaliGemma 2는 SigLIP 이미지 인코더와 Gemma 2 언어 모델을 결합하고, 3B·10B·28B 규모와 세 가지 해상도, 간편한 미세조정 및 양자화 지원을 제공하는 구글의 새로운 오픈 비전 언어 모델 제품군이다.

📌 핵심 요약

• PaliGemma 2는 기존 PaliGemma의 SigLIP 이미지 인코더를 유지하면서 텍스트 디코더를 최신 Gemma 2로 교체했으며, 기존의 단일 3B 모델에서 3B·10B·28B 제품군으로 확장됐다.
• 각 사전학습 모델은 224×224, 448×448, 896×896 입력 해상도를 지원해 작업별 품질과 실행 효율의 균형을 선택할 수 있으며, 총 9개의 bfloat16 사전학습 체크포인트가 공개됐다.
• WebLI, CC3M-35L, VQ2A, OpenImages, WIT 등 다양한 이미지·텍스트 데이터를 학습해 시각 의미 이해, 객체 위치 파악, 이미지 속 문자 이해, 질의응답 및 다국어 작업의 미세조정 기반을 제공한다.
• DOCCI로 미세조정된 3B·10B 모델은 길고 세밀한 이미지 설명을 생성하며, 비교 표에서 10B 모델은 사실 부정확성을 나타내는 NES 20.3으로 제시된 모델 중 가장 낮은 수치를 기록했다.
• Transformers 4.47 이상에서 추론할 수 있고 LoRA·QLoRA·PEFT 및 4비트·8비트 양자화를 지원하며, Hugging Face는 VQAv2를 활용한 미세조정 스크립트와 데모도 함께 공개했다.

🧩 주요 포인트

1. PaliGemma 2는 기존 PaliGemma의 SigLIP 이미지 인코더를 유지하면서 텍스트 디코더를 최신 Gemma 2로 교체했으며, 기존의 단일 3B 모델에서 3B·10B·28B 제품군으로 확장됐다.
2. 각 사전학습 모델은 224×224, 448×448, 896×896 입력 해상도를 지원해 작업별 품질과 실행 효율의 균형을 선택할 수 있으며, 총 9개의 bfloat16 사전학습 체크포인트가 공개됐다.
3. WebLI, CC3M-35L, VQ2A, OpenImages, WIT 등 다양한 이미지·텍스트 데이터를 학습해 시각 의미 이해, 객체 위치 파악, 이미지 속 문자 이해, 질의응답 및 다국어 작업의 미세조정 기반을 제공한다.
4. DOCCI로 미세조정된 3B·10B 모델은 길고 세밀한 이미지 설명을 생성하며, 비교 표에서 10B 모델은 사실 부정확성을 나타내는 NES 20.3으로 제시된 모델 중 가장 낮은 수치를 기록했다.
5. Transformers 4.47 이상에서 추론할 수 있고 LoRA·QLoRA·PEFT 및 4비트·8비트 양자화를 지원하며, Hugging Face는 VQAv2를 활용한 미세조정 스크립트와 데모도 함께 공개했다.

🧠 상세 정리

1. PaliGemma 2의 구조와 모델 확장

PaliGemma 2는 구글이 2024년 5월 공개한 PaliGemma를 발전시킨 비전 언어 모델로, 기존과 같은 SigLIP 이미지 인코더에 Gemma 2 언어 모델을 연결한다. 기반 언어 모델로 각각 Gemma 2 2B, 9B, 27B를 사용하며, 비교적 작은 이미지 인코더의 매개변수까지 포함해 최종 제품군은 3B, 10B, 28B로 명명됐다. 이전 PaliGemma가 3B 모델로만 제공된 것과 달리, 이번에는 용량과 성능 요구가 서로 다른 작업에 대응할 수 있도록 세 가지 크기를 제공한다. 또한 모든 크기에 224×224, 448×448, 896×896 입력 해상도 조합을 마련해 사용자가 작업에 필요한 품질과 처리 효율의 균형을 선택하도록 했다.

2. 공개 체크포인트와 이용 조건

이번 배포에는 bfloat16 정밀도의 사전학습 모델 9개가 포함되며, 이는 3B·10B·28B의 세 가지 크기와 224×224·448×448·896×896의 세 가지 해상도를 조합한 결과다. 여기에 이미지와 상세 설명문 쌍으로 구성된 DOCCI 데이터셋으로 미세조정한 3B 및 10B 모델 두 개가 추가됐고, 두 모델의 입력 해상도는 448×448이다. 모델은 Gemma 라이선스로 배포되며 재배포, 상업적 이용, 미세조정, 파생 모델 생성을 허용한다. 모델 저장소뿐 아니라 Transformers 통합, 미세조정 스크립트, 노트북, 기술 보고서와 VQAv2 기반 시각 질의응답 데모까지 함께 제공돼 학습과 실험에 필요한 자료를 한 번에 확인할 수 있다.

3. 사전학습 데이터와 기반 역량

PaliGemma 2의 사전학습 모델은 후속 시각·언어 작업에 미세조정하기 위한 기반 모델로 설계됐으며, 다양한 영역의 데이터를 섞어 학습함으로써 유사한 작업을 비교적 적은 예제로 조정할 수 있도록 했다. WebLI는 공개 웹에서 구축한 대규모 다국어 이미지·텍스트 데이터로 시각 의미 이해, 객체 위치 파악, 이미지에 결부된 문자 이해와 다국어 역량을 제공한다. CC3M-35L은 웹페이지의 영어 이미지 대체 텍스트 쌍을 34개 언어로 번역한 데이터이며, VQ2A 질의응답 데이터도 같은 34개 언어로 확장됐다. 여기에 규칙 기반으로 OpenImages에서 생성한 탐지 및 객체 중심 질의응답 데이터와 위키백과에서 수집한 이미지·텍스트 데이터인 WIT가 더해졌고, 연구팀은 이 사전학습 모델들을 여러 시각·언어 이해 과제에 내부적으로 미세조정한 벤치마크를 모델 카드와 기술 보고서에 제시했다.

4. DOCCI 상세 캡셔닝과 성능 비교

DOCCI로 미세조정한 PaliGemma 2는 짧은 객체 나열을 넘어 이미지 속 문자, 물체 간 공간 관계, 장면과 관련된 세계 지식을 포함하는 길고 세밀한 설명을 생성하도록 구성됐다. 기술 보고서의 비교 표에서 PaliGemma 2 3B는 평균 529자와 7.7문장을 생성하면서 사실 부정확성을 측정하는 NES 28.4를 기록했고, 10B는 평균 521자와 7.5문장에 NES 20.3을 기록했다. NES는 낮을수록 좋은 지표이며, 기사에 제시된 비교 모델 가운데 10B 체크포인트가 가장 낮은 수치를 보였다. 예시 출력에서는 선 그래프의 색과 상대적 위치, 종이에 인쇄된 문자, 벽화의 인물과 색상, 탁자 위 물체의 배치, 책 표지의 제목과 삽화처럼 장면을 구성하는 세부 요소를 연속적인 문장으로 설명하는 모습을 보여준다.

5. VQAv2 기반 시각 질의응답 데모

Hugging Face 팀은 실제 활용 방식을 보여주기 위해 448×448 해상도의 PaliGemma 2 3B를 VQAv2 데이터셋의 일부로 미세조정했다. 이 과정에는 전체 매개변수를 모두 갱신하지 않는 LoRA와 PEFT가 사용됐으며, 완성된 결과는 사용자가 직접 시험할 수 있는 데모로 공개됐다. 데모의 코드는 Hugging Face Space에서 확인할 수 있고, 해당 Space를 복제해 사용자가 자신의 데이터와 미세조정 모델에 맞게 변경할 수도 있다. 이 사례는 PaliGemma 2의 사전학습 체크포인트가 상세 캡셔닝뿐 아니라 이미지에 관한 질문에 답하는 시각 질의응답 작업에도 같은 미세조정 인터페이스로 적용될 수 있음을 보여주는 공개 예제다.

6. Transformers를 이용한 추론 절차

PaliGemma 2는 Transformers의 PaliGemmaForConditionalGeneration과 AutoProcessor API로 실행할 수 있으며, 기사에서는 Transformers 4.47 이상을 설치하도록 안내한다. 예제는 DOCCI로 미세조정된 10B·448×448 체크포인트를 불러와 CUDA 장치로 옮기고, AutoProcessor로 모델에 맞는 입력을 구성하는 순서로 진행된다. 이미지와 함께 학습 당시의 형식에 맞춘 ‘<image>caption en’ 프롬프트를 전달한 뒤 generate 메서드로 새 토큰을 생성하고, 입력 프롬프트 부분을 제외한 출력만 디코딩한다. 고양이 사진 예제의 결과는 두 고양이의 털 색, 자세와 방향, 갈색 어망과 청록색 밧줄의 위치까지 여러 문장으로 서술하며, 작업별로 학습에 사용된 정확한 프롬프트 형식을 지켜야 한다는 점도 강조된다.

7. 4비트·8비트 양자화 결과

Transformers의 bitsandbytes 통합을 이용하면 PaliGemma 2를 양자화해 불러올 수 있으며, 기사에서는 nf4 형식과 bfloat16 연산 자료형을 사용하는 4비트 구성을 예시로 제시한다. 품질 저하를 확인하기 위해 224×224 입력을 사용하는 미세조정된 3B 체크포인트를 TextVQA 검증 세트 5,000개 항목에서 평가했다. 양자화하지 않은 bfloat16 모델의 정확도는 60.04%였고, 8비트 모델은 59.78%, 제시된 nf4 구성의 4비트 모델은 58.72%를 기록했다. 글은 이 결과를 고무적으로 평가하면서도 양자화의 이점이 더 큰 체크포인트에서 특히 중요할 수 있으며, 실제 적용 전에는 사용하려는 도메인과 과제에서 직접 성능을 측정해야 한다고 권고한다.

8. 미세조정 호환성과 공개 학습 도구

기존 PaliGemma를 미세조정한 경험이 있다면 PaliGemma 2에서도 같은 API를 그대로 사용할 수 있어 기존 코드를 큰 변경 없이 적용할 수 있다. 공개된 미세조정 스크립트와 노트북은 모델 일부를 동결하는 방식뿐 아니라 LoRA와 QLoRA 같은 메모리 효율적 학습 방법을 지원한다. Hugging Face 팀은 시연을 위해 VQAv2 검증 분할의 절반으로 PaliGemma 2를 LoRA 미세조정했으며, 80GB VRAM을 갖춘 A100 GPU 3개에서 약 30분이 걸렸다고 밝혔다. 완성된 모델과 Gradio 데모도 함께 공개됐고, 글은 더 강한 사전학습 모델과 다양한 크기·해상도 조합이 여러 후속 작업에 맞는 선택지를 제공한다는 점을 이번 릴리스의 핵심으로 정리한다.

🧾 핵심 주장 / 시사점

• PaliGemma 2의 핵심 변화는 단순한 모델 대형화가 아니라, 세 가지 모델 크기와 세 가지 해상도를 조합해 총 9개의 사전학습 체크포인트를 제공함으로써 작업별 품질·효율 선택 범위를 넓힌 데 있다.
• DOCCI 비교에서는 10B 모델이 3B 모델과 비슷한 길이의 설명을 생성하면서 NES를 28.4에서 20.3으로 낮춰, 설명의 분량보다 사실적 일관성 측면에서 크기 확장의 효과가 나타났다.
• TextVQA 평가에서 정확도는 bfloat16 60.04%, 8비트 59.78%, 4비트 58.72%로 제시됐지만, 원문은 이 단일 결과를 일반화하지 않고 실제 도메인과 과제에서 양자화 성능을 별도로 측정할 것을 권고한다.

✅ 액션 아이템

• 3B·10B·28B와 224·448·896 입력 해상도 조합을 작업 특성별로 비교해 도입 우선순위를 정의한다.
• 기존 PaliGemma 대비 SigLIP 이미지 인코더 유지와 Gemma 2 교체 방식이 바뀐 구조적 차이를 기준으로 모델 라인업 선택 논리를 정리한다.
• Transformers 4.47 이상, LoRA·QLoRA·PEFT, 4비트·8비트 양자화 조건을 묶어 미세조정 실험 범위와 품질·비용 점검 항목을 확정한다.

❓ 열린 질문

• 3B·10B·28B 중 어떤 규모가 우리 대상 과제에서 품질과 자원 요구를 함께 만족할 수 있는가?
• 해상도 224·448·896 중 어느 지점에서 장면 이해 정밀도와 추론 속도 균형이 가장 크게 갈릴까?
• 총 9개 bfloat16 체크포인트에서 어떤 조합을 우선 시험해야 DOCCI 기반 10B의 NES 20.3 수준 성능 이점을 재현할 수 있는가?