Granite 4.0 3B Vision: Compact Multimodal Intelligence for Enterprise Documents

🖼️ 인포그래픽

Granite 4.0 3B Vision: Compact Multimodal Intelligence for Enterprise Documents 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Granite 4.0 3B Vision은 복잡한 기업 문서의 표·차트·핵심 값 쌍을 정밀하게 추출하도록 설계된 30억 매개변수급 소형 비전·언어 모델이다.

📌 핵심 요약

Granite 4.0 3B Vision은 표 구조 추출, 차트의 구조화 데이터 변환과 요약, 다양한 문서 배치에서의 의미 기반 핵심 값 쌍 추출에 초점을 맞춘 기업용 문서 이해 모델이다.
ChartNet은 24종의 차트와 6개 그래프 작성 라이브러리를 활용해 170만 개의 표본을 구성하며, 코드·이미지·데이터 표·자연어 요약·질의응답을 정렬해 차트 해석 능력을 학습시킨다.
DeepStack Injection은 추상적인 시각 특징을 언어 모델의 앞쪽 계층에, 고해상도 공간 특징을 뒤쪽 계층에 주입해 문서의 의미와 위치 정보를 함께 보존한다.
평가 결과 차트 요약 86.4%, 차트 CSV 변환 62.1%, 의미 기반 핵심 값 쌍 추출 85.5%를 기록했으며, 여러 표 추출 벤치마크에서도 비교 모델 중 가장 높은 점수를 달성했다.
모델은 개별 이미지 처리에 단독으로 사용하거나 Docling과 결합해 다중 페이지 PDF의 탐지·분할·잘라내기와 세밀한 시각 정보 추출을 연결하는 문서 처리 파이프라인으로 운영할 수 있다.

🧩 주요 포인트

Granite 4.0 3B Vision은 표 구조 추출, 차트의 구조화 데이터 변환과 요약, 다양한 문서 배치에서의 의미 기반 핵심 값 쌍 추출에 초점을 맞춘 기업용 문서 이해 모델이다.
ChartNet은 24종의 차트와 6개 그래프 작성 라이브러리를 활용해 170만 개의 표본을 구성하며, 코드·이미지·데이터 표·자연어 요약·질의응답을 정렬해 차트 해석 능력을 학습시킨다.
DeepStack Injection은 추상적인 시각 특징을 언어 모델의 앞쪽 계층에, 고해상도 공간 특징을 뒤쪽 계층에 주입해 문서의 의미와 위치 정보를 함께 보존한다.
평가 결과 차트 요약 86.4%, 차트 CSV 변환 62.1%, 의미 기반 핵심 값 쌍 추출 85.5%를 기록했으며, 여러 표 추출 벤치마크에서도 비교 모델 중 가장 높은 점수를 달성했다.
모델은 개별 이미지 처리에 단독으로 사용하거나 Docling과 결합해 다중 페이지 PDF의 탐지·분할·잘라내기와 세밀한 시각 정보 추출을 연결하는 문서 처리 파이프라인으로 운영할 수 있다.

🧠 상세 정리

1. 기업 문서 이해에 특화된 소형 비전·언어 모델

Granite 4.0 3B Vision은 복잡한 문서, 양식, 구조화된 시각 자료에서 정보를 안정적으로 추출하기 위해 개발된 소형 비전·언어 모델이다. 핵심 기능은 여러 행과 열이 얽힌 표 구조의 파싱, 차트와 도형을 구조화된 형식·요약·실행 가능한 코드로 변환하는 작업, 그리고 다양한 문서 배치에서 의미 있는 핵심 값 쌍을 찾아 원래 위치와 연결하는 작업이다. 이미지에 대한 상세한 자연어 설명과 같은 일반적인 시각·언어 작업도 계속 지원한다. 모델은 Granite 4.0 Micro 위에 적용되는 LoRA 어댑터로 제공되므로 시각 처리가 필요하지 않을 때는 기반 언어 모델을 활용할 수 있고, 문서 처리 도구인 Docling과 결합하거나 독립적인 추출 엔진으로 사용할 수 있다.

2. ChartNet을 통한 차트 해석 능력 강화

차트 이해에는 시각적 패턴, 수치 데이터, 자연어를 함께 추론하는 능력이 필요하며, 특히 선 그래프의 정확한 값을 읽는 것처럼 공간 정밀도가 필요한 작업은 기존 비전·언어 모델에 어려운 문제다. 이를 보완하기 위해 제작된 ChartNet은 24개 차트 유형과 6개 그래프 작성 라이브러리에 걸친 170만 개의 표본으로 구성된 대규모 멀티모달 데이터 세트다. 각 표본은 그래프 작성 코드, 렌더링된 이미지, 원본 데이터 표, 자연어 요약, 질의응답 쌍이라는 다섯 요소를 서로 정렬해 제공한다. 여기에 사람이 주석을 작성한 자료와 실제 환경에서 수집한 하위 집합을 포함하고, 시각적 충실도와 의미 정확성 및 다양성을 기준으로 필터링했다. 이 구성은 모델이 차트의 외형을 묘사하는 수준을 넘어 차트에 담긴 구조화된 정보를 이해하도록 훈련하는 데 사용됐다.

3. DeepStack 기반의 시각 특징 주입

일반적인 비전·언어 모델은 시각 정보를 언어 모델의 한 지점에 한꺼번에 주입하기 때문에 높은 수준의 의미와 세밀한 공간 정보를 동시에 처리해야 하는 부담이 생긴다. Granite 4.0 3B Vision의 DeepStack Injection은 추상화된 시각 특징을 앞쪽 계층으로 보내 의미 이해에 사용하고, 고해상도 공간 특징은 뒤쪽 계층에 전달해 세부 위치 정보를 보존한다. 이 방식은 문서에 무엇이 있는지뿐 아니라 그것이 어디에 배치되어 있는지도 모델이 함께 파악하도록 설계됐다. 내용과 배치가 모두 중요한 표 구조 추출, 차트 해석, 의미 기반 핵심 값 쌍 파싱에서 이러한 분리된 특징 주입이 활용된다. 모델의 성능은 이 구조와 ChartNet 데이터, 그리고 시각·언어 기능을 분리한 모듈식 설계를 결합한 결과로 설명된다.

4. 차트·표·핵심 값 쌍 평가 결과

사람이 검증한 ChartNet 벤치마크에서 Granite 4.0 3B Vision은 언어 모델 판정 방식으로 평가한 차트 요약 과제에서 86.4%를 기록해 비교된 모든 모델 중 가장 높은 점수를 얻었다. 차트를 CSV로 변환하는 과제에서는 62.1%로 2위를 차지했으며, 63.4%를 기록한 Qwen3.5-9B만 앞섰다. 표 추출은 잘라낸 표와 복잡한 전체 페이지 문서로 나누어 평가했고, 구조와 내용의 정확성을 함께 측정하는 TEDS를 사용했다. 그 결과 PubTablesV2의 잘라낸 표에서 92.1, 전체 페이지에서 79.3, OmniDocBench에서 64.0, TableVQA에서 88.1을 기록해 평가된 모델 가운데 모두 선두에 올랐다. 1,777개의 미국 정부 양식으로 구성된 VAREX에서는 사전 예시 없이 엄격한 완전 일치 기준으로 85.5%의 의미 기반 핵심 값 쌍 추출 정확도를 달성했다.

5. 독립 실행과 Docling 통합 방식

Granite 4.0 3B Vision은 개별 이미지를 직접 처리하는 독립형 시각 정보 추출 엔진으로 사용할 수 있다. 이 방식은 기존 시스템의 앞단을 수정하지 않고 특정 이미지만 분석하려는 작업에 적합하며, 양식 파서나 차트 분석기처럼 가볍고 목적이 분명한 자동화 도구에 연결할 수 있다. 다른 방식은 Docling과 결합해 다중 페이지 PDF 전체를 처리하는 종단 간 문서 이해 파이프라인을 구성하는 것이다. Docling이 문서에서 도형, 표, 기타 시각 요소를 자동으로 탐지하고 분할한 뒤 깨끗하게 잘라낸 영역을 Granite Vision에 전달하면, 모델이 해당 부분을 세밀하게 추출한다. 원문은 이 통합 방식이 대규모 문서 모음에서 전체 계산 비용과 처리 시간을 줄이면서 추출 정확도와 신뢰성 및 효율을 높일 수 있다고 설명한다.

6. 실제 활용 분야와 배포 조건

양식 처리에서는 송장, 각종 양식, 영수증에서 구조화된 필드를 핵심 값 쌍으로 추출하거나 이미지 설명 기능으로 도형을 자연어로 해설할 수 있다. 재무 보고서 분석에서는 Docling이 보고서를 파싱하고 시각 요소를 잘라내면 Granite Vision이 차트를 CSV나 코드로, 표를 구조화된 데이터로 변환해 후속 분석에 사용할 수 있게 한다. 연구 문서 처리에서는 Docling이 조밀한 학술 PDF의 문자 인식과 배치 분석을 맡고, 추출된 차트와 표를 각각 요약 및 HTML 형식으로 변환해 자유 형식 본문과 함께 검색 가능한 정보로 구성한다. Granite 4.0 3B Vision은 현재 Hugging Face에서 Apache 2.0 라이선스로 공개돼 있다. 상세한 모델 구조, 학습 방법, 전체 벤치마크 결과는 함께 제공되는 모델 카드에서 확인할 수 있다.

🧾 핵심 주장 / 시사점

모델의 소형화 자체보다 차트용 정렬 데이터, 계층별 시각 특징 주입, LoRA 기반 모듈성이 결합된 설계가 문서 이해 성능의 핵심으로 제시된다.
차트에서는 요약과 구조화 데이터 변환을 별도 과제로 평가하고, 표에서는 잘라낸 이미지와 전체 페이지를 모두 평가해 실제 문서 배치에서의 추출 능력을 구분해 보여준다.
Docling이 문서 탐지·분할·잘라내기를 담당하고 Granite Vision이 세밀한 시각 추출을 맡는 구성은 대규모 문서 처리에서 각 도구의 역할을 명확히 분리한다.

✅ 액션 아이템

Granite 4.0 3B Vision(30억 파라미터)의 표·차트·핵심 값 쌍 추출 성능을 문서군별로 PoC해 도입 적합성을 판정한다.
ChartNet의 24종 차트·6개 그래프 라이브러리·170만 표본 구성을 기준으로 현재 문서 분포와 격차를 비교해 보강 범위를 정한다.
DeepStack Injection 구조를 반영해 단일 이미지 처리와 Docling 결합 다중페이지 파이프라인을 병행 운용하고 정확도·지연을 비교한다.