🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

TNG는 머리말과 꼬리말을 의도적으로 생략하던 olmOCR를 8,000개 문서로 미세조정해, 문서의 논리적 읽기 순서를 유지하면서 업무상 중요한 주변 정보까지 충실하게 추출하는 OCR 모델로 개선했다.

📌 핵심 요약

• 기존 olmOCR는 대규모 언어 모델의 학습 데이터를 생성하는 용도로 설계되어 자연스러운 읽기 흐름에 불필요한 머리말과 꼬리말을 의도적으로 제외하지만, 청구서 처리처럼 해당 영역에 핵심 정보가 있는 업무에는 적합하지 않았다.
• 전통적인 파이프라인형 OCR는 영역 분할, 표 분석, 문자 인식 등의 여러 구성 요소를 연결하지만, 다단 문서와 부유 도표를 비롯한 복잡한 배치의 내용을 논리적인 읽기 순서로 평탄화하는 데 근본적인 한계가 있다.
• 연구진은 Qwen2.5-VL-72B-Instruct를 사용해 모든 관련 정보를 포함하는 8,000개 문서 데이터셋을 만들고, 공개된 olmOCR 학습 파이프라인을 기반으로 olmOCR-7B-0225-preview를 총 2.5에포크 동안 미세조정했다.
• 미세조정 모델은 원본과 동일한 문서 앵커링 추론 방식을 사용했으며, 정성 평가에서 머리말과 꼬리말의 중요 정보를 추출하면서도 단순한 표와 복잡한 다단 배치를 계속 처리했다.
• 최종 학습은 8개의 H100 환경에서 6시간이 걸렸지만 저자는 이 구성이 과도했으며 메모리 측면에서는 약 2개의 그래픽 처리 장치로도 충분할 가능성이 있다고 설명했고, 모델과 활용한 학습 방식도 공개했다.

🧩 주요 포인트

1. 기존 olmOCR는 대규모 언어 모델의 학습 데이터를 생성하는 용도로 설계되어 자연스러운 읽기 흐름에 불필요한 머리말과 꼬리말을 의도적으로 제외하지만, 청구서 처리처럼 해당 영역에 핵심 정보가 있는 업무에는 적합하지 않았다.
2. 전통적인 파이프라인형 OCR는 영역 분할, 표 분석, 문자 인식 등의 여러 구성 요소를 연결하지만, 다단 문서와 부유 도표를 비롯한 복잡한 배치의 내용을 논리적인 읽기 순서로 평탄화하는 데 근본적인 한계가 있다.
3. 연구진은 Qwen2.5-VL-72B-Instruct를 사용해 모든 관련 정보를 포함하는 8,000개 문서 데이터셋을 만들고, 공개된 olmOCR 학습 파이프라인을 기반으로 olmOCR-7B-0225-preview를 총 2.5에포크 동안 미세조정했다.
4. 미세조정 모델은 원본과 동일한 문서 앵커링 추론 방식을 사용했으며, 정성 평가에서 머리말과 꼬리말의 중요 정보를 추출하면서도 단순한 표와 복잡한 다단 배치를 계속 처리했다.
5. 최종 학습은 8개의 H100 환경에서 6시간이 걸렸지만 저자는 이 구성이 과도했으며 메모리 측면에서는 약 2개의 그래픽 처리 장치로도 충분할 가능성이 있다고 설명했고, 모델과 활용한 학습 방식도 공개했다.

🧠 상세 정리

1. 업무용 OCR에서 드러난 기존 olmOCR의 한계

Allen Institute for Artificial Intelligence가 공개한 olmOCR는 PDF를 구조가 보존된 깔끔한 선형 일반 텍스트로 변환하는 데 뛰어난 결과를 보였다. 그러나 이 모델의 주된 목적은 대규모 언어 모델을 위한 학습 데이터를 만드는 것이어서, 자연스러운 읽기 흐름에 불필요하다고 판단되는 머리말과 꼬리말을 의도적으로 제외한다. 이러한 선택은 다음 토큰 예측에 적합한 학습 문서를 만드는 데는 유리하지만, 청구서처럼 문서 상단과 하단에 거래 정보나 업무상 핵심 내용이 들어가는 사례에서는 심각한 누락을 일으킨다. TNG는 내부 문서 처리 자동화 과정에서 이 문제를 확인하고, olmOCR-7B-0225-preview가 주변 정보까지 빠짐없이 추출하는 충실한 OCR 엔진으로 작동하도록 미세조정했다.

2. 파이프라인형 OCR와 문서 선형화 문제

기존의 인공지능 기반 OCR는 오랫동안 문서 영역 분할, 표 분석, 문자 인식 등 여러 기계학습 구성 요소를 순차적으로 연결하는 파이프라인 구조를 주로 사용했다. 이 방식의 근본적인 약점은 각 구성 요소가 추출한 결과를 사람이 읽는 논리적 순서에 맞게 하나의 문맥으로 평탄화하기 어렵다는 점이다. 특히 여러 단으로 구성된 문서, 본문 사이에 떠 있는 도표, 독립된 머리말과 꼬리말처럼 배치가 복잡한 요소가 많을수록 올바른 읽기 순서를 복원하기가 까다롭다. 최근에는 시각 언어 모델을 종단 간 OCR 시스템으로 활용하여 이러한 선형화 문제를 해결하려는 시도가 활발해졌고, olmOCR 역시 복잡한 문서 내용을 읽기 순서에 맞춰 출력할 수 있다는 장점을 보여 주었다.

3. 8,000개 문서 구축과 미세조정 과정

연구진은 청구서 분석 등의 업무 사례에서 기존 olmOCR가 머리말과 꼬리말의 중요 정보를 일관되게 누락한다는 사실을 확인했다. 이를 보완하기 위해 Qwen2.5-VL-72B-Instruct로 신뢰할 수 있는 OCR 엔진에 기대되는 모든 관련 정보를 담은 8,000개 문서 데이터셋을 생성했다. 학습은 공개된 olmOCR 학습 파이프라인을 바탕으로 진행했으며, 8개의 H100이 장착된 노드에서 그래디언트 누적 4단계와 총 2.5에포크 설정을 사용했다. 기본 하이퍼파라미터가 충분히 잘 작동했기 때문에 자원 소모가 큰 별도의 하이퍼파라미터 탐색은 수행하지 않았고, 실험 과정은 MLflow로 추적했다. 평가는 Qwen2.5-VL-72B-Instruct로 확보한 머리말과 꼬리말 정보를 포함하도록 olmOCR-mix-0225 평가 데이터셋을 수정해 진행했다.

4. 문서 앵커링을 활용한 동일 조건 비교

미세조정이 끝난 뒤 연구진은 문서 분석 결과에서 중요한 정보가 실제로 누락되었던 사례들을 대상으로 원본 모델과 새 모델을 정성적으로 비교했다. 추론 설정은 기존 olmOCR와 동일하게 유지했으며, 디지털 문서에 원래 포함된 내용을 보존하기 위한 특수 프롬프트 전략인 문서 앵커링을 사용했다. 문서 앵커링은 각 페이지에서 원시 텍스트 블록과 위치 정보를 추출한 다음, 이를 래스터 이미지와 함께 시각 언어 모델의 입력으로 제공하는 방식이다. 따라서 비교의 핵심 변수는 추론 파이프라인의 변경이 아니라 머리말과 꼬리말까지 포함한 데이터로 수행한 미세조정이었으며, 연구진은 원본 응답과 미세조정 모델의 응답에서 누락된 핵심 정보를 직접 대조했다.

5. 머리말·꼬리말 복원과 배치 처리 성능

청구서 예시에서 원본 olmOCR-7B-0225-preview는 문서 상단과 하단의 중요한 정보를 빠뜨렸지만, 미세조정 모델은 해당 내용을 모두 추출했다. 또 다른 예시에서도 후속 업무에 필요한 정보를 보존하는 동시에 단순한 표를 계속 올바르게 분석하는 모습을 보였다. 복잡한 다단 배치 문서 역시 기존 olmOCR의 배치 해석 능력을 유지하면서 이전에 빠졌던 머리말의 추가 정보까지 출력했다. 연구진은 전반적으로 주변 정보를 포함한 모든 내용이 추출되고 표 처리 능력도 유지된 결과에 만족했다고 평가했다. 다만 일부 문서에서는 추론 온도를 다르게 설정했을 때 출력 품질이 크게 달라지는 현상이 관찰되어, 모델 결과가 추론 설정의 영향을 받을 수 있다는 점도 함께 보고했다.

6. 학습 자원, 공개 모델과 최종 평가

연구진은 종단 간 시스템인 olmOCR의 선형화 능력이 전통적인 파이프라인형 OCR에 비해 강한 장점이며, 이번 미세조정으로 다양한 문서의 머리말과 꼬리말까지 충실하게 추출할 수 있게 됐다고 정리했다. 이는 문서 주변부에 핵심 정보가 존재하는 청구서 분석과 같은 업무에서 특히 중요하며, 개선된 모델은 Hugging Face에 공개됐다. 댓글 답변에 따르면 최종 학습은 8개의 H100 환경에서 약 6시간 동안 진행됐지만, 여러 실험을 빠르고 편리하게 반복하기 위해 선택한 구성으로 실제 필요량보다 과도했다. 저자는 그래픽 처리 장치 메모리만 고려하면 더 적은 장비로 충분하며 약 2개의 장치도 가능할 것으로 설명했다. 미세조정에는 Allen Institute가 공개한 Qwen2-VL-7B용 olmOCR 학습 코드를 그대로 활용했다고 추가로 밝혔다.

🧾 핵심 주장 / 시사점

• 학습 데이터에서 머리말과 꼬리말을 제외하는 설계는 언어 모델용 자연스러운 텍스트 생성에는 적합하지만, 정보 누락을 허용할 수 없는 업무용 OCR의 목표와는 충돌한다.
• 이번 결과는 문서 선형화 능력을 유지하면서 학습 데이터의 포함 범위를 넓히면, 복잡한 배치와 표 처리 성능을 보존한 채 주변부 정보 누락을 줄일 수 있음을 사례로 보여 준다.
• 8개의 H100을 사용한 최종 학습은 6시간 만에 끝났으나 저자 스스로 과도한 구성이라고 평가했으므로, 공개된 설정이 반드시 동일한 규모의 장비를 요구하는 것은 아니다.

✅ 액션 아이템

• 기존 olmOCR의 머리말·꼬리말 제거 동작이 부적합한 청구서 처리 문서군을 선별해 적용 범위를 재정의한다.
• Qwen2.5-VL-72B-Instruct 기반 8,000개 문서셋과 2.5에포크로 olmOCR-7B-0225-preview 미세조정 과정을 재현해 성능 편차를 점검한다.
• 정성평가에서 확인된 단순 표·복잡 다단 배치 처리 특성을 반영해 자체 문서로 파일럿 운영 후 순차 처리가 제대로 유지되는지 검증한다.

❓ 열린 질문

• 머리말·꼬리말이 핵심값이 되는 문서에서 미세조정 모델의 인식 정확도 개선이 정량적으로 어느 수준인가?
• 2개 GPU로도 가능하다는 주장 대비, 우리 인프라에서는 학습 메모리와 2.5에포크 소요 시간이 허용 범위에 드는가?
• 문서 앵커링 추론을 동일하게 유지했을 때 부유 도표·다단 레이아웃의 읽기 순서 안정성이 실제 데이터셋에서 항상 유지되는가?