🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 글은 스캔된 졸업앨범 페이지에서 사진과 이름을 추출한 뒤 레이아웃 기반으로 얼굴-이름을 연결하기 위해 Amazon Nova 2 Lite와 Claude Sonnet 4.6을 역할 분리해 사용하는 문서 처리 파이프라인을 설명한다.

📌 핵심 요약

• 스캔된 졸업앨범 페이지에는 여러 이름과 사진이 있지만, 이름과 얼굴을 직접 연결해 주는 기계 판독 가능한 구조가 없어 사진 탐지, 이름 추출, 공간적 매칭이 모두 필요하다.
• 제안된 파이프라인은 두 단계로 구성되며, Amazon Nova 2 Lite가 한 번의 멀티모달 호출로 사진 바운딩 박스, 이름 위치, 페이지 메타데이터를 추출하고 Claude Sonnet 4.6이 이를 바탕으로 이름과 얼굴을 매칭한다.
• 336장의 졸업앨범 페이지에 적용한 결과 3,122개의 이름-얼굴 연결을 생성했고, 그중 93%가 0.95 이상의 신뢰도를 기록했다.
• Nova 2 Lite는 이미지 입력에 대해 고정 과금이 적용되어 해상도나 파일 크기와 무관하게 페이지당 비용 예측이 쉬우며, 이름 중심으로 출력 범위를 제한해 토큰 비용을 줄인다.
• Claude의 adaptive thinking은 페이지 레이아웃이 단순한 초상 사진 그리드인지, 그룹 사진과 캡션이 섞인 복잡한 구조인지에 따라 필요한 추론 깊이를 조절해 공간적 매칭을 수행한다.

🧩 주요 포인트

1. 스캔된 졸업앨범 페이지에는 여러 이름과 사진이 있지만, 이름과 얼굴을 직접 연결해 주는 기계 판독 가능한 구조가 없어 사진 탐지, 이름 추출, 공간적 매칭이 모두 필요하다.
2. 제안된 파이프라인은 두 단계로 구성되며, Amazon Nova 2 Lite가 한 번의 멀티모달 호출로 사진 바운딩 박스, 이름 위치, 페이지 메타데이터를 추출하고 Claude Sonnet 4.6이 이를 바탕으로 이름과 얼굴을 매칭한다.
3. 336장의 졸업앨범 페이지에 적용한 결과 3,122개의 이름-얼굴 연결을 생성했고, 그중 93%가 0.95 이상의 신뢰도를 기록했다.
4. Nova 2 Lite는 이미지 입력에 대해 고정 과금이 적용되어 해상도나 파일 크기와 무관하게 페이지당 비용 예측이 쉬우며, 이름 중심으로 출력 범위를 제한해 토큰 비용을 줄인다.
5. Claude의 adaptive thinking은 페이지 레이아웃이 단순한 초상 사진 그리드인지, 그룹 사진과 캡션이 섞인 복잡한 구조인지에 따라 필요한 추론 깊이를 조절해 공간적 매칭을 수행한다.

🧠 상세 정리

1. 문제 설정: 구조 없는 스캔 문서에서 얼굴과 이름 연결하기

원문은 176개의 인쇄된 이름과 4개의 초상 사진이 있지만, 어떤 이름이 어떤 얼굴에 대응하는지 알려 주는 기계 판독 구조가 전혀 없는 스캔 졸업앨범 페이지를 출발점으로 삼는다. 단순히 이미지를 텍스트로 변환하는 것만으로는 충분하지 않으며, 사진을 안정적으로 감지하고 각 사진의 바운딩 박스를 얻어야 한다. 동시에 페이지에 보이는 이름을 정확히 추출하고, 그 이름들이 페이지의 어느 위치에 있는지도 알아야 한다. 마지막으로 이름과 얼굴 사이의 관계를 페이지 레이아웃에 근거해 판단해야 하므로, 이 작업은 OCR과 이미지 탐지를 넘어 공간적 추론까지 포함하는 문제로 제시된다.

2. 두 모델 파이프라인의 핵심 구조

해결책은 서로 다른 역할을 맡은 두 모델을 순차적으로 사용하는 구조다. 첫 단계에서는 Amazon Nova 2 Lite가 스캔된 페이지 이미지를 입력받아 사진을 감지하고 분류하며, 각 사진의 바운딩 박스와 페이지에 보이는 이름의 위치를 함께 반환한다. 또한 페이지 제목이나 카테고리 같은 메타데이터도 함께 추출한다. 두 번째 단계에서는 Claude Sonnet 4.6이 Nova가 반환한 이름 위치와 사진 바운딩 박스를 사용해 어떤 이름이 어떤 얼굴에 대응하는지 판단한다. 즉, 대량의 멀티모달 추출은 Nova가 맡고, 레이아웃 변동성을 해석하는 공간적 추론은 Claude가 맡는 방식이다.

3. 실험 결과와 비용 절감 효과

원문은 이 파이프라인을 336장의 스캔 졸업앨범 페이지에 적용한 결과를 제시한다. 실행 결과 총 3,122개의 이름-얼굴 연결이 만들어졌고, 그중 93%는 0.95 이상의 신뢰도를 기록했다. 또한 전체 작업을 하나의 비전-언어 모델에 모두 맡기는 대안과 비교했을 때, 두 모델을 나누어 사용하는 방식이 페이지당 비용을 약 3분의 2 줄였다고 설명한다. 이 수치는 모델 선택이 단순한 성능 문제가 아니라, 대규모 문서 처리에서 비용 구조와 처리 방식에 직접 영향을 준다는 점을 보여 주는 근거로 사용된다.

4. Nova 2 Lite의 역할: 추출 범위를 좁힌 멀티모달 처리

Nova 2 Lite는 이 파이프라인에서 첫 번째 고속 추출 단계를 담당한다. 원문은 Nova가 텍스트와 이미지를 함께 다루는 네이티브 멀티모달 처리 능력을 활용해, 한 번의 Converse 호출로 사진 바운딩 박스, 사진 유형과 카테고리, 보이는 이름과 그 대략적 위치, 페이지 단위 메타데이터를 반환한다고 설명한다. 중요한 점은 Nova에게 페이지의 모든 OCR 토큰을 요청하지 않고, 사진 주변 매칭에 필요한 이름만 요청한다는 것이다. 이렇게 하면 전체 OCR을 수행할 때보다 출력 토큰 수가 크게 줄어들며, 원문은 이름 중심 출력이 페이지당 약 1,000토큰 수준인 반면 전체 OCR은 약 4,500토큰을 만들 수 있다고 설명한다.

5. 추론 설정과 비용 최적화

Nova 단계에서는 reasoning_config 필드를 사용해 reasoning 수준을 LOW로 설정한다. 원문에 따르면 336장 전체를 대상으로 테스트했을 때 구조화된 추출 작업에서는 LOW, MEDIUM, HIGH 사이에 의미 있는 정확도 차이가 없었고, LOW가 가장 저렴한 선택이었다. 이와 별도로 Claude 단계에서는 thinking 필드를 통해 추론 설정을 제어하므로, 두 모델은 서로 다른 이름의 설정 필드를 사용한다. 이러한 설명은 비용 최적화가 단순히 더 저렴한 모델을 고르는 문제가 아니라, 각 단계에서 필요한 출력 범위와 추론 수준을 제한하는 설계와도 연결된다는 점을 보여 준다.

6. 고정 이미지 과금이 주는 예측 가능성

원문은 Amazon Nova 2 Lite의 이미지 입력 과금 방식 변화가 대규모 문서 처리 비용 예측에 중요하다고 설명한다. 이미지와 문서 페이지 입력이 해상도나 파일 크기와 관계없이 고정된 이미지 단위 요금으로 청구되기 때문이다. 이전처럼 해상도에 따라 이미지 토큰 비용이 달라지는 구조에서는 대표 샘플로 사전 검증을 하지 않으면 페이지당 비용을 예측하기 어려웠다. 반면 고정 과금에서는 페이지 수에 따라 이미지 입력 비용이 선형적으로 증가하므로 수십만 장 규모의 연간 처리량에서도 비용 전망이 단순해진다. 원문 예시는 이미지 입력, 프롬프트 입력, 출력 토큰을 포함한 전체 비용을 페이지당 약 0.0027달러로 제시한다.

7. Claude의 역할: 레이아웃 변화에 대응하는 공간 추론

Claude Sonnet 4.6은 두 번째 단계에서 이름 위치와 사진 바운딩 박스를 함께 받아 이름과 얼굴을 연결한다. 졸업앨범 페이지는 항상 같은 형식이 아니어서, 캡션이 사진 위에 있을 수도 있고 아래에 있을 수도 있으며, 초상 사진 그리드와 단체 사진이 한 페이지에 섞일 수도 있다. 원문은 Claude의 adaptive thinking이 이런 레이아웃 차이를 처리하는 데 쓰인다고 설명한다. 단순한 8명 초상 사진 그리드에서는 비교적 직접적인 응답이 가능하지만, 여러 단체 사진과 사이드바 이름 목록이 함께 있는 경우에는 단계적인 공간 분석이 필요해진다. 이 방식은 레이아웃 유형마다 별도 프롬프트를 설계하지 않아도 되는 장점이 있다.

8. 구현 흐름과 반환 데이터 구조

구현 예시는 먼저 스캔 이미지를 Nova 2 Lite에 전달해 JSON 형태의 결과를 받는 흐름을 보여 준다. 반환 데이터에는 page_title, photos, names 같은 필드가 포함되며, 사진에는 바운딩 박스, portrait·group·candid 같은 유형, 카테고리, 간단한 설명이 붙는다. 이름에는 실제 보이는 텍스트와 페이지 내 바운딩 박스가 포함된다. 이 좌표는 0부터 1000까지의 공통 좌표계로 표현되며, Claude 단계에서도 그대로 사용되므로 별도의 정규화가 필요 없다. 이후 Claude에는 이름 좌표와 사진 좌표, 원본 이미지가 함께 전달되고, 결과는 이름, 얼굴 인덱스, 신뢰도, 판단 근거를 포함한 associations JSON으로 반환된다.

🧾 핵심 주장 / 시사점

• 이 사례의 핵심은 하나의 강력한 모델에 모든 작업을 맡기기보다, 대량 추출과 공간 추론을 분리해 각 모델이 잘하는 일을 맡기면 비용과 품질을 함께 관리할 수 있다는 점이다.
• 문서 처리 비용은 이미지 입력 가격만이 아니라 출력 토큰 수와 추론 토큰 수에도 크게 좌우되므로, 필요한 정보만 추출하도록 범위를 좁히는 설계가 중요하다.
• 졸업앨범처럼 시각 요소와 텍스트의 관계가 레이아웃에 따라 달라지는 문서에서는 OCR 결과 자체보다 좌표, 바운딩 박스, 캡션 근접성 같은 공간 정보가 실제 매칭 품질을 좌우한다.

✅ 액션 아이템

• 졸업앨범 자동처리 파이프라인은 Nova 2 Lite 1회 멀티모달 추출과 Claude Sonnet 4.6 매칭 단계를 분리한다.
• 336장 실험에서 생성된 3,122건 가운데 신뢰도 0.95 이상 비율 93%를 기준으로 성능 게이트를 정의한다.
• Nova 2 Lite 고정 과금과 이름 중심 출력 제약을 함께 써서 문서당 비용 예측과 토큰 예산 통제를 정합한다.

❓ 열린 질문

• 단순 초상 그리드와 그룹 사진·캡션 혼합 레이아웃에서 실패율 차이는 어디까지 허용 가능한가?
• 신뢰도 임계값 0.95를 유지할 때 페이지 수가 336장보다 적은 집합에서도 93% 수준이 유지되는가?
• 이름 중심 출력 범위를 축소하면 비용 절감은 커지나 얼굴-이름 연결 정확도는 어떤 기준으로 하락 한계를 판단할 것인가?