🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon Bedrock Data Automation의 블루프린트 지시문 최적화는 실제 문서 예시와 정답값을 바탕으로 필드 추출 지시문을 자동 개선해 문서 추출 정확도를 높이는 기능이다.

📌 핵심 요약

• 비정형 문서에서 구조화된 데이터를 추출할 때 문서 형식, 공급업체별 레이아웃, 스캔 품질, 유사한 필드 라벨 때문에 정확도가 떨어질 수 있다.
• Amazon Bedrock Data Automation은 문서 분류, 추출, 정규화, 검증을 단일 API로 처리하며, 사용자는 블루프린트로 추출 필드와 출력 구조를 정의한다.
• 블루프린트 지시문 최적화는 3~10개의 대표 문서와 각 필드의 정답값을 입력받아 기존 추출 결과와 비교하고, 필드별 자연어 지시문을 자동으로 더 구체화한다.
• 예시 구매 주문서 시나리오에서는 여러 소매업체 문서를 사용해 최적화를 수행한 뒤 집계 exact match가 90%에서 92%로 개선됐고, 일부 파일은 100% exact match에 도달했다.
• 사용자는 콘솔 또는 API로 최적화를 실행할 수 있으며, 결과 화면의 파일별·집계 정확도 지표를 검토한 뒤 최적화된 블루프린트를 저장하거나 더 많은 예시로 재실행할 수 있다.

🧩 주요 포인트

1. 비정형 문서에서 구조화된 데이터를 추출할 때 문서 형식, 공급업체별 레이아웃, 스캔 품질, 유사한 필드 라벨 때문에 정확도가 떨어질 수 있다.
2. Amazon Bedrock Data Automation은 문서 분류, 추출, 정규화, 검증을 단일 API로 처리하며, 사용자는 블루프린트로 추출 필드와 출력 구조를 정의한다.
3. 블루프린트 지시문 최적화는 3~10개의 대표 문서와 각 필드의 정답값을 입력받아 기존 추출 결과와 비교하고, 필드별 자연어 지시문을 자동으로 더 구체화한다.
4. 예시 구매 주문서 시나리오에서는 여러 소매업체 문서를 사용해 최적화를 수행한 뒤 집계 exact match가 90%에서 92%로 개선됐고, 일부 파일은 100% exact match에 도달했다.
5. 사용자는 콘솔 또는 API로 최적화를 실행할 수 있으며, 결과 화면의 파일별·집계 정확도 지표를 검토한 뒤 최적화된 블루프린트를 저장하거나 더 많은 예시로 재실행할 수 있다.

🧠 상세 정리

1. 문서 추출 정확도가 어려운 이유

원문은 송장, 계약서, 세금 양식, 등록 신청서처럼 비정형 문서에서 구조화된 데이터를 뽑아내는 일이 많은 조직의 자동화 목표라고 설명한다. 그러나 높은 추출 정밀도를 얻기는 쉽지 않다. 문서가 예상 템플릿에서 벗어나거나, 공급업체마다 형식이 다르거나, 스캔 품질이 낮으면 정확도가 떨어진다. 특히 실제 운영 문서는 단일한 예시로 대표하기 어렵기 때문에, 초기 설정만으로 모든 변형을 안정적으로 처리하기 어렵다는 점이 출발점으로 제시된다.

2. BDA와 블루프린트의 역할

Amazon Bedrock Data Automation은 문서에서 데이터를 분류하고 추출하며 정규화하고 검증하는 과정을 단일 API로 제공한다고 소개된다. 이 과정에서 사용자는 블루프린트를 만들어 어떤 필드를 뽑을지, 각 필드가 어떤 의미인지, 결과를 어떤 구조로 받을지 정의한다. 블루프린트는 특정 문서 형식과 비즈니스 요구사항에 맞춘 사용자 지정 출력을 만들기 위한 핵심 구성이다. 다만 원문은 블루프린트를 만들었다고 해서 곧바로 운영 문서 전체의 다양성을 완벽히 처리할 수 있는 것은 아니며, 정확도를 높이려면 반복적인 조정이 필요하다고 말한다.

3. 필드 지시문과 실제 문서의 복잡성

블루프린트의 각 필드는 자연어 지시문을 포함하고, 이 지시문은 해당 값을 어떻게 찾아야 하는지 모델에 알려주는 역할을 한다. 예를 들어 invoice_number에는 “The invoice number”, total_amount에는 “The total amount due” 같은 간단한 지시문을 붙일 수 있다. 이런 초기 지시문은 단순한 문서에는 잘 작동하지만, 현실의 문서에서는 필드 라벨이 문서마다 달라지고 “subtotal”과 “total”처럼 비슷한 라벨이 혼동을 일으킬 수 있다. 또 공급업체나 시점에 따라 레이아웃이 바뀌고 예외 사례가 생기면 더 구체적인 추출 안내가 필요해진다.

4. 구매 주문서 스키마 예시와 최적화 범위

원문은 구매 주문서 블루프린트의 축약된 스키마를 예로 들어 po_number, order_date, order_total, special_requests 같은 필드를 보여준다. 각 필드는 type, inferenceType, instruction을 가지며, inferenceType은 문서에 직접 나타나는 값인지 또는 추론이 필요한 값인지를 구분한다. 블루프린트 지시문 최적화가 바꾸는 대상은 각 필드의 instruction 값이다. 반면 type과 inferenceType은 그대로 유지되므로, 최적화는 스키마 구조 자체를 바꾸기보다 기존 필드 설명을 더 정확하고 구체적인 자연어 안내로 개선하는 방식이다.

5. 수동 반복 방식의 한계

전통적으로 추출 정확도를 개선하려면 필드 지시문을 사람이 직접 여러 번 고쳐야 한다. 다른 표현을 시험하고, 추가 문맥을 넣고, 설명을 다듬은 뒤 다시 추출을 실행해 정답값과 비교하는 과정을 반복한다. 이 방식은 각 반복마다 실행, 비교, 수정, 재실행이 필요하므로 시간이 많이 든다. 원문은 수백 개 공급업체의 문서를 처리하는 조직이라면 문서 유형 하나를 개선하는 데도 몇 주가 걸릴 수 있다고 설명하며, 수동 튜닝의 병목을 강조한다.

6. 블루프린트 지시문 최적화의 자동화 방식

블루프린트 지시문 최적화는 기존의 수동 반복 루프를 하나의 워크플로로 자동화한다. 사용자는 운영 환경을 대표하는 3~10개의 예시 문서를 올리고, 각 문서에서 필드별로 기대되는 정확한 값을 ground truth로 제공한다. 그러면 BDA는 초기 추출 결과와 ground truth의 차이를 분석하고, 각 필드의 자연어 지시문을 더 구체적으로 다듬는다. 원문은 이 과정이 별도의 모델 파인튜닝 없이 몇 주가 아니라 몇 분 안에 완료될 수 있다고 설명한다.

7. 최적화 절차와 정확도 지표

원문이 제시하는 절차는 대표 문서 제공, ground truth 제공, 최적화 실행, 결과 검토의 순서로 구성된다. 예시 문서는 운영 문서 분포의 다양성을 최대한 포함해야 하며, 추출이 어려웠던 edge case도 포함하는 것이 좋다고 설명한다. 최적화가 끝나면 사용자는 개선된 지시문과 함께 상세 정확도 지표를 확인한다. 지표에는 정밀도와 재현율을 결합한 F1 score, 그리고 추출값이 ground truth와 정확히 일치한 필드 비율을 나타내는 exact match rate가 포함된다.

8. 구매 주문서 예시와 시작 방법

원문은 가상의 자전거 제조 회사 문서를 활용한 구매 주문서 추출 시나리오로 최적화 효과를 설명한다. 주문 번호, 품목 설명, 수량, 단가, 총액 등을 추출하는 블루프린트를 만들고, Cycle Central과 Bike World 같은 소매업체의 대표 구매 주문서 4개와 ground truth 파일을 사용해 최적화를 실행한다. 그 결과 파일별 최고 exact match는 92%에서 100%로, 집계 exact match는 90%에서 92%로 개선된다. 사용자는 Amazon Bedrock 콘솔이나 API로 이 흐름을 실행할 수 있고, 샘플 솔루션을 배포하면 블루프린트, PDF 문서, ground truth JSON 파일, SageMaker AI 노트북을 통해 절차를 따라갈 수 있다.

🧾 핵심 주장 / 시사점

• 이 글의 핵심은 문서 추출 정확도 개선을 모델 자체의 재학습 문제가 아니라, 필드별 자연어 지시문을 실제 오류 패턴에 맞게 정교화하는 문제로 다룬다는 점이다.
• 대표 문서와 ground truth의 품질이 최적화 성능의 중심이므로, 단순히 정상 사례만 넣기보다 공급업체별 형식 차이와 어려웠던 edge case를 포함하는 것이 중요하다.
• 집계 exact match가 몇 퍼센트포인트만 개선되어도 대량 문서 처리 환경에서는 수동 검토 건수와 처리 지연을 줄이는 운영상 효과로 이어질 수 있다.

✅ 액션 아이템

• 비정형 문서의 정확도 저하 원인을 문서 형식·공급업체 레이아웃·스캔 품질·유사 라벨 축으로 분해해 지시문 보강 기준을 정의한다.
• 3~10개 대표 문서와 각 필드 정답값을 블루프린트 지시문 최적화 입력으로 넣어 기존 추출 결과와 파일별 비교해 성능 변화를 점검한다.
• 최적화 후 콘솔 또는 API의 파일별·집계 정확도 지표를 검토해 exact match 90%에서 92% 개선이 확인되면 블루프린트를 저장하고 추가 예시로 재실행한다.

❓ 열린 질문

• 어떤 문서 유형에서 정합도 저하가 반복되므로 대표 문서 집합 구성에서 우선 보강해야 하는가?
• 필드별 자연어 지시문을 어떻게 구체화할 때 집계 exact match가 90%에서 92%로 안정적으로 상승하는가?
• 정답값의 예시 수를 늘릴 경우, 성능이 추가 상승하지 않는 임계점을 어떤 기준으로 판단할 것인가?