🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 글은 기존 OCR의 한계를 넘어 문서의 텍스트·표·시각 요소·문맥을 함께 추출하고, 검색·RAG·에이전트 조정을 결합해 지능형 문서 처리 파이프라인을 구성하는 방식을 설명한다.

📌 핵심 요약

• 조직은 보험 청구서, 송장, 계약서, 의료 기록처럼 다양한 문서를 대량으로 처리하지만, 전통적 OCR은 텍스트 추출에 머물러 문맥과 관계, 의미를 이해하지 못해 수작업 병목과 오류 가능성을 만든다.
• Amazon Bedrock Data Automation은 문서, 이미지, 비디오, 오디오 등 멀티모달 콘텐츠에서 의미 있는 정보를 추출하는 통합 API를 제공하며, 문서 분할, 분류, 추출, 정규화, 검증, 신뢰도 점수 제공을 자동화한다.
• 제안된 파이프라인은 입력 처리, 추출 및 저장, 인텔리전스, 에이전트 조정의 네 계층으로 구성되며, S3 업로드, Step Functions 오케스트레이션, DynamoDB 메타데이터 기록, 비동기 처리와 오류 라우팅을 통해 확장 가능한 서버리스 흐름을 만든다.
• 추출 및 저장 계층에서는 표준 출력과 블루프린트 기반 사용자 지정 출력을 통해 텍스트, 표, 폼, 차트, 그래프, 도표, 캡션, 위치 좌표, 문서·페이지 요약 등을 구조화된 JSON으로 제공한다.
• 인텔리전스 계층은 Amazon Bedrock Knowledge Bases와 Amazon OpenSearch Serverless를 사용해 의미 검색과 RAG를 지원하고, 에이전트 조정 계층은 Strands Agents와 전문 태스크 에이전트가 문서 유형별 분석, 외부 데이터 연동, 교차 검증을 담당하도록 구성된다.

🧩 주요 포인트

1. 조직은 보험 청구서, 송장, 계약서, 의료 기록처럼 다양한 문서를 대량으로 처리하지만, 전통적 OCR은 텍스트 추출에 머물러 문맥과 관계, 의미를 이해하지 못해 수작업 병목과 오류 가능성을 만든다.
2. Amazon Bedrock Data Automation은 문서, 이미지, 비디오, 오디오 등 멀티모달 콘텐츠에서 의미 있는 정보를 추출하는 통합 API를 제공하며, 문서 분할, 분류, 추출, 정규화, 검증, 신뢰도 점수 제공을 자동화한다.
3. 제안된 파이프라인은 입력 처리, 추출 및 저장, 인텔리전스, 에이전트 조정의 네 계층으로 구성되며, S3 업로드, Step Functions 오케스트레이션, DynamoDB 메타데이터 기록, 비동기 처리와 오류 라우팅을 통해 확장 가능한 서버리스 흐름을 만든다.
4. 추출 및 저장 계층에서는 표준 출력과 블루프린트 기반 사용자 지정 출력을 통해 텍스트, 표, 폼, 차트, 그래프, 도표, 캡션, 위치 좌표, 문서·페이지 요약 등을 구조화된 JSON으로 제공한다.
5. 인텔리전스 계층은 Amazon Bedrock Knowledge Bases와 Amazon OpenSearch Serverless를 사용해 의미 검색과 RAG를 지원하고, 에이전트 조정 계층은 Strands Agents와 전문 태스크 에이전트가 문서 유형별 분석, 외부 데이터 연동, 교차 검증을 담당하도록 구성된다.

🧠 상세 정리

1. 기존 OCR 중심 문서 처리의 한계

원문은 조직들이 매일 보험 청구서, 송장, 법률 계약서, 의료 기록 등 수많은 문서를 처리한다는 현실에서 출발한다. 기존 OCR 솔루션은 문서 안의 글자를 추출하는 데는 유용하지만, 복잡한 문서에 포함된 문맥, 항목 간 관계, 의미를 이해하지 못한다는 한계가 있다. 이 때문에 단순 텍스트 추출 이후에도 사람이 내용을 검토하고 분류하거나 오류를 보정해야 하는 병목이 발생한다. 결과적으로 처리 시간이 늘어나고 비용이 증가하며, 수작업 개입 과정에서 오류가 생길 가능성도 커진다.

2. Bedrock Data Automation의 역할과 처리 방식

Amazon Bedrock Data Automation은 문서, 이미지, 비디오, 오디오 파일을 포함한 멀티모달 콘텐츠에서 의미 있는 인사이트를 추출하기 위한 통합 API 경험을 제공하는 서비스로 설명된다. 전통적인 텍스트 추출 방식과 달리 문서의 문맥을 이해하고, 추출된 데이터를 검증하며, 정확도 판단을 위한 신뢰도 점수도 제공한다. 문서가 제출되면 논리적 경계를 기준으로 자동 분할하고, 각 구간을 적절한 문서 유형으로 분류한 뒤, 맞는 처리 블루프린트에 연결한다. 이러한 지능형 라우팅은 사람이 문서를 정렬하거나 여러 AI 모델을 직접 조율해야 하는 부담을 줄인다.

3. 전체 솔루션의 네 계층 구조

원문이 제시하는 지능형 문서 처리 파이프라인은 네 개의 통합 계층으로 구성된다. 입력 처리 계층은 문서 업로드를 감지하고 처리 오케스트레이션과 상태 머신 조정을 시작한다. 추출 및 저장 계층은 원시 텍스트와 표 추출, 이미지와 시각 요소 분석, 확장 가능한 데이터 통합을 맡는다. 인텔리전스 계층은 지식 기반 수집, 의미 검색, 멀티모달 파운데이션 모델 분석, LLM 기반 해석을 담당하며, 에이전트 조정 계층은 코디네이터 에이전트와 전문 태스크 에이전트가 함께 작업하도록 구성된다.

4. 입력 처리 계층과 오케스트레이션 흐름

입력 처리 계층은 지정된 Amazon S3 버킷에 문서가 도착하면 워크플로를 트리거하는 방식으로 시작된다. PDF와 스캔된 PDF 등 다양한 형식을 지원하며, 형식별 전처리를 따로 두기보다 통합 API를 통해 처리하는 구성이 강조된다. 워크플로는 파일 유형, 크기, 제출 시간, 처리 상태 같은 메타데이터를 Amazon DynamoDB에 기록해 추적, 감사, 보고에 활용한다. 또한 페이지 수를 확인해 비동기 작업의 타임아웃 설정, 대용량 문서 모니터링, 알림 전략을 개선하며, 이 전체 흐름은 AWS Step Functions로 조율된다.

5. 비동기 처리, 문서 분할, 오류 라우팅

파이프라인은 InvokeDataAutomationAsync API를 사용해 비동기 BDA 작업을 시작한다. BDA는 문서를 논리적 경계에 따라 분할하며, 원문에서는 분할 단위가 최대 20페이지까지라고 설명한다. 이후 각 섹션을 문서 유형으로 분류하고, 사용자 지정 출력이 필요한 경우 미리 설정된 블루프린트와 매칭해 텍스트, 표, 폼, 시각 요소를 포함한 콘텐츠를 추출한다. Step Functions는 작업 토큰을 저장한 뒤 BDA 작업 완료를 기다리는 패턴을 사용해 리소스를 효율적으로 활용하고, 성공, 검증 오류, 타임아웃, 지원되지 않는 파일 유형 같은 상황을 분기 처리해 문서가 누락되지 않도록 한다.

6. 표준 출력과 블루프린트 기반 사용자 지정 출력

추출 및 저장 계층에서 BDA는 두 가지 출력 방식을 제공한다. 표준 출력은 문서 요약, 읽기 순서에 따른 텍스트, 표와 그림 캡션, 생성형 인사이트처럼 일반적으로 필요한 정보를 제공하며, 프로젝트 설정을 통해 헤더, 푸터, 제목, 다이어그램 같은 추출 기능을 켜거나 끌 수 있다. 사용자 지정 출력은 문서 유형별 블루프린트를 사용해 특정 필드, 데이터 형식, 추출 지침을 정밀하게 정의한다. 원문은 여권과 은행 명세서처럼 추출해야 할 정보가 다른 문서 유형에는 별도 블루프린트가 필요하지만, 같은 유형의 은행 명세서는 은행이나 형식이 달라도 하나의 블루프린트로 처리할 수 있다고 설명한다.

7. 시각 요소 분석과 구조화된 데이터 추출

원문은 이 파이프라인이 텍스트뿐 아니라 차트, 그래프, 도표, 다이어그램 같은 시각 요소를 분석한다는 점을 중요한 차별점으로 제시한다. BDA는 figure captioning 과정에서 이미지 크롭을 출력에 포함하고, 시각 요소에 대한 상세한 텍스트 설명과 구조화된 데이터를 downstream workflow에 전달한다. 예를 들어 차트를 처리할 때는 차트의 내용과 목적을 설명하는 캡션, 그래프에서 추출한 데이터 포인트와 추세, 다이어그램과 플로차트의 구조적 관계, 문서 내 위치를 가리키는 bounding box 좌표를 생성한다. 이를 통해 기존 OCR이 해석하기 어려운 시각 정보도 검색과 분석 가능한 데이터로 전환된다.

8. 지식 기반, 의미 검색, 에이전트 조정

인텔리전스 계층은 Amazon Bedrock Knowledge Bases와 Amazon OpenSearch Serverless를 함께 구성해 원시 콘텐츠를 의미 검색과 RAG에 활용 가능한 형태로 바꾸는 역할을 한다. 처리된 문서 콘텐츠를 인덱싱하고, 문서 컬렉션 전체에서 유사도 검색을 수행할 수 있도록 벡터 임베딩을 유지하며, 여러 문서와 데이터 소스를 가로지르는 복잡한 질의도 지원한다. Amazon Bedrock 파운데이션 모델은 차트와 그래프 해석, 문서 레이아웃 이해, 텍스트와 시각 요소 사이의 교차 모달 관계 탐지에 사용된다. 마지막으로 Strands Agents는 요청 유형에 따라 전문 에이전트로 라우팅하고, 시장 분석, 투자 자문, 외부 API 연동, 실시간 데이터와 지식 기반 내 과거 데이터의 교차 검증 같은 작업을 조정한다.

🧾 핵심 주장 / 시사점

• 문서 처리의 핵심 병목은 단순 추출 성능보다 추출된 정보의 문맥, 위치, 관계, 검증 가능성을 함께 유지할 수 있는지에 있다.
• 블루프린트 기반 접근은 다양한 문서 유형을 하나의 파이프라인에서 처리하면서도 유형별 추출 요구사항을 표준화하는 방식으로 설계되어 있다.
• 의미 검색과 에이전트 조정을 결합하면 개별 문서의 내용 추출을 넘어 여러 문서와 외부 데이터 사이의 비교, 질의, 검증까지 확장할 수 있다.

✅ 액션 아이템

• 전통 OCR의 한계를 보완하기 위해 텍스트·표·시각 요소를 함께 추출하는 Bedrock Data Automation 기반 흐름을 본문 처리에 우선 반영한다.
• S3 업로드에서 Step Functions, DynamoDB 메타데이터 기록, 비동기 오류 라우팅을 묶어 입력·추출·인텔리전스·에이전트 조정의 4단계 파이프라인을 계층별로 정립한다.
• 표준 출력과 블루프린트 사용자 지정 양식을 병행해 텍스트, 표, 폼, 차트, 그래프, 캡션, 좌표, 요약을 구조화된 JSON으로 보존하고 검색·RAG 입력으로 연계한다.

❓ 열린 질문

• 문서 유형별로 문맥·관계 추출 실패가 잦은 구간은 어디이며, 분할·분류 규칙을 어떻게 보정할 것인가?
• 비동기 파이프라인에서 어떤 오류 패턴을 즉시 재시도하고 어떤 경우를 실패 라우팅으로 분기해야 처리량과 품질을 동시에 확보할 것인가?
• Amazon Bedrock Knowledge Bases 기반 의미 검색과 Strands 에이전트 교차 분석의 결과가 다를 때 신뢰도 점수와 외부 데이터 연동 범위는 어떻게 조정해야 하는가?