Build self-improving document processing using Amazon Bedrock AgentCore

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon Bedrock AgentCore 기반의 8개 전문 에이전트가 문서를 분류·추출·검증하고, 검증 실패에서 개선한 추출 지침을 저장·재사용해 새로운 문서 형식에 대응하는 IDP 시스템을 구축한다.

📌 핵심 요약

• IDC 연구에 따르면 문서 관련 문제는 정보 근로자 1인당 연간 19,732달러의 비용과 21.3%의 생산성 저하를 유발한다. 직원은 문서 업무에 시간의 최대 30%를 사용하며 수동 입력 오류율은 1~4%이고, 기존 IDP는 공급업체별 레이아웃 변화에 따른 설정·유지보수 부담이 있다.
• Strands Agents로 구성한 8개 전문 에이전트가 Amazon Bedrock AgentCore에서 협업한다. 새로운 문서 유형은 추출 지침 생성·추출·검증·지침 수정·저장을 거치고, 알려진 문서 유형은 저장된 지침을 재사용하며 검증 실패 시 Troubleshooter가 지침을 바꾸지 않고 추출 데이터를 수정한다.
• 문서는 Amazon SES 또는 Amazon S3로 유입되며, Amazon Textract, S3 Vectors, Amazon Aurora DSQL 등이 추출·유사 문서 검색·검증을 지원한다. 배포에는 지원 리전과 모델 접근 권한, AWS CDK v2, Docker, Python 3.11+, Node.js 18+ 등이 필요하고, 6개 AWS CloudFormation 스택 배포에는 약 15~20분이 걸린다.
• Two Wheel Store의 첫 구매주문서는 공급업체 SKU에 AB- 접두사를 붙이는 규칙을 학습한 뒤 두 번째 검증에서 7개 품목이 통과했으며, 처리에 3분 49초가 걸렸다. 다음 주문서는 유사도 검색 점수 3.946이 임계값 3.7을 넘어 저장 지침을 재사용했고, 3개 품목과 총액 5,979.19달러가 첫 검증에서 통과해 1분 30초 만에 처리됐다.
• 개선은 검증 실패를 반영한 추출 지침의 저장·재사용과 오류 분석이라는 두 피드백 루프로 이루어지며, 모델 변경 시 AgentCore Evaluations로 추출 품질을 확인하도록 권고한다. 미국 동부 버지니아 북부에서 월 학습 문서 10건과 처리 문서 1,000건을 가정한 추정 비용은 약 58달러이며, Amazon Bedrock 기반 모델 추론이 총비용의 약 85%를 차지하고 문서당 비용은 약 0.055달러로 제시된다. 실제 비용은 에이전트별 모델 선택에 크게 좌우된다.

🧩 주요 포인트

1. 문서 형식별 수동 설정과 반복 오류 → 추출 지침을 생성·검증·저장하는 방식으로 유지보수 부담을 줄이고 유사 문서 처리에 경험을 재사용한다.
2. 새 문서와 기존 문서의 처리 경로 분리 → 초기에는 지침을 개선하고 이후에는 저장 지침을 적용해 반복 작업을 줄이되, 기존 문서의 오류 수정이 곧 지침 변경을 의미하지는 않는다.
3. Two Wheel Store 사례의 처리 시간 단축과 모델 추론 중심의 비용 구조 → 재사용의 효과를 보여주지만, 운영 판단에는 문서별 검증 결과와 AgentCore Evaluations를 통한 품질 확인, 에이전트별 모델 선택을 함께 고려해야 한다.

🧠 상세 정리

1. 문서 처리 비용과 기존 IDP의 한계

원문은 IDC 연구를 인용해 문서 관련 문제가 정보 근로자 1인당 연간 19,732달러의 비용을 발생시키고 생산성을 21.3% 낮춘다고 설명한다. 직원이 문서 관련 업무에 쓰는 시간은 최대 30%이며, 수동 데이터 입력의 오류율은 1~4%로 제시된다. 수백 개 공급업체의 송장을 받는 조직에서는 발행자마다 레이아웃이 다르고 예고 없이 변경되므로, 템플릿 기반 시스템을 지속적으로 유지보수해야 한다. 기존 IDP도 일부 부담을 줄이지만 형식별 템플릿·추출 규칙·검증 논리를 미리 설정해야 하고, 작은 레이아웃 변경에도 추출이 실패할 수 있다는 한계가 있다. 원문은 이러한 문제를 템플릿의 경직성, 이전 수정 결과를 기억하지 못하는 반복 오류, 공급업체와 문서 변형이 늘수록 커지는 운영 부담으로 정리하고 에이전트 기반 접근을 대안으로 제시한다.

2. 8개 에이전트와 문서 유형별 처리 분기

솔루션은 Amazon Bedrock AgentCore에서 Strands Agents로 만든 그래프 기반 워크플로를 실행하며, 8개 전문 에이전트가 식별과 후속 처리에 협업한다. Analyzer는 Amazon Textract로 텍스트를 추출하고 문서 유형과 발신자를 식별하며, Matcher는 Amazon S3 Vectors의 벡터 유사도 검색으로 기존 문서와의 일치 여부를 확인한다. 새로운 유형이면 Instructions가 추출 프롬프트를 만들고 Extractor가 구조화 데이터를 추출한 뒤, Validator가 Amazon Aurora DSQL의 스키마와 업무 규칙을 기준으로 검증한다. 검증에 실패하면 Instructions Fixer가 프롬프트를 수정해 재시도하고, 성공하면 Save Instructions가 지침을 저장해 이후 유사 문서에 재사용한다. 이미 알려진 유형이면 Extractor가 저장 지침을 바로 적용하고, 검증 실패 시 Troubleshooter가 지침 자체를 변경하지 않은 채 추출 데이터를 직접 수정한다.

3. 문서 유입부터 보안·도구 연결·관측까지

업무 문서는 Amazon Simple Email Service인 Amazon SES로 수신하거나 Amazon S3에 직접 업로드하며, Amazon EventBridge가 AWS Lambda 함수를 실행해 Amazon DynamoDB에 추적 작업을 만들고 AgentCore runtime을 호출한다. AgentCore runtime은 Strands Agents를 통해 문서 처리를 조율하고, 에이전트는 AgentCore Identity와 Amazon Cognito가 관리하는 머신 간 자격 증명으로 AWS 리소스에 안전하게 접근한다. AgentCore Gateway의 Model Context Protocol인 MCP 인터페이스는 Lambda 함수를 에이전트가 사용할 수 있는 도구로 연결한다. 텍스트 추출에는 Amazon Textract, 문서 분류를 위한 벡터 검색에는 S3 Vectors, 업무 규칙 검증에는 Aurora DSQL을 사용하며, MCP 서버를 통해 기업 데이터에도 접근한다. 아키텍처 설명에서는 Amazon ECS에 호스팅된 채팅 지원 대시보드로 상태를 확인하고 문제를 조사하며, AgentCore Observability와 Amazon CloudWatch 텔레메트리로 에이전트 성능을 관측한다.

4. 배포 조건과 6개 CloudFormation 스택

배포에는 AWS 계정과 Amazon Nova 및 Anthropic Claude 모델이 활성화된 Amazon Bedrock 접근 권한이 필요하며, AgentCore Runtime·Gateway·Identity, S3 Vectors, Amazon Aurora DSQL을 사용할 수 있는 지원 리전을 선택해야 한다. 로컬 환경에는 AWS CDK v2, 실행 중인 Docker, Python 3.11 이상, Node.js 18 이상이 필요하고, S3·Lambda·DynamoDB·Cognito·Amazon ECR·Amazon ECS 리소스를 생성할 IAM 권한도 요구된다. aws-samples/agenticidp-guidance 저장소를 복제한 뒤 uv 가상환경과 Python 의존성을 준비하고, ui/orchestrator에서 npm 의존성을 설치한다. 관리자 이메일을 지정해 deploy.py를 실행하면 Core, Gateway, Aurora, Agent, UI Orchestrator, Modern UI의 6개 AWS CloudFormation 스택이 배포되며, 각각 기반 리소스, 도구 연결, 데이터베이스, 에이전트 실행, API, Amazon CloudFront의 React 앱을 구성한다. 배포 예상 시간은 약 15~20분이며, CloudFormation 콘솔에서 모든 스택의 상태가 CREATE_COMPLETE인지 확인하는 절차가 제시된다.

5. 첫 문서 처리와 SKU 변환 규칙의 학습

배포 후 이메일로 받은 CloudFront URL과 사용자 이름, 임시 비밀번호로 웹 UI에 로그인하고 Process Document에서 샘플 구매주문서를 업로드하면 문서 식별과 처리 분기가 시작된다. 예시에서는 Two Wheel Store의 첫 구매주문서 PO-2026-0102-2584와 유사한 문서가 검색되지 않아 학습 경로로 진입하며, Analyzer가 Amazon Textract로 읽은 문서에는 주문일 2026-01-02와 총액 14,931.54달러가 포함된다. Instructions가 스키마 기반 추출 프롬프트를 만들고 Extractor가 JSON을 생성하지만, Validator는 공급업체 SKU인 SB-004가 Acme Bikes의 내부 형식 AB-SB-004와 다르다는 이유로 검증을 실패시킨다. Instructions Fixer는 이 불일치를 진단해 공급업체 SKU 앞에 AB-를 붙이라는 명시적 변환 규칙을 추가하고, 두 번째 시도에서는 7개 품목이 검증을 통과한다. Save Instructions가 개선된 프롬프트를 벡터 저장소에 보관하며, 최초 처리의 전체 소요 시간은 3분 49초이고 추출 데이터·검증 결과·생성 지침은 Review Jobs and Instructions 탭에서 확인할 수 있다.

6. 기존 지침 재사용으로 단축된 두 번째 처리

Two Wheel Store의 두 번째 구매주문서가 들어오면 Matcher는 첫 실행에서 저장한 지침을 찾고, 원문에서 신뢰 점수로 표현한 3.946이 임계값 3.7을 넘으므로 자동화 경로를 선택한다. Extractor는 저장된 지침을 직접 적용하므로 오케스트레이터는 프롬프트 생성 단계를 건너뛰고, 최초 학습 과정에서 추가된 SKU 변환 규칙도 그대로 활용한다. 이에 따라 EL-002는 AB-EL-002로, HB-071은 AB-HB-071로, PD-002는 AB-PD-002로 변환된다. 이 주문서는 3개 품목이 첫 검증에서 통과하고 주문 총액은 5,979.19달러이며, 전체 처리 시간은 첫 실행의 3분 49초에서 1분 30초로 줄어든다. 이 사례는 유사 문서에 대해 지침 생성과 수정 과정을 반복하지 않는 효과를 보여주며, 알려진 유형에서도 검증은 계속 수행되고 실패하면 Troubleshooter가 추출 데이터를 수정하는 구조다.

7. 채팅 기반 문제 조사와 두 피드백 루프

대시보드의 채팅 인터페이스에서는 사용 가능한 도구, 저장된 추출 지침, 특정 작업의 진행 상태를 조회하거나 작업 실패 원인과 지침 수정 방법을 질문할 수 있다. 시간이 지나며 개선되는 첫 번째 경로는 학습 루프로, 검증 실패 후 Instructions Fixer가 추출 프롬프트를 다듬으면 개선된 지침이 저장되어 유사 문서에 다시 적용된다. 두 번째는 처리 루프로, Troubleshooter가 추출 오류를 수정하면서 제공하는 상세 분석을 통해 문서 형식 변형의 패턴을 파악하도록 돕는다. 두 루프의 역할은 구별되며, 알려진 문서의 데이터 수정이 저장된 추출 지침의 자동 변경을 뜻하는 것은 아니다. 모델을 바꿀 때는 AgentCore Evaluations로 추출 품질이 허용 가능한 수준인지 확인하도록 권고하며, 솔루션이 이미 AgentCore Observability를 사용하므로 필요한 계측은 갖추고 있다고 설명한다.

8. 월간 비용 추정과 에이전트별 모델 선택

원문은 솔루션이 서버리스 및 온디맨드 리소스에서 실행되어 사용량에 대해서만 비용을 지불하고 유휴 비용은 없다고 설명한다. 미국 동부 버지니아 북부 리전에서 매월 학습 문서 10건과 처리 문서 1,000건을 다루는 워크로드를 가정하면, 월 예상 비용은 약 58달러다. Amazon Bedrock을 통한 기반 모델 추론은 총비용의 약 85%를 차지하며, 문서당 비용은 약 0.055달러로 제시되어 모델 사용이 비용 구조의 큰 부분임을 보여준다. 실제 비용은 각 에이전트에 배정한 모델에 크게 좌우되고, 모델 선택은 agents/orchestratorgraph/utils/config.py에 중앙화되어 있다. 따라서 단순한 작업에는 저렴한 모델을, 필요한 작업에는 더 강력한 모델을 배정할 수 있으며, 제시된 금액은 특정 리전과 처리량을 전제로 한 추정치로 이해해야 한다.

🧾 핵심 주장 / 시사점

• 여기서 자기 개선의 핵심은 기반 모델 자체의 재학습보다 검증 실패를 반영한 추출 프롬프트의 수정·저장·재사용에 있다.
• 학습 경로와 자동화 경로는 오류 대응 방식이 다르다. 새로운 유형에서는 지침을 수정하지만, 알려진 유형에서는 추출 데이터를 직접 고치므로 두 피드백 루프의 효과를 구별해 해석해야 한다.
• Two Wheel Store 사례는 지침 재사용에 따른 처리 시간 단축을 보여주지만, 비용은 모델 추론에 집중되어 있어 에이전트별 모델 선택과 추출 품질 확인이 함께 중요하다.

✅ 액션 아이템

• 새 문서 유형과 알려진 문서 유형의 검증 결과를 비교해 추출 지침 저장·재사용의 효과 확인.
• 모델 변경 시 AgentCore Evaluations로 추출 품질이 허용 가능한 수준인지 확인.
• 월 약 58달러의 추정 비용과 모델 추론 비중 약 85%를 기준으로 에이전트별 모델 선택에 따른 비용 검토.

❓ 열린 질문

• Two Wheel Store에서 확인된 3분 49초에서 1분 30초로의 처리 시간 단축은 다른 문서 유형에서도 나타나는가?
• 알려진 문서 유형에서 Troubleshooter가 지침을 바꾸지 않고 데이터를 수정하는 방식은 반복 오류 감소에 어느 정도 기여하는가?
• 에이전트별 모델을 변경할 때 AgentCore Evaluations에서 추출 품질이 허용 가능한 수준이라고 판단할 기준은 무엇인가?