NarrateAI: production-ready LLM quality assurance on Amazon Bedrock

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NarrateAI는 Amazon Bedrock에서 데이터량에 따른 처리 경로 분기, 계정·모델 간 장애 전환, 실시간 평가를 결합해 약 99%의 수치 정확도와 실시간 응답을 구현한다고 설명한다.

📌 핵심 요약

• NarrateAI는 4,000명 이상의 AWS 경영진을 지원하며, Amazon Bedrock AgentCore 기반의 배치용 자동 서술 생성 계층과 실시간 대화형 AI 인터페이스 계층으로 구성된다. 이 글은 실시간 계층의 품질 보증에 집중한다.
• 품질 보증은 적응형 파이프라인 오케스트레이션, 계정 간 다중 모델 장애 전환, 실시간 스트리밍 평가, 복합 평가 프레임워크, 데이터 정확성 검증이라는 다섯 기법으로 구성된다. 문단별 병렬 평가와 정확 일치에서 의미 검증으로 이어지는 단계적 검증을 포함한다.
• 검색된 문서 섹션의 총량과 임계값 θ에 따라 약 90%의 질의는 단일 LLM 호출의 빠른 경로를, 나머지 약 10%는 병렬 배치 분석과 결과 통합을 수행하는 일반 경로를 따른다. θ는 모델 문맥 창 한도보다 낮게 유지하고 실제 질의 분포에 맞춰 보정한다.
• 빠른 경로의 첫 토큰 도달 시간은 수초 이내이고 전체 지연은 통상 25초 미만이며, 일반 경로는 약 50~75초가 걸린다. 일반 경로의 전형적인 배치 수가 N=4일 때 질의당 평균 LLM 호출은 약 1.4회로, 항상 다중 패스를 사용하는 방식보다 72% 적다.
• Amazon Bedrock의 모델별·계정별 독립 할당량을 활용하면 3개 모델 × 3개 계정에서 9개의 할당량 공간을 사용할 수 있다. 모델 우선순위와 계정 순서 무작위화를 적용하고, 제한 오류 발생 시 다음 조합을 즉시 시도하며 AWS STS AssumeRole의 새 자격 증명 획득 시간은 100~200ms라고 설명한다.

🧩 주요 포인트

1. 데이터량에 따른 경로 분기 → 약 90%의 질의에서 불필요한 다중 호출을 줄이면서 복잡한 질의에는 병렬 분석과 통합을 적용한다.
2. 모델별·계정별 독립 할당량 → 현재 모델 등급의 계정을 먼저 탐색해 모델 품질 하향을 늦추고, 다른 조합의 가용 용량으로 처리 제한에 대응한다.
3. 문단별 병렬 평가와 단계적 데이터 정확성 검증 → 생성과 검증을 겹쳐 실행하고 필요한 경우에만 의미 검증을 수행해 정확성과 실시간 응답을 함께 추구한다.

🧠 상세 정리

1. 실시간 경영 검토에서 요구되는 품질 보증

경영진이 실시간 사업 검토 중 데이터에 근거한 결정을 내리려면 질문에 대한 답변이 빠르고 정확해야 하며, 잘못된 수치나 느린 응답은 현장에서 즉각적인 업무상 불이익으로 이어질 수 있다. 원문은 성능이 좋은 대규모 언어 모델만으로 이를 보장할 수 없다고 지적하며, 운영 환경의 문제로 환각에 의한 지표 생성, API 호출 제한, 검증 지연, 주관적 표현을 제시한다. 따라서 데이터 검색부터 응답 전달까지 모든 단계에 품질 보증을 포함해야 한다는 것이 글의 출발점이다. NarrateAI는 Amazon Bedrock에 구현한 다섯 기법을 독립적인 실패 유형에 대응하면서도 서로 조율되는 하나의 시스템으로 설명한다.

2. NarrateAI의 구조와 제공된 본문의 범위

NarrateAI는 4,000명 이상의 AWS 경영진을 위한 비즈니스 인텔리전스를 지원하며, Amazon Bedrock AgentCore 위에 두 계층으로 구성된다. 자동 서술 생성 계층은 배치 처리를 맡고, 대화형 AI 인터페이스 계층은 실시간 상호작용을 담당한다. 시리즈의 두 번째 글인 이 원문은 이전 글에서 다룬 사업 과제와 전체 아키텍처 대신 실시간 계층의 고급 품질 보증을 설명하며, 다섯 기법으로 실시간 스트리밍과 약 99%의 수치 정확도를 달성한다고 소개한다. 다만 제공된 본문은 계정 간 다중 모델 장애 전환 설명 이후 6개월 운영 배포를 언급하기 시작하는 지점에서 잘려 있어, 그 이후의 상세 성과와 나머지 기법의 구체적인 구현은 확인할 수 없다.

3. 다섯 기법이 연결되는 처리 흐름

전체 흐름은 원시 질의를 검증된 실시간 응답으로 바꾸는 계층적 의존 관계로 제시되며, 각 기법은 다음 단계가 작동할 조건을 제공한다. 적응형 파이프라인은 데이터량에 따라 단일 처리 또는 병렬 처리를 선택하고, 계정 간 다중 모델 장애 전환은 독립적인 모델·계정 할당량 공간을 활용해 사용자가 경험하는 호출 제한을 줄인다. 실시간 스트리밍 평가는 문단이 생성되는 즉시 검증해 생성과 품질 확인을 겹쳐 수행하며, 복합 평가 프레임워크는 각 문단에 여러 독립 평가기를 병렬로 적용한다. 데이터 정확성 검증은 비용이 낮은 정확 일치 검사를 먼저 수행한 뒤 필요한 경우에만 의미 검증으로 넘어가는 두 단계 방식으로 수치 환각을 탐지한다.

4. 데이터량에 따른 적응형 처리의 필요성

기업 지식 문서에서 검색되는 섹션은 질의에 필요한 개별 정보 조각이며, 팀의 분기 목표 달성률 질문은 소수의 섹션으로 답할 수 있지만 전체 지역 성과 분석은 수백 개를 종합해야 할 수 있다. 모든 섹션을 한 번에 연결하는 단일 패스는 빠르고 저렴하지만, 합친 내용이 통상 200K 토큰인 모델 문맥 창을 넘으면 잘림과 품질 저하가 발생한다. 반대로 고정된 다중 패스 배치 처리는 잘림을 피하더라도 그러한 처리가 필요하지 않은 약 90%의 질의에도 여러 LLM 호출 비용을 부과한다. 이를 해결하기 위해 NarrateAI는 검색된 섹션 집합 D의 총량 ∣D∣를 기준으로 질의를 한 번 분류하고, 품질을 보존할 수 있는 가장 저렴한 경로로 보낸다.

5. 첫 단계의 묶음 구성과 임계값 보정

첫 단계인 모드 인식 통합은 검색된 문서 섹션을 묶고 실행 경로를 결정하며, 섹션의 우선순위와 경계를 보존하면서 토큰 한도까지 채우는 탐욕적 최초 적합 배치 방식을 사용한다. 총량이 경험적으로 보정한 문자 수 임계값 θ 이하이면 모든 섹션을 하나의 묶음으로 연결하는 빠른 경로를 선택하고, 이를 넘으면 문서 경계를 고려한 여러 배치로 나누는 일반 경로를 선택한다. θ는 모델의 문맥 창 한도를 기준으로 설정하고 전체 질의의 70~90%를 빠른 경로로 수용하도록 보정하며, 실제 운영에서는 약 90%가 이 경로를 따른다고 설명한다. 실행 모드를 이 단계에서 확정하기 때문에 이후 단계는 두 경우를 동시에 다루는 대신 선택된 경로의 처리에 맞춰 최적화할 수 있다.

6. 분기 분석과 조건부 통합의 효율

두 번째 단계인 분기 분석에서 빠른 경로는 전체 문맥을 담은 단일 LLM 호출을 실행하고 결과를 평가 파이프라인으로 바로 스트리밍한다. 일반 경로는 첫 단계에서 생성된 N개 배치를 N개의 병렬 LLM 호출에 분배해 독립적으로 분석하며, 원문은 이를 통해 거의 선형적인 속도 향상을 얻는다고 설명한다. 세 번째 단계인 조건부 통합은 일반 경로에만 적용되며, 통합 LLM이 원래 질문과 부분 분석을 받아 충돌 해결 휴리스틱을 적용하고 최종 응답을 스트리밍한다. 운영상 빠른 경로는 첫 토큰이 수초 이내에 도착하고 전체 지연은 통상 25초 미만인 반면, 약 10%를 차지하는 일반 경로는 약 50~75초가 걸린다. 일반 경로의 전형적인 배치 수가 N=4일 때 전체 질의의 평균 호출 수는 약 1.4회로, 항상 다중 패스를 사용하는 방식 대비 LLM 호출을 72% 줄인다고 제시한다.

7. 모델과 계정의 독립 할당량을 활용한 용량 확장

효율적인 파이프라인도 모델을 사용할 수 없으면 효과가 없으며, 수천 명이 동시에 분석하는 검토 집중 시기에 호출 제한이 발생하면 사용자는 도구를 신뢰하지 못하고 수동 스프레드시트 분석으로 돌아갈 수 있다. 원문은 지터를 포함한 지수 백오프만으로 충분하지 않았다고 설명하고, Amazon Bedrock의 할당량이 모델과 AWS 계정이라는 두 축에서 독립적이라는 점을 활용한다. 3개 모델과 3개 계정은 9개의 독립 할당량 공간을 제공하므로, 이미 경합 중인 용량이 풀리기를 기다리는 대신 다른 조합의 가용 용량을 탐색할 수 있다. 구현은 표준 BedrockModel을 대체하는 사용자 정의 Strands 모델 공급자로 제공되며, 기존 에이전트 코드와의 호환성을 유지하면서 새 인프라를 프로비저닝하지 않고 처리 용량을 확장하도록 구성된다.

8. 모델 순위·계정 분산·즉시 복구의 조율

장애 전환은 품질과 속도에 따른 모델 순위, 계정 수준의 부하 분산, 제한 오류 탐지와 빠른 복구라는 세 메커니즘을 조율한다. 요청은 가장 높은 순위의 모델을 먼저 시도하고 해당 등급의 계정을 모두 탐색한 뒤에야 다음 모델로 넘어가며, AWS 역할 ARN 목록의 복사본을 Python의 random.shuffle()로 섞어 계정 집중을 줄인다. 요청마다 새로 무작위화하면 시간이 지남에 따라 구성된 계정 수 N에 대해 약 1/N의 트래픽 분포를 얻을 수 있어 중앙 조정이나 복잡한 트래픽 제어 없이 계정 풀의 할당량 활용을 높인다고 설명한다. ThrottlingDetector는 ThrottlingException, ServiceQuotaExceededException, TooManyRequestsException을 탐지하면 백오프 대기 없이 다음 모델·계정 조합을 즉시 시도한다. AWS STS AssumeRole을 통한 새 자격 증명 획득에는 100~200ms가 걸리며, 원문은 이를 지수 백오프의 수초 단위 지연에 비해 작은 비용으로 평가한다.

🧾 핵심 주장 / 시사점

• 효율 개선의 핵심은 모든 질의를 동일하게 병렬화하는 것이 아니라, 실제 데이터량에 따라 단일 호출과 병렬 분석을 나누는 데 있다. 따라서 빠른 경로의 비율과 비용 절감 효과는 질의 분포 및 임계값 보정에 연결된다.
• 계정 간 다중 모델 장애 전환은 현재 모델 등급의 가용 계정을 먼저 탐색하므로, 처리 용량 확보와 모델 품질 유지 사이의 우선순위를 실행 순서에 반영한다.
• 생성과 문단별 검증을 겹치고 정확 일치 실패 시에만 의미 검증을 수행하는 구조는 검증 지연을 줄이려는 설계다. 다만 제공된 본문만으로는 평가기별 성능이나 약 99% 수치 정확도의 측정 조건을 확인할 수 없다.

✅ 액션 아이템

• 실제 질의 분포를 기준으로 임계값 θ를 보정하고 모델 문맥 창 한도보다 낮게 설정할 필요가 있음.
• Amazon Bedrock의 모델별·계정별 독립 할당량을 활용하는 장애 전환과 계정 순서 무작위화의 적용 가능성을 검토함.
• 문단별 병렬 평가와 단계적 데이터 정확성 검증이 약 99%의 수치 정확도 및 실시간 응답에 기여하는 정도를 확인함.

❓ 열린 질문

• 임계값 θ를 실제 질의 분포에 맞춰 보정할 때 약 90%의 빠른 경로 비율을 유지할 수 있는가?
• 3개 모델 × 3개 계정의 9개 할당량 공간을 탐색하는 방식은 동시 요청 증가 시 호출 제한을 얼마나 줄이는가?
• 약 99%의 수치 정확도는 어떤 측정 기준과 질의 범위에서 확인된 결과인가?