Articleaws.amazon.com·2026년 11월 17일·0

How ArisGlobal scaled generative AI inference on Amazon Bedrock

Quick Summary

ArisGlobal은 Amazon Bedrock에서 이상사례 처리 엔진 NavaX의 캐싱 대상을 사례별 문서에서 여러 고객사가 반복 사용하는 공유 프롬프트 접두부로 바꿔, 월 190억 토큰이 넘는 규모에서 월간 추론 지출을 약 40% 줄였다고 보고했다.

How ArisGlobal scaled generative AI inference on Amazon Bedrock 관련 대표 이미지

🖼️ 인포그래픽

How ArisGlobal scaled generative AI inference on Amazon Bedrock 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

How ArisGlobal scaled generative AI inference on Amazon Bedrock의 핵심 내용을 4단계로 요약한 인포그래픽
How ArisGlobal scaled generative AI inference on Amazon Bedrock 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

ArisGlobal은 Amazon Bedrock에서 이상사례 처리 엔진 NavaX의 캐싱 대상을 사례별 문서에서 여러 고객사가 반복 사용하는 공유 프롬프트 접두부로 바꿔, 월 190억 토큰이 넘는 규모에서 월간 추론 지출을 약 40% 줄였다고 보고했다.

📌 핵심 요약

  • ArisGlobal은 관리형 기반 모델 접근, EU 권역 내 교차 리전 추론, 관리형 프롬프트 캐싱을 위해 Amazon Bedrock을 선택했다. 2025년 3월 Anthropic의 Claude를 활용한 첫 생성형 AI 솔루션을 운영 환경에 도입했으며, 회사 내부 집계에 따르면 규제를 받는 제약 환경에서 실제 트랜잭션 100만 건 이상을 처리했다.
  • NavaX는 보통 10~200쪽인 이상사례 문서에서 약 130개 필드를 추출한다. 고객사별 요구가 늘면서 6개월간 공유 프롬프트 접두부가 약 7만 2,000토큰에서 18만 토큰으로 150% 커졌고, 사례당 추론 비용은 200% 넘게 증가했다.
  • 초기 설계에서는 사례별 문서를 캐싱해 같은 사례의 후속 요청에서만 재사용했다. 운영 설계에서는 공유 프롬프트 접두부 바로 뒤에 체크포인트 하나를 두어, 같은 에이전트를 쓰는 여러 사례와 고객사의 요청에서 접두부를 재사용했다.
  • ArisGlobal이 AWS에 보고한 운영 수치에 따르면 일반적인 요청에서 입력 토큰의 65%를 캐시에서 읽었다. 실효 입력 비용은 약 50% 줄었고, 캐시를 사용한 운영 요청의 종단 간 지연 시간은 최대 25% 단축됐다.
  • 월 190억 토큰을 넘게 처리하면서 전체 월간 추론 지출은 약 40% 줄었다. 기업 고객사는 약 15% 늘었지만 비용은 그에 비례해 증가하지 않았으며, EU 권역 내 교차 리전 추론 설정은 유지됐다.

🧩 주요 포인트

  1. 입력의 반복 범위가 캐시의 가치를 결정했다. 사례별 문서는 한 사례 안에서만 같았고, 공유 프롬프트 접두부는 같은 에이전트를 쓰는 고객사 전반에서 반복됐다.
  2. Amazon Bedrock은 요청 시작점부터 체크포인트까지 연속된 접두부를 캐싱한다. 따라서 체크포인트 하나를 유지하면서 입력 순서를 바꾼 것만으로 재사용 범위를 넓힐 수 있었다.
  3. 입력 토큰의 65%에 할인된 캐시 읽기 요금이 적용되면서 실효 입력 비용은 약 50%, 전체 월간 추론 지출은 약 40% 감소했다. 절감 폭은 프롬프트 구조, 트래픽 패턴, 캐시 적중률에 따라 달라진다.

🧠 상세 정리

1. LifeSphere에 생성형 AI를 도입한 배경

ArisGlobal은 약물감시, 규제 업무, 품질 관리, 의학 정보를 하나의 SaaS 플랫폼에서 다루는 LifeSphere를 제공하며, 전체 시스템을 AWS에서 운영한다. 회사 보도자료에 따르면 LifeSphere 고객에는 매출 기준 세계 상위 20대 제약사 중 여러 곳이 포함된다. ArisGlobal은 생명과학용 AI 엔진 NavaX로 이상사례 처리를 자동화하면서, 기반 모델에 대한 관리형 접근과 EU 권역 내 교차 리전 추론, 관리형 프롬프트 캐싱을 지원하는 Amazon Bedrock을 선택했다. 2025년 3월 Anthropic의 Claude를 사용한 첫 생성형 AI 솔루션을 운영 환경에 도입했다. 회사 내부 운영 집계에 따르면 여러 기업 고객사의 규제 대상 제약 업무에서 실제 트랜잭션 100만 건 이상과 수십억 개의 토큰을 처리했다.

2. 이상사례 한 건을 처리할 때 반복되는 두 가지 입력

제약사가 환자의 약물 반응을 기록한 이상사례 보고서를 받으면 NavaX의 동적 데이터 추출(DDE) 에이전트가 환자 인구통계 정보, 의심 약물, 보고자 정보, 이상사례 경과와 중대성 기준 등을 포함한 약 130개 필드를 추출한다. 보고서는 흔히 10~200쪽 분량의 PDF이고, 에이전트는 사례 양식의 서로 다른 부분을 처리하기 위해 모델을 여러 차례 순서대로 호출한다. ArisGlobal은 보호 대상 건강정보를 다루므로 Amazon Bedrock Guardrails 등의 기능으로 콘텐츠를 필터링하고 민감정보를 탐지하거나 가린다. 추출값은 정해진 스키마에 맞는지, 원문에 근거가 있는지도 확인한다. 이 과정에서 원문 문서는 해당 사례의 요청들에서 반복되고, 시스템 규칙과 추출 스키마 및 예시를 담은 공유 접두부는 같은 에이전트를 쓰는 다른 사례와 고객사의 요청에서도 반복된다.

3. 고객사별 요구가 사례당 비용을 높인 과정

첫 기업 고객사가 NavaX를 도입했을 때는 시스템 프롬프트가 비교적 짧았지만, 이후 합류한 제약사마다 추출 결과에 적용할 요구사항이 달랐다. 같은 약물 반응의 시작 시점도 고객사별로 다른 필드에 대응시켰고, 규제 보고에는 EU ICSR, 미국 FDA MedWatch, 일본 PMDA에 맞는 형식이 필요했다. 중대성과 인과성을 판단하는 회사별 업무 규칙과 각 회사의 과거 사례에 맞춘 예시도 추가됐다. 그 결과 공유 프롬프트 접두부는 6개월 사이 약 7만 2,000토큰에서 18만 토큰으로 150% 커졌다. 초기 설계에서는 한 사례에 필요한 여러 요청이 이 접두부를 매번 정상 입력 요율로 처리했으므로, 고객사와 거래량이 늘어나는 동안 사례당 추론 비용도 200% 넘게 증가했다.

4. Amazon Bedrock의 캐시 경계와 유효 시간

Amazon Bedrock은 요청의 시작점부터 체크포인트까지 이어지는 접두부를 저장하고, 이후 요청의 앞부분이 일치하면 해당 토큰에 할인된 읽기 요율을 적용한다. 도구, 시스템, 메시지 순서로 내용을 평가하므로 앞선 부분이 바뀌면 그 뒤의 내용이 같아도 해당 위치까지의 접두부는 일치하지 않는다. 명시적 체크포인트를 지원하는 Claude 모델은 요청당 최대 4개를 허용하며, 캐싱에 필요한 최소 접두부 길이는 모델마다 달라 Claude Sonnet 4.5에서는 1,024토큰이다. 기본 캐시 유효 시간은 5분이고 캐시 읽기에 성공하면 다시 시작되며, 일부 모델은 1시간 설정도 지원한다. 간소화된 캐시 관리 방식은 고정 콘텐츠 뒤의 체크포인트에서 약 20개 콘텐츠 블록까지 거슬러 올라가 가장 긴 일치 접두부를 찾으며, 재사용할 내용이 탐색 범위를 벗어나면 명시적 체크포인트로 경계를 정할 수 있다.

5. 문서 우선 캐싱의 효과와 한계

초기 설계에서 ArisGlobal은 한 요청에서 가장 큰 비중을 차지하던 10~200쪽의 원문 문서를 맨 앞에 놓고 그 직후에 체크포인트를 배치했다. 첫 요청이 문서를 캐시에 기록하면, 같은 사례 양식의 다른 부분을 처리하는 후속 요청은 문서 토큰을 할인된 요율로 읽을 수 있었다. 다음 사례에서는 원문이 달라져 새 캐시 쓰기가 필요했고, 앞서 기록한 문서를 다른 사례나 고객사의 요청에서 재사용할 수 있는 범위는 없었다. 반면 시스템 지침과 규제 요건, 추출 스키마와 예시를 포함한 공유 프롬프트는 체크포인트 뒤에 있어 같은 내용에도 호출할 때마다 정상 입력 요율이 적용됐다. 고객사가 늘수록 길어져 사례당 비용을 밀어 올리던 부분이 바로 이 공유 프롬프트였다.

6. 체크포인트 하나로 고객사 간 재사용을 확대한 설계

운영 설계에서 ArisGlobal은 공유 프롬프트 접두부를 요청 맨 앞에 두고 바로 뒤에 명시적 체크포인트 하나를 배치한 다음, 사례별 원문과 요청별 추출 항목을 이어 붙였다. 원문은 호출 때마다 처리하지만, 같은 에이전트와 접두부를 사용하는 요청은 사례나 고객사가 바뀌어도 기존 캐시를 읽을 수 있게 됐다. 문서 뒤에 두 번째 체크포인트를 두는 방안도 있었지만, 그 위치에 저장되는 것은 공유 프롬프트와 특정 문서를 합친 접두부여서 추가 재사용은 여전히 해당 사례 안에 한정됐다. 대부분의 활성 고객사에서는 약 5분마다 사례가 들어왔고, 여러 고객사가 동시에 서비스를 사용했다. 캐시를 읽을 때마다 유효 시간이 갱신되는 덕분에 업무 시간 동안 공유 접두부를 계속 재사용할 수 있었다.

7. 운영 환경에서 측정한 비용·지연 시간·고객사 변화

ArisGlobal이 AWS에 제공한 운영 지표에 따르면 일반적인 요청에서 입력 토큰의 65%를 공유 프롬프트 캐시가 제공했고, Amazon CloudWatch 그래프에서는 운영 트래픽이 발생한 구간에 캐시 읽기가 쓰기의 약 10배까지 높아졌다. 회사의 청구 데이터 기준으로 실효 입력 비용은 약 50% 감소했으며, 월 190억 토큰을 넘는 처리 규모에서 전체 월간 추론 지출은 약 40% 줄었다. 캐시를 사용한 운영 요청의 종단 간 지연 시간은 최대 25% 단축됐고, 기업 고객사가 약 15% 늘어나는 동안 비용은 같은 비율로 증가하지 않았다. 이 결과는 기존 EU 권역 내 교차 리전 추론 설정을 유지한 상태에서 측정됐다. AWS는 이 수치가 ArisGlobal의 운영 환경에서 나온 것으로, 프롬프트 구조와 트래픽 패턴, 캐시 적중률에 따라 다른 환경의 결과는 달라질 수 있다고 설명했다.

🧾 핵심 주장 / 시사점

  • 캐싱의 경제성은 한 번 저장하는 입력의 크기와 이후 그 입력을 다시 읽을 수 있는 횟수를 함께 봐야 판단할 수 있다. NavaX에서는 한 사례의 긴 문서보다 여러 사례와 고객사가 공유하는 접두부의 재사용 범위가 더 넓었다.
  • 고객사 추가로 길어진 공유 접두부는 초기 설계에서 비용 증가의 원인이었지만, 입력 순서를 바꾸자 그만큼 더 많은 반복 입력에 할인된 캐시 읽기 요율을 적용할 수 있었다.
  • 여러 고객사의 요청이 겹치면 한 고객사의 요청 사이에 다른 고객사의 캐시 적중이 유효 시간을 갱신할 수 있다. 같은 접두부를 공유하는 트래픽의 도착 간격이 운영 성과에 영향을 준 이유다.

✅ 액션 아이템

  • 사례별 문서와 공유 프롬프트 접두부가 각각 몇 개의 요청·사례·고객사에서 반복되는지 비교해 캐싱 대상을 정한다.
  • Amazon Bedrock 요청에서 같은 에이전트가 재사용하는 공유 프롬프트 접두부가 체크포인트 앞에 오는지 확인한다.
  • 입력 토큰의 65%를 캐시에서 읽은 ArisGlobal의 성과를 다른 환경에 적용할 때는 프롬프트 구조, 트래픽 패턴, 캐시 적중률을 함께 검토한다.

❓ 열린 질문

  • 고객사별 요구가 더 늘어나면 같은 에이전트에서 공유 프롬프트 접두부로 재사용할 수 있는 범위는 어떻게 달라질까?
  • 트래픽 패턴이 다른 환경에서도 입력 토큰의 65%를 캐시에서 읽을 수 있을까?
  • 캐시 적중률이 달라지면 실효 입력 비용 약 50% 절감과 전체 월간 추론 지출 약 40% 절감 사이의 관계는 어떻게 바뀔까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.