Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads
Quick Summary
AWS는 Flightscape의 승무원 훈련 일정 에이전트에서 대용량 JSON을 Amazon S3에 보관하고 모델에는 요약과 필요한 결과만 전달해, 대표 23 MB 입력 벤치마크에서 토큰 사용량을 최대 71%, 평균 응답 지연을 최대 80% 줄였다고 보고했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
AWS는 Flightscape의 승무원 훈련 일정 에이전트에서 대용량 JSON을 Amazon S3에 보관하고 모델에는 요약과 필요한 결과만 전달해, 대표 23 MB 입력 벤치마크에서 토큰 사용량을 최대 71%, 평균 응답 지연을 최대 80% 줄였다고 보고했다.
📌 핵심 요약
- Flightscape의 Training Schedule Optimization 에이전트는 40개 이상의 도구로 승무원 훈련 일정 배정이 업무 규칙에 맞는지 검증한다. 20 MB가 넘는 JSON을 다루며, 최적화 전에는 대부분의 호출에서 평균 응답 지연이 15초를 넘었다.
- 기존 구조는 도구를 호출할 때마다 결과 전체를 모델의 컨텍스트 창에 넣었다. 여러 턴에 걸쳐 토큰 비용과 응답 지연이 누적됐고, 큰 데이터셋에서는 모델이 추론을 마치기 전에 컨텍스트 창이 찼다.
- 첫 번째 전략은 요청·응답·검증 보고서 등 큰 데이터를 Amazon S3에 보관하고, AgentCore memory에는 대화 메시지와 참조 키를 저장하는 것이다. 이후 턴에서 도구가 필요한 원본을 다시 읽을 수 있다.
- 큰 도구 결과는 요약과 조회용 참조값으로 모델에 전달한다. 목록의 일부가 더 필요하면 get_result_page_tool로 해당 페이지를 조회한다.
- AWS가 대표 23 MB 입력으로 세 전략을 함께 적용한 벤치마크에서 토큰 사용량 감소 폭은 최대 71%, 평균 응답 지연 감소 폭은 최대 80%였다. 개별 전략의 기여도는 제시된 본문에서 확인되지 않는다.
🧩 주요 포인트
- 세션 복원과 원본 조회를 분리하면 AgentCore memory에 저장할 데이터가 줄어들고, 도구는 이후 턴에도 같은 원본을 사용할 수 있다.
- SHA-256으로 JSON 내용에서 참조 키를 만들면 동일한 데이터가 같은 Amazon S3 키에 대응한다. 프로세스 내부 캐시는 한 번의 실행에서 반복되는 저장소 접근을 줄인다.
- 세션 저장을 가볍게 만든 뒤에는 도구 응답이 컨텍스트 토큰의 주된 소비처가 됐다. 결과 페이징은 모델이 목록의 일부만 필요로 할 때 전달량을 줄인다.
🧠 상세 정리
1. 훈련 일정 검증에서 드러난 컨텍스트 한계
Flightscape는 항공사가 승무원과 항공편을 계획하고 운영하도록 지원하는 플랫폼이다. AWS가 소개한 Training Schedule Optimization 에이전트는 승무원 훈련 일정 배정이 업무 규칙에 맞는지 검증하며, 40개 이상의 도구를 사용해 승무원 배정과 일정, 자원 배분에 관한 복합 질문에 답했다. 필요한 기능은 갖췄지만 도구를 호출할 때마다 결과 전체가 모델 입력에 추가돼 대부분의 호출에서 평균 응답 지연이 15초를 넘었다. 대화가 이어질수록 앞선 결과까지 컨텍스트 창을 차지해 토큰 비용이 늘고 응답 품질도 저하됐다. 20 MB가 넘는 JSON을 다루는 이 환경에서는 입력 규모에 따라 에이전트가 답을 도출하기 전에 컨텍스트 창이 가득 차기도 했다.
2. 하나의 답변에 쓰이는 세 가지 JSON
일정 최적화기는 요청 JSON을 받아 최적화 결과를 응답 JSON으로 내놓고, 업무 규칙 검증기는 이 결과를 검사해 별도의 검증 보고서 JSON을 만든다. 에이전트는 세 문서를 이용해 사용자가 최적화 결과를 조회하거나 검증 오류의 이유를 이해하고 특정 일정의 배정 내용을 살펴볼 수 있게 한다. 구현에는 LangChain의 오픈 소스 프레임워크인 LangGraph를 사용했고, 에이전트는 Amazon Bedrock AgentCore에서 실행되며 Amazon Bedrock 모델이 추론을 맡는다. 초기 그래프 상태에는 대화 메시지와 함께 도구가 사용할 요청·응답 객체, 검증 보고서, 기본 통계와 캐시 데이터가 들어 있었다. AgentCore memory는 턴 사이에 대화 기록을 유지하며, 대화 응답을 검증하고 필터링할 때는 Amazon Bedrock Guardrails를 적용할 수 있다.
3. 턴이 끝날 때 저장하는 상태와 도구가 사용하는 상태
첫 번째 전략은 도구가 현재 턴에서 작업할 때 필요한 데이터와 다음 턴을 위해 보존할 데이터를 구분하는 데서 출발한다. 실행 중인 그래프에는 도구가 바로 사용할 수 있도록 해석한 도메인 객체를 두되, 턴이 끝나면 dehydrate_state가 저장할 메시지와 참조 키를 추려내고 Amazon S3에 올릴 원본 데이터를 분리한다. 요청과 응답뿐 아니라 검증 보고서, 기본 통계, 캐시 데이터에도 각각 참조 키를 둘 수 있다. 다음 턴이 시작되면 hydrate_state가 대화 메시지와 참조 키를 복원하고, 원본이 필요한 도구는 그 참조를 통해 데이터를 읽어 다시 사용할 수 있다. AWS는 이 변경으로 매번 모든 데이터를 불러오는 부담이 줄었고, 턴당 지연과 AgentCore memory에 저장하는 데이터양이 감소했다고 설명한다.
4. 같은 JSON에 같은 참조 키를 부여하는 방법
원본을 세션 밖에 보관하려면 다음 턴에서도 같은 데이터를 가리킬 수 있는 참조가 필요하다. 구현에서는 JSON 객체의 키를 정렬하고 간결한 구분자로 직렬화한 다음, 그 바이트열의 SHA-256 해시를 참조값으로 사용한다. 따라서 값이 같고 객체 키의 나열 순서만 다른 JSON도 같은 키에 대응하며, 변경되지 않은 요청을 다시 직렬화할 때마다 새 저장 위치를 만들 필요가 없다. 저장소를 감싼 S3ArtifactStore는 참조값을 반환하는 put_json과 그 참조로 원본을 읽는 get_json을 제공한다. 여기에 작은 프로세스 내부 캐시를 둬 현재 실행에서 이미 읽거나 쓴 데이터가 다시 필요할 때 Amazon S3를 한 번 더 왕복하는 일을 줄였다.
5. 저장량을 줄인 뒤에도 남은 대형 도구 응답
세션에 큰 원본을 직접 저장하는 문제를 해결한 뒤에는 도구가 모델에 반환하는 결과가 컨텍스트 토큰을 가장 많이 소비했다. 예를 들어 질문에 답하는 데 긴 목록의 일부만 필요해도 기존 도구는 매번 목록 전체를 보냈고, 모델은 사용하지 않을 항목까지 입력으로 받았다. 본문의 전략 개요에 따르면 에이전트는 도구가 지나치게 큰 목록이나 사전을 반환할 때 전체 결과를 Amazon S3에 보관하고, 모델에는 짧은 요약과 원본을 가리키는 참조값을 전달한다. 모델은 더 자세한 목록 항목이 필요할 때 get_result_page_tool로 결과를 나눠 읽을 수 있다. 이 처리는 도구가 결과를 반환할 때 이뤄지므로, 턴의 시작과 끝에서 세션 상태를 복원하고 저장하는 첫 번째 전략과 함께 적용할 수 있다.
6. 23 MB 벤치마크에서 확인할 수 있는 개선 폭
AWS는 대표 23 MB 입력을 사용한 벤치마크에서 세 전략을 함께 적용했을 때 토큰 사용량이 최대 71% 줄었고 평균 응답 지연은 최대 80% 감소했다고 보고했다. 여기서 80%는 평균 응답 지연이라는 지표가 벤치마크 실행에서 보인 최대 감소 폭을 뜻한다. 토큰 사용량과 평균 응답 지연의 수치도 각각 제시돼 있어 두 최댓값이 같은 실행에서 나왔는지는 알 수 없다. 본문은 원본을 옮긴 뒤 턴당 지연과 세션 저장량이 줄고 도구 응답이 주된 토큰 소비처가 됐다는 변화의 순서를 설명한다. 다만 제공된 본문은 두 번째 전략인 결과 페이징을 설명하는 도중에 끝나므로, 각 전략이 전체 개선 폭에서 차지한 비중이나 세 번째 전략의 세부 구현까지 확인하기는 어렵다.
🧾 핵심 주장 / 시사점
- 이 사례에서 세션에 보존할 정보와 모델이 지금 읽어야 할 정보는 용도가 다르다. 참조 키를 유지하면 전체 원본을 매 턴의 모델 입력에 넣지 않아도 다음 질문에서 다시 활용할 수 있다.
- Amazon S3로 원본을 옮기는 것만으로는 도구가 긴 목록을 반환할 때의 토큰 사용량이 줄지 않는다. 페이징의 효과는 실제 질문에 필요한 항목이 전체 결과에서 얼마나 큰 비중을 차지하는지와 관련된다.
- 최대 71%는 토큰 사용량에 대해 보고된 수치다. 비용 절감의 방향은 보여주지만, 제공된 결과만으로 실제 청구액의 감소율까지 산출할 수는 없다.
✅ 액션 아이템
- 대용량 JSON은 Amazon S3에 보관하고 AgentCore memory에는 대화 메시지와 참조 키를 남기는 방식을 적용 대상으로 검토한다.
- 목록의 일부만 필요한 질의에는 요약과 참조값을 먼저 전달하고 get_result_page_tool로 필요한 항목을 조회하는 방식을 검토한다.
- 성능을 비교할 때는 대표 23 MB 입력에서 보고된 토큰 사용량과 평균 응답 지연을 각각 비교 지표로 삼는다.
❓ 열린 질문
- 대표 23 MB 입력에서 세 전략은 각각 토큰 사용량과 평균 응답 지연을 얼마나 줄였는가?
- get_result_page_tool로 목록의 여러 페이지를 읽어야 하는 경우에도 평균 응답 지연은 얼마나 줄어드는가?
- 20 MB가 넘는 JSON으로 여러 턴의 대화를 이어갈 때 컨텍스트 창이 차기까지 처리할 수 있는 턴 수는 얼마나 달라지는가?