Amazon SageMaker AI real-time endpoints now support KV cache aware routing
Quick Summary
Amazon SageMaker AI 실시간 엔드포인트가 각 인스턴스의 KV 캐시 상태와 부하를 함께 고려해, 이전 대화나 공유 문서의 계산 결과를 재사용하는 KV AWARE 라우팅을 지원한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon SageMaker AI 실시간 엔드포인트가 각 인스턴스의 KV 캐시 상태와 부하를 함께 고려해, 이전 대화나 공유 문서의 계산 결과를 재사용하는 KV_AWARE 라우팅을 지원한다.
📌 핵심 요약
- 기존 PREFIX_AWARE는 요청 앞부분의 해시로 캐시 위치를 추정한다. KV_AWARE는 컨테이너가 보고한 캐시 저장·삭제 내역을 바탕으로, 과부하 상태가 아닌 후보 중 요청의 시작 부분이 토큰 단위로 가장 길게 일치하는 곳을 선택한다.
- KV_AWARE를 사용하려면 지원 컨테이너에서 접두부 캐싱을 켜고 SM_VLLM_KV_EVENTS_CONFIG로 캐시 이벤트 보고를 활성화한 뒤, 엔드포인트의 RoutingStrategy를 KV_AWARE로 설정한다. 기존 호출 API를 그대로 쓰며, 라우팅 효과가 생기려면 인스턴스 또는 추론 구성 요소 복사본이 최소 2개여야 한다.
- 관리형 캐시 인덱스는 단방향 해시를 짧게 잘라 캐시 보유 위치와 연결하며 프롬프트 원문은 저장하지 않는다. 조회가 늦거나 유효한 일치가 없거나 일치 후보가 모두 바쁘면 처리 중인 요청이 가장 적은 곳으로 보낸다. 출시 시점에는 이 전환이 콘솔이나 지표에 별도로 표시되지 않는다.
- AWS가 Llama 3.1 70B Instruct와 ml.p5.48xlarge 인스턴스 7대로 수행한 벤치마크에서, 부하가 높은 긴 프롬프트는 무작위 라우팅 대비 첫 토큰 응답 시간의 중앙값(p50 TTFT)이 최대 97% 줄고 처리량은 최대 234% 늘었다. 벤치마크의 KV 캐시 적중률은 3~48%에서 80~93%로 높아졌다.
- 긴 프롬프트는 낮은 부하에서도 이득이 있었고, 짧은 프롬프트는 건너뛸 초기 계산이 적어 이득이 가장 작았다. KV_AWARE의 조회에는 짧은 프롬프트도 수 밀리초가 걸리며, 긴 프롬프트에서는 주로 토큰화 때문에 시간이 더 든다.
🧩 주요 포인트
- 매번 길어지는 다중 턴 대화에서는 고정된 PrefixLength로 캐시 위치를 추정하는 것보다 현재 남아 있는 대화 이력을 토큰 단위로 대조하는 편이 재사용할 구간을 찾기에 유리하다.
- GPU 메모리 부족으로 캐시 일부가 삭제되면 같은 대화를 이전에 처리한 인스턴스와 현재 가장 긴 접두부를 보유한 인스턴스가 달라질 수 있다. KV_AWARE는 바뀐 보유 위치와 현재 부하를 함께 반영한다.
- KV_AWARE의 성능 이득은 재사용할 수 있는 계산량에 따라 달라진다. 실제 트래픽에서는 KV 캐시 적중률과 함께 p50 TTFT 및 처리량을 비교해야 응답 속도와 처리 용량에 미친 영향을 판단할 수 있다.
🧠 상세 정리
1. 같은 요청 앞부분을 다시 계산하는 이유
채팅 도우미, 검색 증강 생성(RAG) 애플리케이션, 긴 시스템 프롬프트를 쓰는 에이전트는 여러 요청에 같은 텍스트를 반복해서 보낸다. 모델은 이미 처리한 토큰의 계산 결과를 인스턴스의 GPU 메모리에 KV 캐시로 보관하므로, 다음 요청이 같은 텍스트로 시작하고 해당 캐시가 남아 있으면 그 구간의 계산을 건너뛸 수 있다. 기존 PREFIX_AWARE는 요청 앞에서 PrefixLength만큼을 해시해 시작 부분이 같은 요청을 같은 인스턴스로 보낸다. 하지만 GPU 메모리가 차서 해당 캐시가 삭제된 뒤에도 목적지가 그대로이고, 반대로 아직 PrefixLength보다 짧은 대화에서는 턴이 추가될 때마다 해시 입력이 바뀌어 직전 이력을 보유한 인스턴스와 다른 곳으로 갈 수 있다.
2. 컨테이너가 보고하는 캐시와 관리형 인덱스
KV_AWARE를 사용하려면 지원되는 AWS vLLM 컨테이너에서 접두부 캐싱을 켜고 SM_VLLM_KV_EVENTS_CONFIG 환경 변수로 이벤트 보고를 활성화한 뒤, 엔드포인트 구성의 RoutingStrategy를 KV_AWARE로 지정한다. 클라이언트는 기존 API로 엔드포인트를 호출하며, KV_AWARE가 지원하는 요청 본문은 OpenAI 호환 Completions 또는 Chat Completions 형식이다. 컨테이너가 캐시 항목을 저장하거나 삭제할 때마다 이벤트를 보내면 SageMaker AI가 엔드포인트의 관리형 인덱스를 갱신한다. 인덱스에는 단방향 해시를 짧게 잘라 어느 인스턴스나 추론 구성 요소 복사본이 해당 내용을 보유하는지 기록한다. 프롬프트 원문, 토큰 ID, 요청 본문, KV 텐서는 인덱스에 저장하지 않는다.
3. 토큰 일치 길이와 부하에 따른 목적지 선택
요청을 받은 엔드포인트는 프롬프트를 토큰화한 뒤, 시작 부분을 캐시에 보유한 후보와 각 후보에서 일치하는 토큰 수를 인덱스에서 찾는다. AWS의 예시에서 인스턴스 A는 대화의 첫 세 턴을 처리해 네 번째 요청을 구성하는 6,200개 토큰 중 처음 6,000개를 보유하므로, A가 요청을 받으면 나머지 200개 토큰에 대해서만 초기 계산을 수행한다. 가장 길게 일치하는 후보가 너무 바쁘면 그다음으로 잘 일치하는 가용 후보를 고려하며, 사용자가 별도의 동시성 임곗값을 지정할 필요는 없다. 목적지를 고르려면 인스턴스 또는 같은 추론 구성 요소의 복사본이 최소 2개여야 한다. 규모를 줄이면 제거된 인스턴스의 항목도 인덱스에서 빠지고, 확장이나 교체로 추가된 인스턴스는 빈 캐시로 시작하므로 일시적으로 지연이 커질 수 있다.
4. 네 가지 라우팅 전략의 적용 조건
SageMaker AI는 실시간 엔드포인트 구성의 RoutingConfig에서 프로덕션 변형별로 라우팅 전략을 지정한다. 기본값인 RANDOM은 요청을 무작위로 배분해 범용 워크로드에 쓰이고, LEAST_OUTSTANDING_REQUESTS는 처리 중인 요청 수가 가장 적은 곳을 선택하므로 요청마다 처리 시간이 다를 때 부하를 나누는 데 적합하다. PREFIX_AWARE는 접두부 캐싱을 지원하는 컨테이너에서 사용할 수 있으며, InvokeEndpoint 요청 본문에서는 바이트 수로, OpenAI 호환 Chat Completions에서는 메시지 텍스트의 문자 수로 PrefixLength를 적용한다. 시작 위치와 길이가 일정한 공유 텍스트에는 이 방식이 잘 맞으며, ConcurrencyThreshold에 이르면 다른 인스턴스로 요청을 넘긴다. KV_AWARE는 지원 컨테이너가 보고한 캐시와 토큰 단위로 대조하므로 두 매개변수를 설정할 필요가 없고, 대화가 길어지거나 요청 앞부분이 일부만 겹칠 때도 남아 있는 계산 결과를 찾을 수 있다.
5. AWS 벤치마크에서 관측한 성능 차이
AWS는 Llama 3.1 70B Instruct를 ml.p5.48xlarge 인스턴스 7대에서 실행하고, 모의 사용자 20명 또는 100명이 다중 턴 채팅과 문서 질의응답을 수행하는 조건으로 각각 30분간 시험했다. 프롬프트 길이는 최대 약 64,000개 토큰이었으며 비교 기준은 무작위 라우팅이었다. 부하가 높은 조건에서 긴 프롬프트의 첫 토큰 응답 시간 중앙값은 최대 97% 감소했고 처리량은 최대 234% 증가했다. 시험에서 관측된 KV 캐시 적중률 범위는 무작위 라우팅의 3~48%에서 KV_AWARE의 80~93%로 높아졌다. 긴 프롬프트에서는 낮은 부하에서도 이득이 있었지만 짧은 프롬프트에서는 절약할 초기 계산이 적어 개선 폭이 가장 작았으며, AWS는 결과가 워크로드에 따라 달라진다고 설명한다.
6. 조회 비용과 부하 기반 라우팅으로의 전환
AWS가 앞선 글에서 측정한 PREFIX_AWARE의 추가 지연은 요청당 1.3~1.9밀리초였고, 이번 글에서 설명한 KV_AWARE의 토큰화와 인덱스 조회에는 짧은 프롬프트에서도 수 밀리초가 걸린다. 긴 프롬프트는 주로 토큰화에 시간이 더 들며, 표준 옵션을 사용하는 텍스트 전용 요청에서는 엔드포인트가 계산한 토큰을 모델에 전달해 같은 작업을 두 번 수행하지 않는다. 조회가 늦거나 재사용할 만한 일치 구간이 없거나 일치 후보가 모두 바쁘면, 엔드포인트는 LEAST_OUTSTANDING_REQUESTS와 같은 방식으로 요청을 계속 처리한다. 출시 시점에는 콘솔이나 지표에서 이 전환을 별도로 확인할 수 없으므로, 해당 트래픽에서 캐시 재사용이 얼마나 효과적인지는 실제 성능을 비교해 판단해야 한다.
7. 캐시 삭제가 목적지를 바꾸는 사례
AWS는 세 인스턴스에서 실행되는 지원 도우미가 모든 대화를 같은 6,000개 토큰의 지식 자료로 시작하는 사례를 든다. 첫 대화를 맡은 A가 트래픽 증가로 GPU 메모리가 부족해 자료 대부분을 캐시에서 삭제한 동안, 같은 자료로 다른 대화를 처리한 B에는 앞의 4,000개 토큰이 남아 있다. 이때 PREFIX_AWARE는 다음 턴도 A로 보내 자료를 다시 계산하게 되지만, KV_AWARE는 삭제 이벤트가 인덱스에 반영되면 가장 긴 구간을 보유한 B로 보내 남은 부분만 계산하게 한다. 반대로 부하가 낮아 A가 캐시를 온전히 유지했다면 이 사례에서 두 전략 모두 A를 선택한다. 대화가 길어질수록 재사용할 이력은 늘어나며, 어느 전략이 더 효과적인지는 요청 사이에 그 이력이 각 인스턴스에 얼마나 남아 있는지에 달려 있다.
🧾 핵심 주장 / 시사점
- 대화가 이어질 때 재사용 가치가 가장 큰 곳은 직전 턴을 처리한 인스턴스일 수도 있고, 같은 문서의 더 긴 구간을 아직 보유한 다른 인스턴스일 수도 있다.
- AWS가 보고한 최대 97% 감소는 첫 토큰이 도착하기까지 걸린 시간의 중앙값에 해당한다. 전체 답변 생성 시간이나 모든 요청의 지연이 같은 비율로 줄었다고 해석할 수는 없다.
- 인스턴스를 늘리면 요청을 나눌 목적지는 즉시 늘지만, 새 인스턴스에서 공유 문서나 대화 이력을 재사용하려면 먼저 해당 내용이 캐시에 쌓여야 한다.
✅ 액션 아이템
- KV_AWARE 적용 대상의 지원 컨테이너, 접두부 캐싱, SM_VLLM_KV_EVENTS_CONFIG 설정과 인스턴스 또는 추론 구성 요소 복사본 최소 2개 조건을 확인한다.
- 실제 트래픽을 프롬프트 길이와 부하에 따라 나눠 무작위 라우팅 대비 KV 캐시 적중률, p50 TTFT 및 처리량을 비교한다.
- 짧은 프롬프트에서는 KV_AWARE의 조회 시간을 포함한 p50 TTFT를 PREFIX_AWARE와 비교해 적용 여부를 판단한다.
❓ 열린 질문
- 실제 다중 턴 대화에서는 KV_AWARE가 PREFIX_AWARE보다 얼마나 긴 대화 이력을 재사용하는가?
- 짧은 프롬프트에서도 KV_AWARE로 절약한 초기 계산 시간이 수 밀리초의 조회 시간을 상쇄하는가?
- 실제 트래픽에서 KV 캐시 적중률이 높아질 때 p50 TTFT와 처리량은 각각 얼마나 달라지는가?