Docs faviconDOCS우성짱의 문서
Tag1건Article 1

#prefix-caching

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#amazon-sagemaker-inference공동문서 1 · 연관도 100%#prefix-aware-routing공동문서 1 · 연관도 100%#performance-benchmark공동문서 1 · 연관도 58%#llm-inference공동문서 1 · 연관도 45%#technical-guide공동문서 1 · 연관도 28%#long-context공동문서 1 · 연관도 13%#llm공동문서 1 · 연관도 3%

문서 목록

총 1건 중 1-1건

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference
Article2026년 9월 10일

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference

Amazon SageMaker Inference의 PREFIX AWARE는 공통 프롬프트 접두사가 있는 요청을 같은 인스턴스로 보내 KV 캐시 재사용을 높이며, Llama 3.1 70B 벤치마크에서 P50 첫 토큰 지연 시간(TTFT)을 최대 77% 줄이고 처리량을 최대 16% 높였다.

aws.amazon.com
#amazon-sagemaker-inference#llm#llm-inference#prefix-caching