bidirectional-kv-transfer 태그 문서 1개

Tag1건Article 1

#bidirectional-kv-transfer

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#multi-turn-agents공동문서 1 · 연관도 100%#ttft-reduction공동문서 1 · 연관도 100%#amazon-ec2-p5en공동문서 1 · 연관도 71%#aws-efa공동문서 1 · 연관도 58%#prefill-decode-disaggregation공동문서 1 · 연관도 50%#performance-benchmark공동문서 1 · 연관도 35%#llm-inference공동문서 1 · 연관도 24%#technical-deep-dive공동문서 1 · 연관도 23%#llm공동문서 1 · 연관도 3%

문서 목록

총 1건 중 1-1건

Article2026년 10월 19일

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

vLLM의 양방향 KV 전송은 멀티턴 대화에서 decode의 캐시를 prefill이 재사용하게 하며, EFA로 연결한 Amazon EC2 P5en의 1P1D 벤치마크에서 TTFT를 Qwen3 32B는 최대 약 1.6배, zai org/GLM 5 FP8은 최대 약 3.3배 개선했다.

aws.amazon.com

#aws-efa #amazon-ec2-p5en #ttft-reduction #bidirectional-kv-transfer