decode-overhead-reduction 태그 문서 1개 | 우성짱의 문서

우성짱의 문서

Tag1건Article 1

#decode-overhead-reduction

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#latency-routing-tradeoff공동문서 1 · 연관도 100%#prefill-transfer-overlap공동문서 1 · 연관도 100%#qwen332b공동문서 1 · 연관도 100%#rdma-networking공동문서 1 · 연관도 100%#amazon-ec2-p5en공동문서 1 · 연관도 71%#disaggregated-inference공동문서 1 · 연관도 71%#kv-cache-transfer공동문서 1 · 연관도 71%#qwen3-32b공동문서 1 · 연관도 71%#performance-benchmark공동문서 1 · 연관도 35%#technical-deep-dive공동문서 1 · 연관도 23%

문서 목록

총 1건 중 1-1건

Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

Article2026년 10월 19일

Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

vLLM의 push 기반 KV 전송은 prefill과 전송 준비를 겹치고 decode의 설정 부담을 줄여, Qwen3 32B·1P1D·Amazon EC2 P5en·EFA 벤치마크에서 pull 대비 TTFT를 최대 약 3배 개선하고 TPOT를 최대 30% 개선했다.

#qwen3-32b #amazon-ec2-p5en #decode-overhead-reduction #latency-routing-tradeoff