Docs faviconDOCS우성짱의 문서
Tag3건Article 3

#aws-efa

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#bidirectional-kv-transfer공동문서 1 · 연관도 58%#deepep공동문서 1 · 연관도 58%#expert-parallelism공동문서 1 · 연관도 58%#gpu-interconnect공동문서 1 · 연관도 58%#independent-stage-scaling공동문서 1 · 연관도 58%#libfabric-backend-selection공동문서 1 · 연관도 58%#multi-turn-agents공동문서 1 · 연관도 58%#nvidia-gpudirect-rdma공동문서 1 · 연관도 58%#ray-llm-dlc공동문서 1 · 연관도 58%#token-dispatch-combine공동문서 1 · 연관도 58%

문서 목록

총 3건 중 1-3건

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Article2026년 10월 19일

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

vLLM의 양방향 KV 전송은 멀티턴 대화에서 decode의 캐시를 prefill이 재사용하게 하며, EFA로 연결한 Amazon EC2 P5en의 1P1D 벤치마크에서 TTFT를 Qwen3 32B는 최대 약 1.6배, zai org/GLM 5 FP8은 최대 약 3.3배 개선했다.

aws.amazon.com
#aws-efa#amazon-ec2-p5en#ttft-reduction#bidirectional-kv-transfer
Run multi-node inference workloads using Ray LLM Deep Learning Containers
Article2026년 10월 12일

Run multi-node inference workloads using Ray LLM Deep Learning Containers

AWS는 Ray LLM Deep Learning Containers를 이용해 Amazon EKS의 두 GPU 노드에 LLM의 prefill과 decode를 분리하고, NIXL·EFA로 KV 캐시를 전달하며 하나의 OpenAI 호환 엔드포인트로 제공하는 배포 방법을 설명한다.

aws.amazon.com
#llm#amazon-eks#aws-efa#ray-llm-dlc
Scaling MoE reinforcement learning on Amazon EKS with EFA and DeepEP with 40% more throughput
Article2026년 9월 25일

Scaling MoE reinforcement learning on Amazon EKS with EFA and DeepEP with 40% more throughput

AWS는 Amazon EKS·EFA·DeepEP를 결합해 MoE 강화학습의 자원 조율과 전문가 병렬 통신 병목을 줄이는 구성을 제시하며, 제목의 처리량 40% 향상 주장을 검증할 실험 조건과 결과는 제공된 본문에 포함되지 않는다.

aws.amazon.com
#deepep#amazon-eks#aws-efa#nvidia-gpudirect-rdma