Docs faviconDOCS우성짱의 문서
Tag10건Article 10

#performance-benchmark

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#amazon-ec2-p5en공동문서 2 · 연관도 45%#technical-deep-dive공동문서 5 · 연관도 35%#amazon-ecr공동문서 1 · 연관도 32%#amazon-sagemaker-inference공동문서 1 · 연관도 32%#apple-silicon-inference공동문서 1 · 연관도 32%#bidirectional-kv-transfer공동문서 1 · 연관도 32%#bitcannon공동문서 1 · 연관도 32%#bpe-encoding공동문서 1 · 연관도 32%#container-image-indexing공동문서 1 · 연관도 32%#container-lazy-loading공동문서 1 · 연관도 32%

문서 목록

총 10건 중 1-10건

Announcing SOCI-indexed images for faster SageMaker AI jobs
Article2026년 10월 27일

Announcing SOCI-indexed images for faster SageMaker AI jobs

AWS는 Amazon SageMaker AI 학습·처리 작업에 SOCI 인덱싱을 도입해 컨테이너를 지연 로딩하며, 벤치마크에서 이미지 준비 시간을 수분에서 3~11초로 줄이고 첫 에포크의 추가 시간을 반영해도 작업을 1~6분 빨리 완료했다고 밝혔다.

aws.amazon.com
#amazon-ecr#amazon-sagemaker-ai#seekable-oci-soci#first-epoch-overhead
MPS in PyTorch 2.15
Article2026년 10월 20일

MPS in PyTorch 2.15

PyTorch 2.15는 Mac의 MPS에 FP8 지원과 Metal 커널 최적화를 도입해 LLM 디코딩, 영상 메모리 사용량, 이미지 처리 정확도와 연산 지원을 개선한다.

huggingface.co
#m3-ultra#driver-memory-reduction#image-fidelity-correction#moe-decoding-acceleration
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Article2026년 10월 19일

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

vLLM의 양방향 KV 전송은 멀티턴 대화에서 decode의 캐시를 prefill이 재사용하게 하며, EFA로 연결한 Amazon EC2 P5en의 1P1D 벤치마크에서 TTFT를 Qwen3 32B는 최대 약 1.6배, zai org/GLM 5 FP8은 최대 약 3.3배 개선했다.

aws.amazon.com
#aws-efa#amazon-ec2-p5en#ttft-reduction#bidirectional-kv-transfer
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Article2026년 10월 19일

Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

vLLM의 push 기반 KV 전송은 prefill과 전송 준비를 겹치고 decode의 설정 부담을 줄여, Qwen3 32B·1P1D·Amazon EC2 P5en·EFA 벤치마크에서 pull 대비 TTFT를 최대 약 3배 개선하고 TPOT를 최대 30% 개선했다.

aws.amazon.com
#qwen3-32b#amazon-ec2-p5en#decode-overhead-reduction#latency-routing-tradeoff
Accelerating vision-language models with LFM2.5-VL-DSpark
Article2026년 9월 24일

Accelerating vision-language models with LFM2.5-VL-DSpark

Liquid AI는 LFM2.5 VL 3B에 약 280M 파라미터를 추가해 출력 품질을 유지하면서 온디바이스 디코딩을 최대 3.13배, H100 디코딩을 최대 2.66배 가속한다고 발표한 실험적 초안 모델 LFM2.5 VL DSpark를 공개했다.

huggingface.co
#liquid-ai#greedy-output-equivalence#memory-latency-tradeoff#prefill-limited-speedup
tokenizers v1: encode, decode and scaling, measured
Article2026년 9월 21일

tokenizers v1: encode, decode and scaling, measured

tokenizers v1 출시 후보는 v0.23과 동일한 토큰 ID와 API를 유지하면서, Apple M4 Max의 단일 스레드 인코딩에서 10개 모델 계열에 걸쳐 3~30배의 속도 향상과 8개 작업자에서 선형 확장 대비 76%의 효율을 보고했다.

huggingface.co
#bitcannon#apple-m4-max#huggingface-tokenizers-v1#input-dependent-speedup
The new AgentCore runtime: Elastic, optimized, and consistently fast starts
Article2026년 9월 18일

The new AgentCore runtime: Elastic, optimized, and consistently fast starts

AWS는 사용량에 따라 메모리를 할당·회수하고 스냅샷으로 시작 시간을 일정하게 유지해, 장시간 실행되는 에이전트의 비용 효율과 응답성을 높이는 새로운 Amazon Bedrock AgentCore runtime을 발표했다.

aws.amazon.com
#amazon-bedrock-agentcore#amazon-web-services#predictable-startup-latency#long-running-agents
Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference
Article2026년 9월 10일

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference

Amazon SageMaker Inference의 PREFIX AWARE는 공통 프롬프트 접두사가 있는 요청을 같은 인스턴스로 보내 KV 캐시 재사용을 높이며, Llama 3.1 70B 벤치마크에서 P50 첫 토큰 지연 시간(TTFT)을 최대 77% 줄이고 처리량을 최대 16% 높였다.

aws.amazon.com
#amazon-sagemaker-inference#llm#llm-inference#prefix-caching
Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
Article2026년 7월 23일

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

Nunchaku Lite는 SVDQuant 기반 4비트 가중치·활성값 연산을 Diffusers의 일반 모델 로딩 방식에 통합해, 별도 추론 엔진이나 로컬 CUDA 컴파일 없이 VRAM 사용량과 추론 지연을 함께 줄인다.

huggingface.co
#svdquant#nunchaku-lite#nvidia-blackwell#hugging-face-diffusers
Boosting multimodal inference performance by >10% with a single Python dictionary
Article2026년 5월 4일

Boosting multimodal inference performance by >10% with a single Python dictionary

Modal은 SGLang의 멀티모달 추론 스케줄러에서 반복적인 CUDA IPC 핸들 열기 비용을 Python dict 캐시로 제거해 Qwen2.5 VL 3B Instruct 단일 H100 벤치마크에서 처리량 16.2%, 평균 지연 10% 이상 개선했다고 설명한다.

Modal
#modal#pytorch#sglang#cuda-ipc