Docs faviconDOCS우성짱의 문서
Tag3건YouTube 1Article 2

#sglang

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#acceptance-throughput-gap공동문서 1 · 연관도 58%#continuous-batching공동문서 1 · 연관도 58%#cuda-ipc공동문서 1 · 연관도 58%#host-overhead-bottleneck공동문서 1 · 연관도 58%#inference-engines공동문서 1 · 연관도 58%#ipc-handle-cache공동문서 1 · 연관도 58%#lfm2-5-dspark공동문서 1 · 연관도 58%#llm-inference-engine공동문서 1 · 연관도 58%#output-equivalent-speedup공동문서 1 · 연관도 58%#paged-attention공동문서 1 · 연관도 58%

문서 목록

총 3건 중 1-3건

Inference Engines explained in 10min..
YouTube2026년 9월 30일

Inference Engines explained in 10min..

Inference Engines explained in 10min..를 중심으로, 추론 엔진의 요구사항은 모델 구조에 따라 달라진다. 영상은 기존의 다양한 모델에서 자기회귀형 LLM으로 중심이 이동하면서 atte를 핵심 판단 포인트로 압축 정리한다.

Caleb Writes Code
#inference-engines#llm-inference#ai-infrastructure#memory-management
Up to 3.2x Faster Inference with LFM2.5-DSpark
Article2026년 8월 20일

Up to 3.2x Faster Inference with LFM2.5-DSpark

Liquid AI는 세 LFM2.5 모델용 약 3억 매개변수 DSpark 초안 모델을 공개해 탐욕 디코딩의 출력 품질을 유지하면서 H100에서 최대 3.18배, M4 Max에서 최대 2.87배의 추론 가속과 LFM2.5 2.6B 함수 호출 지연 평균 57% 감소를 달성했다.

huggingface.co
#sglang#liquid-ai#llama-cpp#lfm2-5-dspark
Boosting multimodal inference performance by >10% with a single Python dictionary
Article2026년 5월 4일

Boosting multimodal inference performance by >10% with a single Python dictionary

Modal은 SGLang의 멀티모달 추론 스케줄러에서 반복적인 CUDA IPC 핸들 열기 비용을 Python dict 캐시로 제거해 Qwen2.5 VL 3B Instruct 단일 H100 벤치마크에서 처리량 16.2%, 평균 지연 10% 이상 개선했다고 설명한다.

Modal
#modal#pytorch#sglang#cuda-ipc