Docs faviconDOCS우성짱의 문서
Tag2건Article 2

#sglang

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#acceptance-throughput-gap공동문서 1 · 연관도 71%#cuda-ipc공동문서 1 · 연관도 71%#host-overhead-bottleneck공동문서 1 · 연관도 71%#ipc-handle-cache공동문서 1 · 연관도 71%#lfm2-5-dspark공동문서 1 · 연관도 71%#llm-inference-engine공동문서 1 · 연관도 71%#multimodal-inference공동문서 1 · 연관도 71%#output-equivalent-speedup공동문서 1 · 연관도 71%#pytorch공동문서 1 · 연관도 71%#scheduler-hot-path공동문서 1 · 연관도 71%

문서 목록

총 2건 중 1-2건

Up to 3.2x Faster Inference with LFM2.5-DSpark
Article2026년 8월 20일·👁️ 3

Up to 3.2x Faster Inference with LFM2.5-DSpark

Liquid AI는 세 LFM2.5 모델용 약 3억 매개변수 DSpark 초안 모델을 공개해 탐욕 디코딩의 출력 품질을 유지하면서 H100에서 최대 3.18배, M4 Max에서 최대 2.87배의 추론 가속과 LFM2.5 2.6B 함수 호출 지연 평균 57% 감소를 달성했다.

huggingface.co
#sglang#liquid-ai#llama-cpp#lfm2-5-dspark
Boosting multimodal inference performance by >10% with a single Python dictionary
Article2026년 5월 4일·👁️ 4

Boosting multimodal inference performance by >10% with a single Python dictionary

Modal은 SGLang의 멀티모달 추론 스케줄러에서 반복적인 CUDA IPC 핸들 열기 비용을 Python dict 캐시로 제거해 Qwen2.5 VL 3B Instruct 단일 H100 벤치마크에서 처리량 16.2%, 평균 지연 10% 이상 개선했다고 설명한다.

Modal
#modal#pytorch#sglang#cuda-ipc