Docs faviconDOCS우성짱의 문서
Tag1건Article 1

#api-vllm-api

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#prompt-library공동문서 1 · 연관도 7%#context-compression공동문서 1 · 연관도 5%#nvidia공동문서 1 · 연관도 4%#applications공동문서 1 · 연관도 3%#semiconductors공동문서 1 · 연관도 3%#llm공동문서 1 · 연관도 3%
Efficient Request Queueing – Optimizing LLM Performance
Article2025년 6월 17일

Efficient Request Queueing – Optimizing LLM Performance

다중 사용자 환경의 대규모 언어 모델 서빙에서는 사용자별 공정 스케줄링과 백엔드 지표 기반의 동적 요청 제어를 결합해야 지연 시간을 줄이면서 그래픽 처리 장치 활용률을 유지할 수 있다.

huggingface.co
#context-compression#prompt-library#api-vllm-api#llm