Docs faviconDOCS우성짱의 문서
Tag1건Article 1

#hybrid-inference

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#flexible-deferral공동문서 1 · 연관도 100%#gemma공동문서 1 · 연관도 100%#llm-inference-optimization공동문서 1 · 연관도 100%#method-proposal공동문서 1 · 연관도 100%#model-cascading공동문서 1 · 연관도 100%#parallel-verification공동문서 1 · 연관도 100%#quality-latency-balance공동문서 1 · 연관도 100%#speculative-cascades공동문서 1 · 연관도 100%#speculative-decoding공동문서 1 · 연관도 100%#token-level-routing공동문서 1 · 연관도 100%
Speculative cascades — A hybrid approach for smarter, faster LLM inference
Article2025년 9월 11일

Speculative cascades — A hybrid approach for smarter, faster LLM inference

구글 리서치가 제안한 ‘speculative cascades’는 표준 캐스케이드와 speculative decoding을 결합해 LLM 추론의 비용, 속도, 품질 사이의 균형을 더 유연하게 조정하는 하이브리드 방식이다.

research.google
#gemma#google-research#speculative-cascades#speculative-decoding