Docs faviconDOCS우성짱의 문서
전체YouTubeArticleTagsAuthorsHub
홈/태그 찾기/#systems-benchmark-study
Tag1건Article 1

#systems-benchmark-study

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#fused-chunked-kl공동문서 1 · 연관도 100%#gpu-memory-optimization공동문서 1 · 연관도 100%#knowledge-distillation공동문서 1 · 연관도 100%#teacher-logit-caching공동문서 1 · 연관도 100%#technical-research-report공동문서 1 · 연관도 100%#gpt-oss-20b공동문서 1 · 연관도 58%#nvidia-h200공동문서 1 · 연관도 58%
Making Knowledge Distillation Cheap Enough to Run at Scale
Article2026년 8월 10일

Making Knowledge Distillation Cheap Enough to Run at Scale

교사의 위치별 상위 100개 로짓을 한 번만 저장하고 출력 투영까지 청크 단위로 결합한 KL 손실을 사용해, 지식 증류의 품질을 유지하면서 장문맥 훈련의 메모리와 계산 비용을 크게 줄인 연구다.

huggingface.co
#nvidia-h200#gpt-oss-20b#fused-chunked-kl#teacher-logit-caching