Docs faviconDOCS우성짱의 문서
Tag2건YouTube 2

#memory-bound-inference

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#ai-pc-hardware공동문서 1 · 연관도 71%#cluster-for-capacity공동문서 1 · 연관도 71%#gpu-memory-systems공동문서 1 · 연관도 71%#intel-npu공동문서 1 · 연관도 71%#intel-nuc공동문서 1 · 연관도 71%#intel-openvino공동문서 1 · 연관도 71%#kv-cache-costs공동문서 1 · 연관도 71%#llama-cpp공동문서 1 · 연관도 71%#llm-inference-infrastructure공동문서 1 · 연관도 71%#local-ai-experiment공동문서 1 · 연관도 71%
3 New PCs, One Giant AI Model…This Shouldn''t Work
YouTube2026년 6월 23일

3 New PCs, One Giant AI Model…This Shouldn''t Work

3 New PCs와 One Giant AI Model 실험의 결론은 “여러 대를 묶으면 더 빠르다”가 아니라, 큰 모델을 담는 용량 확장은 가능하지만 속도는 메모리 대역폭과 네트워크·분할 방식에 막힌다는 것이다.

Alex Ziskind
#local-llm-inference#ai-pc-hardware#distributed-inference#edge-ai-runtime
EP 96. LLM 추론 인프라와 토큰 경제학
YouTube2026년 5월 8일

EP 96. LLM 추론 인프라와 토큰 경제학

LLM 추론 인프라와 토큰 경제학 의 핵심은 모델 크기보다 긴 컨텍스트·KV cache·batch·메모리 병목을 얼마나 효율적으로 관리하느냐가 실제 비용과 경쟁력을 좌우한다는 점이다.

노정석
#llm-inference-infrastructure#token-economics#long-context-serving#gpu-memory-systems