quantization 태그 문서 2개 | 우성짱의 문서

우성짱의 문서

Tag2건YouTube 2

#quantization

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#27b-model공동문서 1 · 연관도 71%#cloud-complement공동문서 1 · 연관도 71%#gpu-offloading공동문서 1 · 연관도 71%#hardware-limits공동문서 1 · 연관도 71%#vram-fit공동문서 1 · 연관도 71%#lm-studio공동문서 1 · 연관도 50%#model-inference공동문서 1 · 연관도 50%#memory-bandwidth공동문서 2 · 연관도 41%#mini-pc공동문서 1 · 연관도 41%#offline-inference공동문서 1 · 연관도 41%

문서 목록

총 2건 중 1-2건

YouTube2026년 10월 20일

I Set Up Local AI on a Brand New Mac From Scratch

새 Mac에서 로컬 AI를 처음부터 구축하려면 메모리에 맞는 양자화 모델을 고르고 LM Studio로 실행한 뒤, 필요에 따라 Hermes를 연결하면 된다.

#local-ai #model-inference #memory-bandwidth #quantization

I Ran A 27B Model On A Hand-Sized PC…Didn''t Expect This

YouTube2026년 9월 13일

I Ran A 27B Model On A Hand-Sized PC…Didn''t Expect This

손바닥 크기 PC에서도 27B 모델은 실행됐고, 외장 GPU 도크와 VRAM에 맞는 양자화·추측 디코딩을 조합하자 생성 속도가 초당 44토큰까지 올라갔다.

#local-ai #llm-inference #vram-fit #memory-bandwidth