Docs faviconDOCS우성짱의 문서
Tag6건YouTube 4Article 2

#local-llm-inference

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#ai-pc-hardware공동문서 1 · 연관도 41%#amd-strix-halo공동문서 1 · 연관도 41%#block-diffusion-decoding공동문서 1 · 연관도 41%#bounded-search-loops공동문서 1 · 연관도 41%#cluster-for-capacity공동문서 1 · 연관도 41%#dflash-2공동문서 1 · 연관도 41%#dflash2-throughput-gain공동문서 1 · 연관도 41%#hardware-bound-ai공동문서 1 · 연관도 41%#heterogeneous-gpu-compute공동문서 1 · 연관도 41%#high-memory-barrier공동문서 1 · 연관도 41%

문서 목록

총 6건 중 1-6건

How to add web search to an AI app (Python, TypeScript, and Ollama)
Article2026년 10월 21일

How to add web search to an AI app (Python, TypeScript, and Ollama)

Firecrawl Search의 검색 결과를 모델 문맥에 넣으면 Python·TypeScript 앱과 Ollama 로컬 모델에 최신 정보 검색을 추가할 수 있으며, 호스팅 모델과 로컬 모델에 같은 도구 호출 루프를 적용할 수 있다.

Rhys Hanak
#ollama#firecrawl-search#qwen3-1-7b#citation-verification
Meta launches an open-weight AI model that runs on Macs
Article2026년 10월 15일

Meta launches an open-weight AI model that runs on Macs

Meta가 8,160억 개 매개변수와 100만 토큰 컨텍스트 창을 갖춘 오픈웨이트 모델 Muse Spark Open을 출시했으며, Mac 로컬 실행에는 최소 1테라바이트 RAM이 필요하다.

Lucas Ropek
#davinci-resolve#muse-code#muse-spark-open#high-memory-barrier
Tinkering with DFlash2: How to Speed Up Local AI Models
YouTube2026년 8월 27일

Tinkering with DFlash2: How to Speed Up Local AI Models

Tinkering with DFlash2: How to Speed Up Local AI Models를 중심으로, 일반 디코딩은 토큰 하나를 생성할 때마다 모델의 전체 가중치를 메모리에서 다시 읽기 때문에, 로컬 GPU에서는 계산보다 메모리 대를 핵심 판단 포인트로 압축 정리한다.

Tonbi''s AI Garage
#local-llm-inference#speculative-decoding#block-diffusion-decoding#dflash2-throughput-gain
I Plugged RTX Pro 6000 Into a Strix Halo... Didn''t Expect This
YouTube2026년 8월 26일

I Plugged RTX Pro 6000 Into a Strix Halo... Didn''t Expect This

RTX Pro 6000을 Strix Halo 미니 PC에 연결한 결과, Vulkan과 모델 레이어 분할로 AMD·Nvidia 메모리를 함께 사용해 단일 GPU에 담기지 않는 122B 모델까지 실용적인 속도로 구동할 수 있었다.

Alex Ziskind
#local-llm-inference#heterogeneous-gpu-compute#mixed-gpu-inference#memory-capacity-first
3 New PCs, One Giant AI Model…This Shouldn''t Work
YouTube2026년 6월 23일

3 New PCs, One Giant AI Model…This Shouldn''t Work

3 New PCs와 One Giant AI Model 실험의 결론은 “여러 대를 묶으면 더 빠르다”가 아니라, 큰 모델을 담는 용량 확장은 가능하지만 속도는 메모리 대역폭과 네트워크·분할 방식에 막힌다는 것이다.

Alex Ziskind
#local-llm-inference#ai-pc-hardware#distributed-inference#edge-ai-runtime
How to get unlimited AI for free (GLM 5.2 local)
YouTube2026년 6월 19일

How to get unlimited AI for free (GLM 5.2 local)

GLM 5.2 local은 무료·무제한·비공개 AI 사용 가능성을 보여주지만, 실제 활용 가치는 250GB급 메모리 요구와 느린 속도를 감당할 수 있느냐에 달려 있다.

Alex Finn
#local-llm-inference#open-weight-models#ai-coding-agents#personal-ai-infrastructure