llama-cpp 태그 문서 6개 | 우성짱의 문서

Tag6건YouTube 4Article 2

#llama-cpp

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#27b-model공동문서 1 · 연관도 41%#acceptance-throughput-gap공동문서 1 · 연관도 41%#ai-pc-hardware공동문서 1 · 연관도 41%#apu-clustering공동문서 1 · 연관도 41%#cluster-comparison공동문서 1 · 연관도 41%#cluster-for-capacity공동문서 1 · 연관도 41%#fine-tuning-tutorial공동문서 1 · 연관도 41%#format-dependent-gains공동문서 1 · 연관도 41%#glm-4-7공동문서 1 · 연관도 41%#gpu-offloading공동문서 1 · 연관도 41%

문서 목록

총 6건 중 1-6건

YouTube2026년 9월 22일

M5 Ultra…Apple Wasn''t Messing Around

영상에서 M5 Ultra는 M3 Ultra 대비 답변 생성 약 1.5배, 긴 프롬프트 처리 최대 약 4.2배의 성능을 보였지만, 구매 가치는 높은 가격과 전력·소음 부담을 감수할 작업량에 달려 있다.

Alex Ziskind

#local-llm #ai-hardware #memory-bandwidth #prompt-processing

YouTube2026년 9월 13일·👁️ 1

I Ran A 27B Model On A Hand-Sized PC…Didn''t Expect This

손바닥 크기 PC에서도 27B 모델은 실행됐고, 외장 GPU 도크와 VRAM에 맞는 양자화·추측 디코딩을 조합하자 생성 속도가 초당 44토큰까지 올라갔다.

Alex Ziskind

#local-ai #llm-inference #vram-fit #memory-bandwidth

Article2026년 9월 3일

Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps

LFM2.5 350M을 약 500개 샘플로 100단계 GRPO 미세조정한 결과, 동일한 llama.cpp·BF16 평가 환경에서 IFStruct 통과율이 22.6%에서 29.7%로 상승했다.

huggingface.co

#ifstruct #llama-cpp #lfm2-5-350m #format-dependent-gains

Article2026년 8월 20일·👁️ 3

Up to 3.2x Faster Inference with LFM2.5-DSpark

Liquid AI는 세 LFM2.5 모델용 약 3억 매개변수 DSpark 초안 모델을 공개해 탐욕 디코딩의 출력 품질을 유지하면서 H100에서 최대 3.18배, M4 Max에서 최대 2.87배의 추론 가속과 LFM2.5 2.6B 함수 호출 지연 평균 57% 감소를 달성했다.

huggingface.co

#sglang #liquid-ai #llama-cpp #lfm2-5-dspark

YouTube2026년 7월 26일·👁️ 2

AMD Says 2 Ryzen AI Halos Can Run a 400B Model... I Tested It

두 대의 Ryzen AI Halo는 10GbE 기반 모델 분할로 400B급 AI 모델을 실제 구동할 수 있지만, 실용성은 메모리 용량보다 추론 방식과 동시 요청 처리 성능에 좌우된다.

Alex Ziskind

#local-ai-inference #multi-node-ai #apu-clustering #ryzen-ai-halo

YouTube2026년 6월 23일·👁️ 4

3 New PCs, One Giant AI Model…This Shouldn''t Work

3 New PCs와 One Giant AI Model 실험의 결론은 “여러 대를 묶으면 더 빠르다”가 아니라, 큰 모델을 담는 용량 확장은 가능하지만 속도는 메모리 대역폭과 네트워크·분할 방식에 막힌다는 것이다.

Alex Ziskind

#local-llm-inference #ai-pc-hardware #distributed-inference #edge-ai-runtime