llama-cpp 태그 문서 12개 | 우성짱의 문서

Tag12건YouTube 8Article 4

#llama-cpp

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#hardware-benchmark공동문서 2 · 연관도 33%#sglang공동문서 2 · 연관도 33%#m5-ultra공동문서 2 · 연관도 29%#27b-model공동문서 1 · 연관도 29%#acceptance-throughput-gap공동문서 1 · 연관도 29%#ai-pc-hardware공동문서 1 · 연관도 29%#apu-clustering공동문서 1 · 연관도 29%#battery-efficiency공동문서 1 · 연관도 29%#benchmark-version공동문서 1 · 연관도 29%#capability-refusal-tradeoff공동문서 1 · 연관도 29%

문서 목록

총 12건 중 1-12건

Article2026년 10월 29일

Welcome Le Chonk: Mistral Large 4 on Hugging Face

Mistral Large 4(Le Chonk)는 약 1T 전체·49B 활성 파라미터와 1M 토큰 문맥을 갖춘 멀티모달 오픈 웨이트 모델로, 방어적 사이버보안과 코딩 성능을 강조하며 다양한 추론·미세조정 도구를 출시일부터 지원한다.

huggingface.co

#pixtral #llama-cpp #mistral-large-4 #long-context

YouTube2026년 10월 27일

I Tested Two $699 Laptops for Coding…It Got Weird

같은 699달러 코딩 노트북인 Dell XPS13과 MacBook Neo를 비교하니, XPS는 Python 실행과 확장성에서, Neo는 일부 연산과 배터리 소모율에서 앞서며 작업에 따라 승자가 달라졌다.

Alex Ziskind

#software-development #local-ai #workload-tradeoffs #unplugged-performance

Article2026년 10월 12일

Deploy decision models with llama.cpp on Amazon SageMaker AI

Amazon SageMaker AI에서 AWS DLC for llama.cpp로 양자화 모델의 채팅 응답을 제공하고, SemIf 확장으로 사전에 지정한 선택지의 확률을 반환하는 의사결정 모델을 CPU 또는 GPU에 배포할 수 있다.

aws.amazon.com

#semif #llama-cpp #amazon-sagemaker-ai #qwen3-5-4b

YouTube2026년 10월 1일

M5 Ultra vs 2 DGX Sparks…The Number You''re Not Looking At

M5 Ultra와 DGX Spark 두 대를 비교할 때 놓치기 쉬운 숫자는 첫 토큰까지의 대기시간이며, 입력 길이·출력 길이·동시 사용자 수에 따라 유리한 구성이 달라진다.

Alex Ziskind

#local-inference #llm-serving #prefill-latency #decode-bandwidth

YouTube2026년 9월 30일

Inference Engines explained in 10min..

Inference Engines explained in 10min..를 중심으로, 추론 엔진의 요구사항은 모델 구조에 따라 달라진다. 영상은 기존의 다양한 모델에서 자기회귀형 LLM으로 중심이 이동하면서 atte를 핵심 판단 포인트로 압축 정리한다.

Caleb Writes Code

#inference-engines #llm-inference #ai-infrastructure #memory-management

YouTube2026년 9월 22일

M5 Ultra…Apple Wasn''t Messing Around

영상에서 M5 Ultra는 M3 Ultra 대비 답변 생성 약 1.5배, 긴 프롬프트 처리 최대 약 4.2배의 성능을 보였지만, 구매 가치는 높은 가격과 전력·소음 부담을 감수할 작업량에 달려 있다.

Alex Ziskind

#local-llm #ai-hardware #memory-bandwidth #prompt-processing

YouTube2026년 9월 21일

The M6 Mac mini Had Me Checking My Numbers

영상 속 M6 Mac mini는 벤치마크 버전을 맞춰 재확인하자 개발·로컬 AI 작업에서 M4 대비 개선을 보였지만, 구매 판단에는 점수뿐 아니라 메모리 용량과 실제 작업 조건이 중요하다.

Alex Ziskind

#local-ai #software-development #benchmark-version #memory-bandwidth

YouTube2026년 9월 13일

I Ran A 27B Model On A Hand-Sized PC…Didn''t Expect This

손바닥 크기 PC에서도 27B 모델은 실행됐고, 외장 GPU 도크와 VRAM에 맞는 양자화·추측 디코딩을 조합하자 생성 속도가 초당 44토큰까지 올라갔다.

Alex Ziskind

#local-ai #llm-inference #vram-fit #memory-bandwidth

Article2026년 9월 3일

Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps

LFM2.5 350M을 약 500개 샘플로 100단계 GRPO 미세조정한 결과, 동일한 llama.cpp·BF16 평가 환경에서 IFStruct 통과율이 22.6%에서 29.7%로 상승했다.

huggingface.co

#ifstruct #llama-cpp #lfm2-5-350m #format-dependent-gains

Article2026년 8월 20일

Up to 3.2x Faster Inference with LFM2.5-DSpark

Liquid AI는 세 LFM2.5 모델용 약 3억 매개변수 DSpark 초안 모델을 공개해 탐욕 디코딩의 출력 품질을 유지하면서 H100에서 최대 3.18배, M4 Max에서 최대 2.87배의 추론 가속과 LFM2.5 2.6B 함수 호출 지연 평균 57% 감소를 달성했다.

huggingface.co

#sglang #liquid-ai #llama-cpp #lfm2-5-dspark

YouTube2026년 7월 26일

AMD Says 2 Ryzen AI Halos Can Run a 400B Model... I Tested It

두 대의 Ryzen AI Halo는 10GbE 기반 모델 분할로 400B급 AI 모델을 실제 구동할 수 있지만, 실용성은 메모리 용량보다 추론 방식과 동시 요청 처리 성능에 좌우된다.

Alex Ziskind

#local-ai-inference #multi-node-ai #apu-clustering #ryzen-ai-halo

YouTube2026년 6월 23일

3 New PCs, One Giant AI Model…This Shouldn''t Work

3 New PCs와 One Giant AI Model 실험의 결론은 “여러 대를 묶으면 더 빠르다”가 아니라, 큰 모델을 담는 용량 확장은 가능하지만 속도는 메모리 대역폭과 네트워크·분할 방식에 막힌다는 것이다.

Alex Ziskind

#local-llm-inference #ai-pc-hardware #distributed-inference #edge-ai-runtime