I Set Up Local AI on a Brand New Mac From Scratch

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

새 Mac에서 로컬 AI를 처음부터 구축하려면 메모리에 맞는 양자화 모델을 고르고 LM Studio로 실행한 뒤, 필요에 따라 Hermes를 연결하면 된다.

📌 핵심 요점

1. 로컬 AI는 외부 서비스에 추론을 요청하는 대신 자기 컴퓨터에서 모델을 실행한다. 영상은 무료 소프트웨어, 오프라인 추론, 사용자 설정의 자유를 주요 장점으로 제시한다.
2. 모델 선택에서는 RAM 용량과 메모리 전송 속도를 먼저 살핀다. 시연자는 M5 Max·64GB MacBook Pro에서 실행 가능한 모델과 양자화 수준을 확인한다.
3. 양자화는 모델의 메모리 요구량을 줄이는 방법이다. 처음에는 5비트를 검토하지만, 실제 설치에서는 앱이 추천한 4비트를 선택한다.
4. LM Studio는 모델 다운로드와 실행, 대화 화면을 제공한다. 영상은 이를 GUI 중심의 선택지로, Ollama를 터미널 중심의 대안으로 소개한다.
5. 별도 하네스가 필요하면 LM Studio의 로컬 API 서버를 켜고 Hermes의 사용자 지정 엔드포인트에 연결한다. 영상은 상시 자율 작업에는 Hermes·OpenClaw, 사용자가 함께 작업하는 방식에는 OpenCode를 제안한다.

🧩 배경과 문제 정의

새 컴퓨터에서 로컬 AI를 처음 설치하는 과정을 통해, 어떤 모델을 고르고 어떤 도구로 실행하며 별도 에이전트에 어떻게 연결하는지를 설명하는 영상이다. 출발점은 외부 AI 서비스 호출 대신 자기 컴퓨터에서 모델을 실행하는 것이며, 핵심 제약은 하드웨어에 맞는 모델 크기와 메모리 요구량이다. 시연 환경은 발표자가 M5 Max·64GB MacBook Pro라고 소개한 장비다.

🕒 시간순 섹션별 상세정리

1. 로컬 AI의 의미와 준비 요소

• 새 컴퓨터에 무료 소프트웨어를 설치해 약 15분 안에 로컬 AI를 실행하는 과정을 예고한다. [00:18]
• 로컬 실행의 장점으로 프라이버시, 인터넷 없이 가능한 추론, 무료 사용, 사용자 설정을 제시하고 모델과 하네스가 필요하다고 보여준다. [00:52]
• 실행 가능한 모델과 성능을 판단하는 주요 요소로 RAM 용량과 메모리 전송 속도를 꼽는다. [01:15]

2. 하드웨어에 맞는 모델과 양자화 검토

• can I run.ai에서 자신의 장비를 확인하고, 용도별로 실행 가능한 모델 후보를 살펴본다. [01:46]
• 양자화를 모델의 메모리 요구량을 줄이는 과정으로 설명하며, 전사에 ‘Quinn 3.827B’로 표기된 모델을 검토한다. [02:18]
• 64GB 메모리 환경에서 처음에는 약 17GB를 요구한다는 5비트 Q5KM 옵션을 고려하고 장비 사양을 다시 확인한다. [02:47]

3. LM Studio 설치와 대화 화면 확인

• 모델을 내려받고 실행할 도구로 LM Studio를 선택하며, 터미널 중심 대안으로 Ollama를 보여준다. [03:20]
• LM Studio를 설치하고, 영상에서 Bionic이라고 부르는 앱에 모델과 상호작용하는 기능이 내장돼 있음을 확인한다. [04:02]
• GUI에서 사용할 로컬 모델을 선택하는 단계로 이동한다. [04:17]

4. 실제 설치는 추천된 4비트로 진행

• 앱이 제안한 4비트를 선택하고, 64GB 중 약 14GB의 RAM을 사용할 것이라는 예상치를 보여준다. [04:51]
• 모델 다운로드 크기는 약 16GB로 안내하며 설치를 진행한다. [05:02]
• 다운로드를 기다리는 동안 Alibaba, Meta, Google, Nvidia 등 여러 공급자의 모델 선택지를 언급한다. [05:28]

5. 모델과 하네스의 역할 설명

• 모델을 거대한 숫자의 집합에 비유하고, 하네스는 모델과 상호작용하는 수단이라고 보여준다. [06:00]
• AI를 패턴에 기반한 예측 엔진으로 설명하면서 텍스트뿐 아니라 이미지·영상·음성에도 같은 관점을 적용한다. [06:46]
• 도구 호출, 스크립트 실행, 파일 생성처럼 단순한 다음 단어 예측을 넘어서는 활용도 언급한다. [06:56]

6. 작업 방식에 따른 하네스 선택

• OpenCode를 무료 오픈소스 하네스로 소개하고, 외부 서비스 모델과 로컬 모델을 모두 사용할 수 있다고 보여준다. [07:43]
• OpenClaw와 Hermes를 자율 에이전트 선택지로 소개하며, Hermes의 Mac 데스크톱 앱을 설치한다. [08:23]
• 상시 독립 실행에는 Hermes·OpenClaw, 사용자가 컴퓨터 앞에서 함께 작업하는 방식에는 OpenCode가 어울린다는 기준을 제시한다. [09:16]

7. 첫 대화와 로컬 추론 확인

• 다운로드가 끝난 모델을 Bionic의 새 대화에 불러오고, LM Studio와 Ollama의 실행 방식 차이를 다시 보여준다. [10:22]
• Super Whisper로 미국 중견기업 대상 사이버보안 업체 목록을 음성 입력하며, 음성 인식도 로컬 모델로 실행된다고 보여준다. [10:54]
• 첫 실행은 모델을 메모리에 올리느라 느릴 수 있다고 보여준다. 추론은 인터넷 없이 가능하지만 이어지는 작업에서는 웹페이지 접근도 언급한다. [11:44]

8. 메모리 사용과 발열 관찰

• 팬 소음을 듣고 활동 모니터를 열어 약 16GB, 관련 프로세스에서는 약 17GB의 메모리 사용을 확인한다. [12:24]
• 냉각과 과열에 따른 성능 제한을 설명하고, 요청했던 사이버보안 업체 목록이 생성된 것을 확인한다. [12:59]
• 프로젝트 생성, 코드 실행, 모델 교체 등 대화 외의 활용 가능성을 보여준다. [13:25]

9. 로컬 API 서버를 Hermes에 연결

• Hermes에서 같은 모델을 사용하기 위해 LM Studio의 로컬 API 서버를 켜고 엔드포인트를 복사한다. [14:02]
• Hermes의 사용자 지정 엔드포인트에 로컬 URL을 입력하고, 연결 이름과 모델 정보를 설정해 저장한다. [14:44]
• 대화 화면에서 연결한 모델을 선택하고 사이버보안 관련 질문을 입력한다. [14:59]

10. 하드웨어 비용과 클라우드 보완 가능성

• 27B급 모델을 실행하려면 상당한 장비가 필요하며, 시연용 컴퓨터는 수천 달러 수준이라고 보여준다. Mac·PC·DGX Spark의 선택은 열린 문제로 남긴다. [15:20]
• 로컬 모델을 클라우드 작업의 대체재이자 보완재로 제시하고, 호출별 비용·토큰 제약을 덜 의식할 때 활용 방식이 어떻게 달라질지 질문한다. [15:47]
• 개인과 업무에서 로컬 AI를 활용하는 후속 영상을 예고하며 마무리한다. [15:57]

🧾 결론

• 구축 흐름은 하드웨어 확인 → 모델·양자화 선택 → 다운로드·실행 → 대화 테스트 → 필요시 외부 하네스 연결로 정리된다.
• 시연에서는 전사에 ‘Quinn 3.8 27B’로 표기된 모델을 4비트로 실행하고, 같은 모델을 Hermes에서도 사용하도록 연결한다.
• 첫 실행에는 모델을 메모리에 올리는 시간이 필요하며, 실행 중 약 16~17GB의 메모리 사용과 팬 작동이 관찰된다.
• 로컬 AI는 클라우드 작업의 대체 또는 보완 수단으로 제시된다. 영상은 두 방식의 품질·속도·총비용을 정량적으로 비교하지 않는다.

📈 투자·시사 포인트

• 소프트웨어가 무료여도 하드웨어 취득 비용은 남는다. 시연자는 해당 컴퓨터가 수천 달러 수준이라고 설명하므로, 무료 실행과 초기 투자 비용을 구분해야 한다.
• 로컬 AI용 장비를 판단할 때 RAM 용량, 메모리 전송 속도, 냉각 성능을 함께 살펴볼 필요가 있다. 영상은 이 요소들이 실행 가능성과 지속 성능에 영향을 준다고 설명한다.
• 호출마다 비용이나 토큰 사용을 의식하는 클라우드 방식과 달리, 로컬 실행은 반복 작업을 어떻게 활용할지 재고하게 만든다는 것이 영상 말미의 문제 제기다.
• 모델 실행 도구와 작업 하네스를 연결하는 구조는 같은 로컬 모델을 여러 작업 화면에서 활용하는 선택지를 보여준다. 특정 기업이나 자산의 투자수익을 뒷받침하는 자료는 제시되지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 모델명이 전사에서 ‘Quinn 3.827B’, ‘Quinn 3.8 27B’ 등으로 표기된다. 정확한 배포명·버전·파일은 이 자료만으로 확정하기 어렵다.
• 영상은 4비트 모델의 예상 RAM 사용량을 약 14GB, 다운로드 크기를 약 16GB, 실행 중 메모리 사용을 약 16~17GB로 언급한다. 서로 다른 수치이므로 동일한 사양값으로 취급하면 안 된다.
• 오프라인으로 가능한 것은 로컬 모델의 추론이다. 시연 중 웹 검색·페이지 가져오기도 언급되므로, 전체 작업이 인터넷 없이 완료된다고 일반화할 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 자신의 RAM 용량과 메모리 전송 속도를 확인하고, 영상에서 소개한 실행 가능성 확인 도구로 모델 후보를 좁힌다.
• 다운로드 전에 정확한 모델명과 양자화 옵션을 확인하고, 파일 크기와 예상 실행 메모리를 따로 기록한다.
• LM Studio에서 모델을 실행한 뒤 첫 로딩 시간과 실제 메모리 사용량을 확인한다.
• 인터넷을 끈 상태의 일반 대화와 웹 접근이 필요한 작업을 나누어 시험한다.

❓ 열린 질문

• 같은 작업에서 4비트와 5비트 양자화는 답변 품질, 속도, 메모리 사용에 어떤 차이를 보일까?
• 실제 업무 중 어느 부분을 로컬 모델로 대체하고, 어느 부분을 클라우드에 남기는 것이 적절할까?
• 장시간 상시 실행할 때 성능과 냉각 상태는 어떻게 달라질까?