I Built Jarvis That Runs Entirely on My Computer (No APIs)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Jarvis의 두뇌와 음성을 내 컴퓨터에서 실행해 해당 기능의 외부 API 비용을 없애고, 파일 검색과 일정 조회까지 수행하는 개인 AI 비서를 시연한다.

📌 핵심 요점

1. 로컬화는 언어 모델과 음성 합성을 각각 전환하는 방식이다. 두뇌만 로컬 모델로 바꿨을 때는 기존 ElevenLabs 음성이 여전히 API 구독을 사용한다.
2. 두뇌는 음성 명령으로 교체한다. 영상에서는 ‘Quen 3.5’ 90억 매개변수 모델과 ‘Gemma 4’ 120억 모델 사이를 전환하지만, 정확한 제품명과 버전은 자막만으로 확정하기 어렵다.
3. Voice Studio는 로컬 음성과 음성 복제를 담당한다. 발표자는 깨끗한 음성 5~15초를 넣는 방법을 설명하고, Jarvis 음성과 자신의 복제 음성을 번갈아 적용한다.
4. 실제 시연은 로컬 자료에서 브랜드 보이스 찾기, Google Calendar의 다음 날 일정 조회, REA를 통한 웹사이트 분석으로 구성된다. 일정 추가·전화·청구서 생성 등은 가능하다고 소개하지만 직접 검증하지 않는다.
5. 재현 과정은 Ollama에서 기기에 맞는 모델을 내려받고 Voice Studio를 설치한 뒤 Jarvis에 연결하는 흐름이다. 무료 프롬프트 팩과 유료 완성본은 별도 경로이며, 응답 속도는 하드웨어에 따라 달라진다.

🧩 배경과 문제 정의

발표자는 기존 Jarvis가 클라우드 언어 모델과 ElevenLabs 음성 서비스를 사용하면서 발생하는 API·구독 비용을 줄이려 한다. 이미 로컬 파일과 여러 업무 도구에 접근하는 비서가 있으며, 이번 영상은 그 비서의 두뇌와 음성을 로컬 실행으로 교체하는 과정을 다룬다.

검증 대상은 자연스러운 대화뿐 아니라 개인 자료 검색, Google Calendar 조회, 외부 분석 도구 실행이다. 발표자는 자신의 장비 성능이 높다는 점을 밝히고, 시연 후에는 모델 다운로드와 음성 도구 설치, 무료 자료 및 유료 완성본의 접근 경로를 안내한다.

🕒 시간순 섹션별 상세정리

1. 로컬 Jarvis의 목표와 예고

• 도입부에서 로컬 두뇌로 전환한 Jarvis가 비용과 클라우드 사용에 관해 농담하고, 다음 날 일정 세 개를 읽어주는 장면을 보여준다. [00:42]
• 발표자는 로컬 AI 모델과 Voice Studio를 이용해 두뇌와 음성을 기기에서 실행하는 데모, 무료 프롬프트 팩, 구축 안내를 제공하겠다고 예고한다. [01:49]

2. 기존 비서의 파일·도구 접근 구조

• 회전하는 3D 화면은 Jarvis가 접근할 수 있는 로컬 파일과 폴더를 나타내며, Google Calendar·Gmail·Canva 같은 도구도 연결돼 있다고 보여준다. [02:27]
• 화면이 localhost에서 실행된다는 점을 보여주고, 기존 클라우드 모델에서 로컬 모델로 전환하는 기능을 보여준다. [03:05]

3. 음성 명령으로 두뇌 교체

• ‘로컬 두뇌로 전환하라’는 명령으로 자막상 Quen 3.5 90억 모델을 활성화하고, 이어 Gemma 4 120억 모델로 바꾼다. [03:56]
• 여러 모델을 내려받아 선택할 수 있다고 설명한 뒤 선호하는 Quen 3.5로 되돌린다. 모델 다운로드 방법은 뒤에서 안내한다. [04:31]

4. 음성도 별도로 로컬화해야 하는 이유

• 두뇌를 바꾼 뒤에도 말하는 기능은 ElevenLabs API 구독을 사용하고 있음을 밝히며, 음성 합성 역시 로컬로 바꾸려 한다. [04:59]
• Voice Studio를 오픈소스 도구로 소개하고 무료 기본판과 별도 유료판이 있다고 보여준다. 음성 복제·음성 설계·더빙·전사 등의 기능도 훑어본다. [05:59]

5. 음성 복제와 로컬 음성 전환

• 깨끗한 음성 5~15초를 넣어 복제하는 방법과 미리 등록한 음성을 보여준 뒤, Jarvis에게 로컬 음성으로 전환하라고 명령한다. [06:45]
• 자신의 복제 음성으로 바꿨다가 Jarvis 음성으로 복귀한다. 이로써 두뇌는 로컬 모델, 음성은 Voice Studio를 사용하는 상태라고 보여준다. [07:33]

6. 실사용 검증 항목 설정

• 개인 지식 저장소인 ‘세컨드 브레인’에서 파일을 찾고, Google Calendar 같은 도구를 사용하며, 외부 GitHub 도구를 실행하는 세 가지 검증을 예고한다. [08:08]
• REA를 웹사이트나 앱의 작동 방식을 분석하는 도구로 보여준다. 전체 테스트의 목적은 기존 클라우드 두뇌와 비슷하게 업무를 수행하는지 살피는 데 있다고 드러낸다. [08:41]

7. 하드웨어에 따른 속도 차이

• 발표자는 자신의 장비 성능이 높으며, 일반적인 MacBook Pro 등에서는 응답 지연이 다르게 나타날 수 있다고 보여준다. [09:07]
• GPU·CPU·메모리·저장장치 등 장비 조건에 따라 성능이 달라지고, 작은 모델을 선택하더라도 일정한 지연을 예상해야 한다고 덧붙인다. [09:38]

8. 브랜드 보이스 자료 검색

• Jarvis에게 브랜드 보이스를 찾아달라고 요청하자 관련 정보를 화면에 띄우고, 원하면 소리 내어 읽어주겠다고 응답한다. [10:04]
• 발표자는 소셜미디어 자동화, 콘텐츠 주제, 워크숍 등 연결된 자료를 확인하며 로컬 세컨드 브레인 검색이 작동했다고 평가한다. [10:42]

9. Google Calendar 도구 호출 검증

• 로컬 모델에서도 도구 사용 능력이 중요하다고 설명하고, 연결 권한을 부여해 둔 Google Calendar에서 다음 날 일정을 조회하도록 요청한다. [12:08]
• Jarvis는 오전 11시 팀 회의, 오후 1시 ‘busy’, 오후 3시 운동을 읽어준다. 발표자는 도구 실행 표시와 일정 내용을 확인한다. [13:04]
• 유머러스한 말투는 조정할 수 있다고 설명하며 일정 추가·Gmail·Canva 사용도 가능하다고 소개하지만, 이 구간에서 직접 수행한 것은 일정 조회다. [13:16]

10. REA로 웹사이트 분석 시작

• igloo.inc로 응답되는 3D 스크롤 애니메이션 사이트를 대상으로, 재구축 전에 구조와 작동 방식을 분석하는 과정을 보여준다. [14:26]
• 음성 요청 후 새 브라우저가 열리고 페이지가 자동으로 스크롤된다. REA가 코드·스냅샷·로딩 자료를 확인하고 기술 스택과 분석 보고서를 정리하는 상태를 보여준다. [15:11]

11. 웹사이트 분석 결과와 활용 범위

• Jarvis는 Three.js 장면, Svelte 셸, GSAP 모션과 후처리 효과를 사용한 구조라고 보고한다. 스크롤이 고정 장면의 애니메이션 시간을 움직이며 약 3MB의 음악·음향을 불러온다는 분석도 읽는다. [15:36]
• 발표자는 브라우저 개발자 도구에서 볼 수 있는 정보를 이해하기 쉽게 정리한 것이라고 설명하고, 효과·로딩 자료·근거·확인 한계를 담은 보고서를 보여준다. [16:36]
• 분석을 바탕으로 비슷한 결과물을 만들도록 요청할 수 있다고 제안하지만 실제 재구축은 수행하지 않는다. 파일 검색·도구 사용·사이트 분석이 작동했다며 시연을 마무리한다. [16:55]

12. 추가 기능과 권한 경계

• 현재 Jarvis를 버전 8 또는 8.1이라고 소개하고 전화, 예약, 외부에서의 통화, 긴급 연락, 청구서 생성 같은 추가 기능을 언급한다. 이 기능들은 이번 영상에서 시연하지 않는다. [17:21]
• 비즈니스 정보와 기능에 대한 접근 권한을 줘야 사용할 수 있으며, 권한을 주지 않은 대상에는 접근하지 못하도록 제한했다고 보여준다. 이후 설치 안내로 넘어간다. [18:00]

13. 프롬프트 팩과 로컬 모델 다운로드

• 프롬프트 팩에는 클라우드·로컬 구성의 기능과 비용 비교, 기기별 모델 선택, 설치 안내가 들어 있다고 보여준다. Ollama에서 로컬 모델 목록을 선택하는 흐름을 보여준다. [19:30]
• 장비에 비해 큰 모델은 컴퓨터를 느리게 할 수 있다고 경고하고, 자막상 Quinn 3.5의 크기별 선택 화면에서 90억 모델을 고른다. [20:57]
• pull은 모델을 내려받는 과정, run은 터미널에서 상호작용하는 과정으로 보여준다. 소개한 모델의 크기가 7.6GB라고 말하며 저장 공간을 확인하라고 안내한다. [21:51]

14. Voice Studio 설치와 인터페이스 구축 안내

• Voice Studio 저장소와 프롬프트 팩의 설치 명령을 소개하고, Mac·Windows 환경에서 안내에 따라 터미널에 명령을 붙여 넣는 방식을 보여준다. [22:45]
• 이미 설치한 상태여서 재설치는 하지 않는다. 갤럭시와 3D 두뇌 같은 Jarvis 인터페이스를 만드는 프롬프트도 제공한다고 덧붙인다. [23:16]

15. 무료 자료와 유료 완성본의 접근 경로

• 설명란이나 고정 댓글에서 무료 커뮤니티로 들어가 Classroom의 YouTube resources와 관련 폴더를 거쳐 Local Jarvis 프롬프트 팩을 찾는 순서를 안내한다. [24:06]
• 영상과 같은 완성본은 별도 유료 커뮤니티에서 ZIP 파일과 설치 안내로 제공하며, 약 5분 설치라고 홍보한다. [24:38]
• 관련 링크가 설명란에 있다고 다시 알리고 댓글 질문을 받겠다는 말과 구독 안내로 영상을 끝낸다. [24:50]

🧾 결론

• 영상의 핵심은 기존 개인 비서의 언어 모델과 음성 합성을 로컬 실행 구성으로 교체하는 데 있다.
• 파일 검색과 일정 조회 시연은 작은 로컬 모델도 개인 비서의 일부 업무를 처리할 수 있다는 사례를 제공한다. 이를 전체 업무의 안정성이나 클라우드 모델과의 동등한 성능으로 일반화할 근거는 부족하다.
• ‘No APIs’라는 제목은 언어 모델과 음성 서비스의 유료 API 의존을 줄인다는 맥락에서 읽어야 한다. Google Calendar와 웹사이트 접속도 등장하므로 전체 시스템의 완전한 오프라인 실행까지 입증하지는 않는다.
• 무료로 제공되는 것은 직접 구축에 쓰는 프롬프트와 안내이며, 영상과 같은 완성본 배포는 유료 커뮤니티에서 제공한다고 설명한다.

📈 투자·시사 포인트

• 개인 AI 비서의 비용을 판단할 때 모델·음성 API 지출과 로컬 장비의 자원 부담을 함께 비교필요가 있다. 영상에는 총비용을 계산할 수 있는 수치가 제시되지 않는다.
• 언어 모델과 음성 합성을 독립적으로 교체하는 구성은 사용자가 작업별로 로컬 실행과 외부 서비스를 선택할 여지를 보여준다.
• 로컬 AI의 실용성은 대화 품질뿐 아니라 파일 접근, 도구 호출, 외부 프로그램 연결의 성공 여부에 달려 있다. 구매나 도입 판단에서는 실제 업무를 재현한 검증이 중요하다.
• 무료 구축 자료와 유료 완성본을 병행하는 배포 방식은 설치 편의성과 통합 작업 자체가 상품이 될 수 있음을 보여준다. 특정 기업이나 종목의 투자 수익을 판단할 자료는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

• 자막에는 Quen·Quinn, Olama, Opus 5.5 등 제품명과 버전의 표기 혼선이 있다. 모델 태그, 설치 주소, 명령어를 자막에서 그대로 복원하기보다 영상의 실제 화면과 연결된 자료에서 확인해야 한다.
• ‘완전 무료’라는 설명은 API·구독 비용 제거에 초점을 맞춘다. 장비 구입비, 전력 사용량, 유지 비용과 무료 기본판의 구체적인 제약은 제시하지 않는다.
• 발표자는 강력한 컴퓨터를 사용한다고 밝히지만 정확한 사양과 응답 시간 측정값을 제공하지 않는다. 모델 크기가 커지면 더 똑똑해진다는 설명이나 클라우드급 성능 주장은 비교 시험으로 검증되지 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 무료 프롬프트 팩에서 로컬·클라우드 구성 비교와 설치 안내를 확보하고, 실제 저장소·모델 태그·명령어를 확인한다.
• 내 컴퓨터의 메모리와 저장 공간을 확인한 뒤 작은 모델부터 실행한다. 영상에서 말한 7.6GB는 소개된 모델의 다운로드 크기로 구분한다.
• 언어 모델과 음성 합성을 각각 로컬로 전환하고, 화면의 활성 모델·음성 표시를 확인한다.
• 브랜드 자료 검색과 일정 조회처럼 결과를 직접 대조할 수 있는 작업으로 정확도와 응답 지연을 기록한다.

❓ 열린 질문

• 음성 인식부터 언어 모델, 음성 합성까지 전체 대화 경로를 네트워크 없이 실행할 수 있는가?
• 일반적인 노트북에서 같은 모델과 음성을 함께 실행할 때 응답 속도와 도구 호출 성공률은 어느 정도인가?
• 파일 접근 제한과 외부 서비스 권한은 실제 구현에서 어떻게 적용되고 검증되는가?