How to Build a Real-Life JARVIS With Fable 5.1 (Full Guide)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Fable 5.1로 현실의 JARVIS를 만드는 핵심은 업무 도구·음성·기억을 연결하고, 복잡한 판단과 시스템 구축에 강한 모델을 선택적으로 쓰는 것이다.

📌 핵심 요점

1. JARVIS는 광고 진행 상황과 오늘의 할 일을 보고하고, ClickUp 작업 설명을 읽어 후속 업무를 제안하는 개인 업무 비서로 소개된다. 사용자가 맥락을 보충하고 우선순위를 정하면 조사 등의 작업을 맡기는 흐름이다.
2. 실행 기반은 발표자의 Mac에서 헤드리스 모드로 돌아가는 Claude Code와 텍스트 파일 폴더다. 기존 로그인 상태의 브라우저를 조작해 직접 연결이 부족한 업무 서비스에도 접근한다고 설명한다.
3. Telegram 음성 노트는 Mac의 로컬 Whisper에서 전사되고, 텍스트가 Claude Code로 전달된다. 응답은 ElevenLabs로 음성화되며, Mac이 Telegram의 새 메시지를 주기적으로 확인한다.
4. 기억은 결정·수정 사항을 담은 사실 파일, 필요한 문서를 찾는 인덱스, 조회·변경 내역을 기록하는 감사 로그로 구성된다. 약 95개 사실과 약 1,900개 파일·500만 단어 규모의 자료가 언급된다.
5. 단순 조회에는 주로 Sonnet, 일반 작업에는 Opus, 여러 도구 결과를 종합하는 어려운 작업에는 Fable을 배정한다. 발표자는 월 약 200달러의 Claude Max 플랜을 사용하며, 실제 응답에는 30~90초가 걸릴 수 있다고 밝힌다.

🧩 배경과 문제 정의

발표자의 업무 정보는 이메일, 캘린더, ClickUp, CRM, Slack 등 여러 서비스에 흩어져 있다. 영상은 이 정보에 대화로 접근하고, 작업 설명을 읽은 뒤 필요한 맥락을 보충해 실제 업무를 맡길 수 있는 JARVIS를 소개한다.

해결하려는 문제는 정보 조회에서 업무 위임으로 이어지는 과정이다. 이를 위해 실제 브라우저 접근, 음성 입출력, 파일 기반 기억, 실행 기록, 작업 난도별 모델 선택을 결합한다. 설명은 발표자의 구성과 시연에 근거하며, 전체 설치 절차나 독립적인 성능 검증은 포함하지 않는다.

🕒 시간순 섹션별 상세정리

1. 광고 보고와 오늘의 업무로 시작하는 JARVIS

• 비서는 새 광고 소재 5개를 만들고 광고 채널에 게시했다고 보고한다. 강한 첫 제목, 단순한 업무 흐름 도식, 하단 금색 띠와 90일 보장 문구 삭제 등이 언급되며, 담당자에게 게시를 시작하도록 요청했다고 보여준다. [00:19]
• 이어 YouTube 영상, 시장 진출 캠페인, 추천사 전달, Claude API 수정 등 오늘의 작업 4개를 읽는다. 발표자는 이메일·캘린더·ClickUp·CRM 접근과 Fable 5.1을 이용한 재구축을 보여준다. [00:58]
• 본격적인 설명에 앞서 9월 16일 무료 AI 사업 웨비나를 홍보하며, 커뮤니티 규모와 수익 사례를 자신의 주장으로 제시한다. [01:34]

2. 작업 설명을 읽고 조사 업무를 맡기는 흐름

• ClickUp의 설명이 있는 작업부터 검토하지만 필터 도구 차단으로 키워드 검색에 의존했다고 드러낸다. AIOS, LinkedIn 아웃리치, 퍼널, 회원 참여 자동화 등을 정리하면서 결과가 전체 목록은 아니라고 명시한다. [02:39]
• 발표자는 Raspberry Pi 영상의 기술적 실현 가능성 조사를 요청한다. 비서는 작업 설명을 읽고, 사용자는 부족한 맥락과 우선순위를 제공한 뒤 조사·메시지 전략·스크립트 지원 등을 맡기는 방식이라고 보여준다. [03:40]
• 조사 응답은 관련 브리프를 찾지 못했다고 밝히면서 Pi를 오케스트레이터로 쓰는 구성을 제안한다. 클라우드의 추론 기능을 중심으로 설명하고 로컬 모델의 한계를 영상에 포함하자는 권고가 나온다. [03:59]

3. Mac과 실제 브라우저를 연결하는 실행 기반

• 발표자는 Slack·ClickUp·CRM·마케팅 도구의 정보 수집과 전화 예약을 활용 범위로 보여준다. 기반은 Mac에서 헤드리스 모드로 실행하는 Claude Code와 텍스트 파일 폴더이며, 별도 서버 비용을 지불하지 않는다고 보여준다. [05:01]
• 기존 로그인 상태의 Arc·Chrome을 조작해 Facebook 광고 계정이나 GoHighLevel처럼 직접 연결이 부족한 서비스의 화면을 읽는다. 코딩 작업은 Codex에 맡길 수 있고 Mac 제어에는 자신의 사전 허가를 둔다고 드러낸다. [05:56]
• Telegram에서 텍스트 또는 음성 노트로 요청한다. 음성은 로컬 Whisper로 전사하고 Claude Code의 응답은 ElevenLabs로 음성화하며, 웹훅이나 공개 주소 대신 Mac이 주기적으로 새 메시지를 조회한다. [06:34]

4. 로컬 운영의 제약과 파일 기반 기억

• 발표자는 외부 전송 데이터와 로컬 녹음 처리를 설명하고, Mac이 절전 상태가 되면 JARVIS도 멈춘다고 드러낸다. 사용하지 않던 오래된 Mac에서 운영하며 별도의 클라우드 실행 사본은 두지 않았다고 드러낸다. [07:01]
• 브라우저에서도 음성으로 대화할 수 있다. 기억의 첫 요소는 약 95개 사실을 담은 파일로, 사용자의 결정과 수정 사항을 기록해 같은 내용을 반복해서 묻지 않도록 한다고 보여준다. [07:33]
• 약 1,900개 파일·500만 단어의 자료는 인덱스로 위치를 파악하고 필요한 파일만 읽는다. 실행한 기능과 조회·접근·변경 내용을 감사 로그에 남겨 사용자가 사후 확인할 수 있게 한다. [08:00]

5. Fable의 역할과 구독 사용량 관리

• 화면에는 Opus 5가 표시되며 Fable을 모든 요청에 쓰지 않는다고 보여준다. 단순 조회는 주로 Sonnet, 일반 작업은 Opus, 5~6개 도구의 결과를 함께 고려하는 어려운 판단은 Fable에 배정한다. 명확한 요청은 규칙으로 분류하고 불명확할 때 모델을 활용한다. [09:14]
• Fable은 시스템 구축에도 쓰였다. 발표자는 브라우저 타임아웃에 따른 라이브러리 교체, 차단된 도구의 로그 점검, 음성 응답 문제와 약 700자 지점의 응답 잘림을 사례로 들며 변경 기록이 유지보수에 도움이 된다고 드러낸다. [09:57]
• Claude Max 비용은 월 약 200달러라고 드러낸다. 화면의 34턴·약 12달러 표시는 API를 사용했을 경우의 추정치이며 실제 청구액이 아니라고 보여준다. 구독 한도를 아끼려면 단순 요청에 최고급 모델을 반복 사용하는 일을 줄여야 한다고 강조한다. [10:52]

6. 응답 지연, 역할의 경계와 자료 공개 안내

• 실제 응답에는 30~90초가 걸릴 수 있으며, 대화보다 업무 위임에 맞는 비서라고 보여준다. LinkedIn 글을 직접 완성하기보다 브리프를 전달하도록 설계한 사례로 역할의 범위를 제시한다. [11:15]
• 향후 Raspberry Pi에서 사용하는 방향을 언급하고 시청자의 사례를 요청한다. 구성 폴더, 성격을 정하는 파일, 승인 규칙을 자신의 커뮤니티에서 무료로 제공한다고 안내한다. [11:57]
• 마지막에는 9월 16일 무료 AI 사업 웨비나를 다시 홍보하고 설명란 첫 링크를 통한 신청을 권유하며 끝난다. [12:22]

🧾 결론

• 제목의 Fable 5.1은 전체 시스템의 구축·유지보수와 복잡한 판단에 활용된다. 실제 운영은 여러 모델을 작업별로 나누어 사용하는 방식이다.
• 실용성을 만드는 요소는 업무 맥락, 도구 접근, 지속적인 기억, 실행 기록의 결합이다. 도구가 차단되거나 작업 설명이 부족하면 결과의 범위도 제한된다.
• 이 영상은 구성 원리와 사용 사례를 설명한다. 제공된 전사에는 설치 명령이나 전체 설정 절차가 없으며, 발표자는 관련 폴더와 승인 규칙을 커뮤니티에서 무료로 제공한다고 안내한다.

📈 투자·시사 포인트

• 업무용 AI의 도입 가치는 모델 이름뿐 아니라 기존 업무 서비스에 접근하고 후속 작업까지 이어가는 능력으로 평가할 필요가 있다.
• 구독형 이용에서도 사용 한도가 자원 제약으로 남는다. 모델 라우팅은 간단한 조회에 큰 모델을 반복 투입하는 낭비를 줄이는 운영 장치다.
• 로컬 Mac에서 실행하면 별도 서버 운영을 줄일 수 있지만, 기기가 잠들면 비서도 멈춘다. 도입 판단에는 상시 가동 조건과 응답 지연을 함께 반영해야 한다.
• 영상의 AI 사업 수익 사례는 웨비나 홍보 과정에서 제시된 발표자의 주장이다. 이를 제품 수익성이나 투자 수익의 검증 자료로 삼기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• Fable 5.1·Opus 5 등의 명칭과 성능 설명은 제목·전사에 제시된 표기를 따른다. 정확한 제품 식별자, 이용 가능 조건, 모델별 비교 결과는 제공되지 않는다.
• 월 약 200달러는 발표자가 밝힌 Claude Max 비용이다. ElevenLabs 등 음성 처리 구성요소의 별도 요금과 전체 운영비는 설명되지 않아 총비용으로 단정할 수 없다.
• 발표자는 녹음이 외부로 나가지 않는다고 말하지만 입력 인터페이스로 Telegram을 사용한다. 로컬 전사 이후의 처리 설명과 최초 음성 노트 전달 경로를 구분해 확인해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 광고 현황 조회, 일정 확인, 작업 조사 중 반복적으로 필요한 업무 하나를 골라 입력·기대 결과·완료 기준을 정한다.
• ClickUp 작업에 목적과 설명을 보충하고, 검색 결과를 전체 목록과 대조해 누락 여부를 확인한다.
• 단순 조회·일반 업무·복합 판단으로 요청을 나누어 모델 배정과 응답 시간, 플랜 사용량을 기록한다.
• 공개한다고 안내한 구성 폴더에서 사실 파일, 문서 인덱스, 감사 로그, 승인 규칙을 확인한다.

❓ 열린 질문

• 여러 도구를 종합해야 하는 요청을 어떤 규칙으로 식별하며, 잘못된 모델 배정을 어떻게 수정하는가?
• Telegram·모델·음성 합성 서비스를 거치는 과정에서 원본 음성과 텍스트는 각각 어디에 보관되는가?
• Raspberry Pi로 옮길 경우 어떤 기능을 로컬에 두고 어떤 판단을 클라우드에 맡길 것인가?