I Built JARVIS with Claude Code (INSANE Results!)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Claude Code로 구축한 JARVIS는 음성 명령과 업무 데이터, 외부 도구를 연결해 일정 확인부터 전화 예약·송장 생성·브라우저 조작까지 수행하는 개인 AI 비서다.

📌 핵심 요점

1. JARVIS는 Anthropic API와 OpenRouter를 통해 여러 AI 모델을 선택적으로 사용하며, 음성 명령으로 모델과 화면 스킨까지 전환할 수 있다.
2. 전화번호를 연결하면 식당 예약이나 가격 문의 같은 외부 통화를 대신 수행하고, 예약 결과를 정리해 일정 등록까지 제안한다.
3. Gmail, Google Calendar, Zapier, Google Drive 등과 연동해 일정 조회와 문서 작업을 처리하며, 필요한 도구를 추가해 자동화 범위를 확장할 수 있다.
4. Telegram의 짧은 지시만으로 고객 기록과 AI Second Brain의 사업 자료를 결합해 정확한 송장을 만들고 Google Drive 링크를 반환한다.
5. 이메일은 초안까지만 생성하고 최종 전송은 사용자에게 맡기는 한편, 화면 정보를 이해해 폼 작성과 브라우저 작업까지 수행한다.

🧩 배경과 문제 정의

• 일정·이메일·문서·고객 정보를 여러 서비스에서 일일이 확인하고 처리하는 반복 업무는 개인과 소규모 사업자의 시간과 집중력을 소모한다.
• 음성 대화, 로컬 파일 검색, 전화 통화, 문서 생성, 브라우저 조작을 하나의 개인 AI 비서로 연결하면 단순 질의응답을 넘어 실제 업무를 자동화할 수 있다.
• 자동화 범위가 이메일과 결제 요청처럼 민감한 작업까지 확대되므로, 기존 업무 데이터를 활용하면서도 최종 전송은 사람이 검토하는 통제 구조가 중요하다.

🕒 시간순 섹션별 상세정리

1. 모델을 교체할 수 있는 음성 기반 AI 비서

• Jarvis는 일정 확인과 송장 작성, 이메일·로컬 파일 접근 같은 비서 업무를 수행하며, Anthropic API와 OpenRouter를 통해 여러 AI 모델을 두뇌로 사용할 수 있다. [01:04]
• 핸즈프리 모드에서 음성 명령으로 모델을 Fable 5로 바꾸자 응답 모델과 화면 색상·스킨이 함께 변경된다. [01:54]
• Jarvis에 전화번호를 연결하면 식당 예약, 업체 가격 확인 같은 외부 통화를 대신 수행할 수 있고, 세 명의 저녁 식사 예약 요청도 음성 명령으로 시작된다. [02:48]
• 식당과 직접 통화해 오후 7시 세 명의 테이블을 예약한 뒤, 예약자명·보증금 여부·추가 요청 사항을 사용자에게 돌려주고 일정 등록까지 제안한다. [03:48]

2. 캘린더와 외부 업무 도구 연결

• Google Calendar에 접근해 다음 날 오전 10시 일정, 오후 1시 Alex와의 점심, 오후 4시 운동을 확인하며, 회의 전 전화와 사전 준비 안내에도 활용할 수 있다. [04:10]
• Gmail·Google Calendar·Zapier·Canva·Figma·Airtable·Google Drive·Google Docs 연결이 일정 조회와 문서 작업의 기반이며, 필요한 도구를 추가해 자동화 범위를 확장할 수 있다. [04:48]
• Telegram에서 신규 리드 Mike Johnson에게 AI Reputation Build 비용 2,500달러를 청구하라고 지시하면, 고객 기록을 찾아 송장을 만들고 Google Drive 링크를 반환한다. [05:20]
• 리드 테이블의 서비스·제안서·상태 정보와 AI Second Brain의 사업 자료를 결합해 짧은 명령만으로 정확한 금액과 서비스 설명을 채우며, 기존 3,400달러 항목과 새 2,500달러 청구를 구분한다. [06:08]

3. 사람의 승인과 화면 기반 브라우저 작업

• 이메일 답장은 자동 발송하지 않고 초안으로만 생성되며, 사용자가 내용을 검토하고 전송 버튼을 눌러야 실제 발송되는 안전장치를 둔다. [07:24]
• 화면 공유 중 YouTube 채널을 인식해 채널명, 구독자 15만 3천 명, 영상 326개, 배너 문구와 커뮤니티 링크를 화면 정보에서 파악한다. [08:16]

4. 무료 제작 가이드와 완성형 배포판

• 첫 번째 Jarvis를 직접 만들 수 있는 단계별 가이드와 프롬프트 팩은 AI Workshop Lite 무료 커뮤니티에서 제공되며, 설명란 링크를 통해 가입할 수 있다. [08:49]
• 무료 자료에는 여러 Jarvis 버전과 AI Second Brain 구축 자료가 포함되고, 유료 커뮤니티에서는 음성·도구·전체 기능이 연결된 Jarvis 버전 6과 기술 지원을 제공한다. [09:09]

5. 무료 자료 접근 경로와 제작 준비물

• AI Workshop Lite의 Classroom에서 YouTube Resources로 이동하면 Jarvis 프롬프트 팩과 여러 버전을 무료로 이용할 수 있다. [09:14]
• 직접 제작하려면 Claude Code, Google Chrome, Anthropic API 키가 필요하며 자세한 지침도 함께 제공된다. [10:20]
• Classroom에는 이전 영상에서 소개한 다양한 AI 프로젝트를 비롯한 추가 제작 자료도 마련되어 있다. [10:27]

6. 후속 AI 비서 제작 예고와 마무리

• 직접 만들 사람은 무료 커뮤니티의 가이드와 프롬프트를, 완성된 버전을 원하는 사람은 유료 커뮤니티를 선택할 수 있다고 정리한다. [10:40]
• 앞으로 더 많은 AI 직원과 AI 비서를 제작하고 무료 자료도 제공할 예정이라며 좋아요와 구독을 요청한다. [10:45]
• 시청자에게 감사를 전하고 다음 영상에서 다시 만나겠다는 인사로 영상을 마친다. [10:55]

🧾 결론

• JARVIS의 핵심은 하나의 거대 모델이 아니라 음성 인터페이스, 업무 데이터, 외부 도구, 화면 조작을 하나의 실행 흐름으로 묶는 데 있다.
• 반복 입력을 줄이고 기존 고객 정보와 문서 양식을 재사용하면 짧은 명령도 실제 업무 결과물로 확장될 수 있다.
• 이메일 발송과 결제 요청처럼 민감한 작업에는 사람이 최종 결과를 검토하고 승인하는 통제 구조가 필요하다.

📈 투자·시사 포인트

• 개인 AI 비서의 경쟁력은 모델 성능뿐 아니라 캘린더, 이메일, 문서, 전화, 브라우저를 얼마나 안정적으로 연결하는지에 좌우될 가능성이 크다.
• 기존 업무 데이터와 양식을 활용하는 에이전트는 개인과 소규모 사업자의 반복 업무를 줄이는 실용적 자동화 수요를 보여준다.
• 무료 구축 가이드와 유료 완성형 배포판을 병행하는 방식은 교육 콘텐츠, 소프트웨어 구성, 기술 지원을 결합한 사업 모델의 가능성을 시사한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 영상은 주요 기능의 작동 사례를 보여주지만, 장기간 사용했을 때의 오류율이나 전화·문서·브라우저 작업의 성공률은 제시하지 않는다.
• 이메일, 고객 정보, 로컬 파일, 캘린더에 접근할 때 적용되는 권한 범위와 데이터 보관·보안 방식은 구체적으로 설명되지 않는다.
• Anthropic API, OpenRouter, 전화 연결 및 외부 도구 사용에 따른 전체 운영 비용과 사용량별 비용은 확인이 필요하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 일정 확인, 고객 조회, 송장 작성처럼 반복 빈도가 높은 업무를 목록화하고 JARVIS에 연결할 우선순위를 정한다.
• Google Calendar나 제한된 로컬 폴더처럼 상대적으로 민감도가 낮은 도구부터 연결해 결과의 정확성을 검증한다.
• 이메일 발송, 결제 요청, 고객 정보 변경에는 반드시 사용자 승인 단계를 유지한다.
• 직접 구축할 경우 Claude Code, Google Chrome, Anthropic API 키를 준비하고 무료 단계별 가이드와 프롬프트 팩을 검토한다.

❓ 열린 질문

• 여러 모델을 전환할 때 작업 맥락과 도구 실행 상태는 어느 범위까지 일관되게 유지되는가?
• 전화 예약이나 브라우저 조작이 실패했을 때 JARVIS는 오류를 어떻게 감지하고 사용자에게 복구 선택지를 제공하는가?
• 무료 자료로 구축한 버전과 유료 Jarvis 버전 6는 기능 연결성, 안정성, 기술 지원에서 구체적으로 어떤 차이가 있는가?