I Gave JARVIS Full Control of My Computer (INSANE Results!)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

JARVIS에 컴퓨터 화면 제어를 맡기자 광고 초안 작성과 UI 안내를 수행했으며, 작업은 음성으로 설명하고 최종 게시 결정은 사용자에게 남겼다.

📌 핵심 요점

1. JARVIS는 공유된 화면에서 버튼 위치를 찾아 화살표로 안내한다. 인스타그램 릴스 생성 위치를 묻자 왼쪽 사이드바의 더하기 아이콘을 짚었다.
2. 메타 광고 시연에서는 캠페인·광고 세트 이름을 입력하고 웹사이트 유입 설정을 진행했다. 일일 예산은 기본값인 20달러를 유지했으며, 관심사 설정 도중 사용자가 중단했다.
3. 화면 조작에는 실시간 음성 설명이 붙는다. 사용자는 말로 작업을 멈추고 제어권을 회수할 수 있으며, 시연 결과는 게시되지 않은 초안으로 확인됐다.
4. 정리된 업무 파일을 장기 기억처럼 활용한다. 커뮤니티 퍼널 자료를 검색하고, 텔레그램 요청과 고객 기록을 바탕으로 2,500달러 청구서를 생성해 구글 드라이브 링크로 제공했다.
5. 제작자는 무료 커뮤니티의 프롬프트 팩과 유료 커뮤니티의 설치용 ZIP·지원을 구분해 소개한다. 전화 기능은 Vapi AI와 Twilio를 사용한다고 설명하지만, 이번 영상에서 실제 통화 시연은 하지 않는다.

🧩 배경과 문제 정의

제작자는 복잡한 메타 광고 설정을 진행할 때 화면을 캡처해 Claude에 보내고 다음 행동을 묻는 과정을 반복했다고 설명한다. JARVIS의 화면 공유·제어 기능은 이 수동 왕복을 줄이고, 버튼 위치 안내에서 실제 클릭과 입력까지 이어지도록 만든 개인 비서 기능이다.

기존 메일·일정·파일·전화 연결에 화면 조작을 더하고, 작업을 음성으로 설명하도록 구성했다. 또 컴퓨터에 정리된 업무 기록을 ‘AI 세컨드 브레인’으로 활용해 자료 검색과 문서 생성에 필요한 맥락을 제공한다. 영상은 기능 시연과 제작 자료·유료 커뮤니티 소개를 함께 담고 있다.

🕒 시간순 섹션별 상세정리

1. 화면을 조작하는 개인 비서 소개

• 도입부에서 JARVIS가 광고 생성 화면을 조작하고 잠재고객 목표를 선택하는 장면을 보여준다. [00:21]
• 제작자는 메일·일정·전화 기능에 화면 제어와 음성 설명을 추가했으며, 제작용 프롬프트 팩을 무료로 제공한다고 보여준다. [01:03]
• Gmail, Google Calendar, Google Drive와 전화 연결을 설명한 뒤, 이번 영상의 중심을 화면 공유 기능으로 좁힌다. [01:38]

2. 인스타그램에서 버튼 위치 안내

• 화면을 공유한 뒤 새 릴스를 만드는 버튼 위치를 묻자, JARVIS는 왼쪽 사이드바의 더하기 아이콘과 다음 메뉴를 안내한다. [02:11]
• 제작자는 화면에 표시되는 화살표가 사용자가 찾는 버튼 위치를 명확히 알려준다고 보여준다. [02:54]
• JARVIS가 대화 중 의견을 덧붙이며, 제작자는 배경에서 계속 듣고 있다고 보여준다. [03:13]

3. 메타 광고 캠페인 생성 시작

• 제작자는 복잡한 메타 광고 설정을 대신 진행하도록 요청하고, 무료 커뮤니티로 유입을 보내는 새 캠페인을 맡긴다. [03:48]
• JARVIS는 광고 관리자에서 수동 트래픽 캠페인 설정으로 들어가 캠페인 이름을 입력한다. [04:23]
• 광고 세트 이름을 정하고 전환 위치를 웹사이트로 선택하며, 랜딩 페이지 조회수 최적화 설정을 유지한다. [04:48]

4. 예산과 대상 설정 중 사용자 개입

• 예산 항목을 찾기 위해 화면을 반복해서 스크롤하고, 일일 기본 예산 20달러를 테스트 출발점으로 보고 유지한다. [05:13]
• 대상 설정에서 최소 연령 18세를 확인하고 AI 기술 관심사를 추가하려고 상세 타기팅 항목으로 이동한다. [05:42]
• 사용자가 중단을 요청해 제어권을 가져온다. 제작자는 광고가 게시되는 것을 원하지 않아 멈췄다고 보여준다. [05:51]

5. 음성 설명과 최종 결정권

• 제작자는 작업 중 무엇이 진행되는지 알 수 있도록 음성 설명을 넣었으며, 말로 중단하고 직접 수정할 수 있다고 보여준다. [06:22]
• JARVIS는 클릭뿐 아니라 텍스트 입력도 수행한다. 제작자는 결과물을 초안으로 만들고 최종 결정은 사용자에게 남기는 설계라고 드러낸다. [07:13]
• JARVIS도 돈을 쓰는 버튼 앞에서 멈추고 마지막 클릭은 사람이 한다는 원칙을 보여준다. [07:25]

6. 초안 확인과 개발 동기

• 화면 공유를 종료하자 JARVIS가 화면을 더 볼 수 없다고 설명하고, 광고 세트가 20달러 예산의 미게시 초안으로 남아 있음을 확인한다. [07:59]
• 제작자는 과거 메타 광고를 설정할 때 스크린샷을 Claude에 반복해서 보내야 했으며, 그 과정을 대신하도록 기능을 만들었다고 보여준다. [08:38]
• 업무 파일과 폴더를 정리해 JARVIS가 검색할 수 있는 AI 세컨드 브레인으로 활용하는 구조를 보여준다. [09:11]

7. 커뮤니티 퍼널과 업무 기억 검색

• 무료 커뮤니티 퍼널 자료를 요청하자 JARVIS가 파일에서 정보를 가져오고, 필요하면 읽어주겠다고 응답한다. [09:39]
• 제작자는 유튜브 유입, 이메일 전환 경로, 관련 소셜 게시물이 연결된 노트를 보여준다. [10:01]
• 향후 광고 기록을 추가하면 지출·지표를 물어볼 수 있다고 설명하고, 외부에서도 텔레그램으로 자료 검색이나 문서 생성을 요청할 수 있다고 보여준다. [11:02]

8. 고객 기록을 활용한 청구서 생성

• 텔레그램에서 Mike Johnson의 2,500달러 청구서 생성과 결제 알림 이메일을 요청한 사례를 보여주며, JARVIS는 고객을 찾았다는 음성 응답을 보낸다. [11:24]
• 고객 기록을 활용해 생성한 청구서와 구글 드라이브 링크를 보여주고, 드라이브·문서·스프레드시트 연결을 보여준다. [12:22]
• 제작자는 청구서 세부 내용이 장기 기억과 고객 기록에서 왔다고 보여준다. 영상에서는 이메일 발송 완료까지 확인되지는 않는다. [13:12]

9. 전화 연결과 인증 설명

• Vapi AI를 통한 전화 기능과 Twilio에서 구매한 번호를 보여준다. 식당 예약 통화는 이전 영상의 시연으로 언급한다. [13:40]
• 이동 중 전화로 고객 정보를 요청할 수 있으며, PIN 확인에 성공해야 정보를 제공하고 그렇지 않으면 통화를 종료한다고 보여준다. [14:18]
• 양식 작성 등 다른 화면 작업도 가능하다고 소개한 뒤, 기능 제작용 프롬프트 팩 안내로 넘어간다. [14:54]

10. 무료 자료와 유료 배포 안내

• 무료 커뮤니티의 교실·유튜브 자료에서 기존 프롬프트 팩을 찾을 수 있으며, 새 화면 제어 관련 팩도 추가할 예정이라고 보여준다. [15:40]
• 유료 커뮤니티에서는 JARVIS 버전 6 설치용 ZIP과 기능 자료를 내려받고 제작자·팀의 도움을 받을 수 있다고 안내한다. [16:17]
• 소셜 게시물과 자동 DM을 담당하는 AI 직원 ‘스파크’의 후속 영상을 예고하고, 커뮤니티 안내와 시청 인사로 마무리한다. [16:46]

🧾 결론

• 이번 시연의 핵심은 화면 인식, 클릭·입력, 음성 설명을 하나의 개인 비서 경험으로 묶었다는 점이다.
• 광고 작업은 설정 도중 중단됐고 초안 상태가 확인됐다. 광고 집행 완료나 성과 개선까지 입증한 사례는 아니다.
• 업무 파일에 담긴 맥락을 검색할 수 있어야 고객 설명을 반복하지 않고 청구서 같은 결과물을 만들 수 있다.
• 사용자가 작업을 이해하고 중단하며 최종 결정을 내리는 구조가 제작자가 강조하는 운영 원칙이다.

📈 투자·시사 포인트

• 업무 도구의 접근성을 높이는 방향이 드러난다. 복잡한 광고 화면을 익히는 대신, 사용자가 목표를 말하면 비서가 설정을 진행하는 방식이다.
• 도구 연결과 업무 기록의 정리가 함께 중요해진다. 영상에서는 화면 제어뿐 아니라 고객 기록 검색과 문서 생성의 결합이 실용성을 만든다.
• 음성 설명·중단·최종 승인 기능은 실행형 AI의 제품 설계에서 살펴볼 요소다. 다만 이 영상만으로 통제 장치의 신뢰성을 평가할 수는 없다.
• 무료 제작 자료와 유료 설치 파일·지원을 결합한 판매 구조가 제시된다. 매출, 운영 비용, 이용자 유지율은 공개되지 않아 사업성 판단은 제한된다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제목의 ‘Full Control’과 달리 확인된 범위는 공유 화면의 특정 작업과 연결 도구 활용이다. 모든 프로그램에서 동일하게 작동하는지는 확인되지 않는다.
• 도입부에서는 잠재고객 목표를 선택하지만 본 시연은 트래픽 캠페인으로 진행된다. 두 장면을 하나의 연속된 설정 과정으로 해석하기 어렵다.
• 제작자는 최종 게시를 하지 않는다고 설명하지만, 실제 광고 시연에서는 사용자가 먼저 중단했다. 자동 게시 방지 장치의 구현과 예외 처리는 공개되지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 무료 커뮤니티의 교실 → 유튜브 자료에서 프롬프트 팩 제공 여부와 필요한 설치 조건을 확인한다.
• 버튼 위치 안내와 초안 입력처럼 결과를 쉽게 확인할 수 있는 작업으로 화면 제어 기능을 시험한다.
• 음성 중단과 제어권 회수가 작동하는지 확인하고, 게시·지출 직전 멈추는 동작을 별도로 검증한다.
• 광고 초안의 캠페인 목표, 목적지, 일일 예산, 대상 설정을 직접 검토한다. 시연의 20달러 기본값을 자신의 적정 예산으로 간주하지 않는다.

❓ 열린 질문

• UI가 바뀌거나 예상치 못한 창이 나타날 때 JARVIS는 오류를 어떻게 감지하고 복구하는가?
• 최종 게시·지출을 막는 제약은 어떤 계층에서 적용되며, 화면 조작과 연결 도구 모두에 동일하게 적용되는가?
• 업무 파일의 정보가 오래됐거나 서로 충돌하면 어떤 기록을 우선하는가?