🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

My AI Called a Restaurant (Real Recording)를 중심으로, 자비스는 식당의 오후 7시 예약이 불가능하자 제안받은 오후 8시를 임의로 확정하지 않고, 사용자 승인을 받은 뒤 다시 전화해 예약를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 자비스는 식당의 오후 7시 예약이 불가능하자 제안받은 오후 8시를 임의로 확정하지 않고, 사용자 승인을 받은 뒤 다시 전화해 예약을 완료했다.
2. 정비소 문의에서도 가격·오일 종류·가능 시간을 확인한 후 예약을 보류했으며, 승인 이후 재통화해 차량 입고 조건까지 확정했다.
3. 전화 결과는 캘린더 일정과 알림 생성으로 이어져, 통화가 단순 정보 전달이 아니라 후속 업무 실행의 출발점이 됐다.
4. 전용 핫라인은 인증 코드 통과 후에만 로컬 세컨드 브레인의 고객·일정 정보를 제공하고, 잘못된 코드가 반복되면 접근을 거부했다.
5. Telegram, Google Sheets, Google Drive, Gmail을 연결하면 고객 조회, 신규 리드 등록, 견적서 생성과 장기 기억 저장까지 하나의 업무 흐름으로 확장할 수 있다.

🧩 배경과 문제 정의

로컬 컴퓨터에 저장된 AI 세컨드 브레인만으로는 외부 업체에 직접 전화하거나 이동 중 고객·일정 정보를 조회하기 어렵다. 실제 예약은 질문 응답, 대안 확인, 사용자 승인, 재통화, 일정 기록이 이어지는 연속 업무이며, 전화로 로컬 정보에 접근할수록 호출자 인증과 민감 정보 차단이 중요해진다.

🕒 시간순 섹션별 상세정리

1. 식당 예약과 대체 시간 승인

• 자비스는 세 명이 오후 7시에 식사할 수 있는지 식당에 전화하고 예약자 이름을 주베어로 전달한다. [00:22]
• 식당이 오후 8시를 대안으로 제시하자 자비스는 임의로 확정하지 않고 사용자 승인을 받기 위해 통화를 종료한다. [00:37]
• 사용자가 오후 8시를 승인한 뒤 자비스가 다시 전화해 같은 이름으로 예약을 확정한다. [00:52]

2. 로컬 AI를 전화 가능한 개인 비서로 확장

• 전화번호를 부여받은 자비스는 업체 예약뿐 아니라 긴급 전화, 문자, 음성 메모까지 처리할 수 있다. [01:09]
• 로컬 세컨드 브레인에 모인 사업 기술·도구·폴더·파일을 전화번호를 통해 컴퓨터 밖에서도 활용할 수 있다. [02:13]

3. 정비소에 가격과 예약 가능 시간 문의

• 자비스는 2019년형 메르세데스-벤츠 C300의 오일 교환 가격과 가장 빠른 시간을 문의하되 첫 통화에서는 예약하지 않는다. [03:08]
• 오일 등급에 특별한 선호가 없다고 답하고 정비소의 권장 제품을 확인해 합성유 교환 가격 157달러를 받는다. [04:33]
• 가장 빠른 시간인 월요일 오후 1시와 가격을 다시 읽어 주며 정보가 정확한지 확인한다. [04:51]

4. 사용자 승인 후 정비 예약 확정

• 자비스는 157달러와 월요일 오후 1시라는 결과를 사용자에게 전달하고 실제 예약은 승인 전까지 보류한다. [05:19]
• 승인 후 정비소에 다시 전화해 협의된 시간을 예약하고 요청받은 주베어의 철자를 하나씩 전달한다. [06:24]
• 예약을 마친 뒤 차량은 오전 8시부터 10시 사이에 맡길 수 있고 별도 준비물은 없다는 조건까지 확인한다. [06:52]

5. 전화 예약과 캘린더 도구 연결

• 자비스는 예약 완료 후 캘린더 일정과 알림 생성을 먼저 제안해 통화 결과를 후속 업무로 연결한다. [07:17]
• 도구 접근 권한을 확인한 뒤 월요일 8시 12분에 차량 입고 일정을 생성하고, 캘린더 화면에는 오전 8시부터 10시까지 일정이 표시된다. [07:54]
• Gmail과 Google Sheets를 비롯한 도구 권한도 추가할 수 있어 통화 이후의 기록과 실행을 이어갈 수 있다. [08:30]

6. 외부에서 사용하는 보안 핫라인 구성

• 이동 중 전용 번호로 자비스를 호출해 고객·사업 정보를 조회할 수 있지만 신용카드와 개인정보는 응답 대상에서 제외한다. [08:50]
• 예약용 에이전트와 핫라인용 에이전트는 서로 다른 지시와 변수를 사용하며, 핫라인은 인증 후에만 로컬 정보에 접근한다. [09:46]
• Twilio에서 구매한 샌프란시스코 베이 지역의 실제 번호를 이용해 일반 전화망에서 통화를 주고받는다. [10:19]

7. 인증 후 고객 정보와 일정 조회

• 핫라인은 연결 직후 인증 코드를 요구하고 올바른 코드 4435가 입력된 뒤에만 세컨드 브레인 접근을 허용한다. [10:45]
• 마이크 존슨이 오일 교환점을 운영하며 3,400달러짜리 AI 접수 시스템을 검토 중인 주요 잠재 고객이라는 정보를 불러온다. [11:39]
• 다음 날 오후 1시 업무 블록, 오후 4시 존과의 점심, 오후 6시 운동 일정을 찾아 이동 중에도 시간표를 알려준다. [12:23]

8. 잘못된 코드 차단과 미인증 통화 알림

• 잘못된 코드 1123을 입력하면 어떤 정보도 제공하지 않고 올바른 인증 코드를 다시 요구한다. [13:19]
• 두 번째 시도에서도 같은 코드를 입력하자 접근을 계속 거부하고 통화를 종료해 무제한 추측을 막는다. [13:38]
• 통화 후에는 미인증 호출자가 코드 검사를 통과하지 못해 메시지와 지시를 받지 못했다는 상태가 반환된다. [14:49]

9. Telegram 상호작용과 고객 정보 조회

• 사용자는 Telegram에서 텍스트나 음성으로 요청할 수 있고, Jarvis는 음성 응답과 미처리 일정 상태를 같은 채널로 돌려준다. [16:14]
• Mike Johnson의 정보를 찾을 때 로컬 파일을 먼저 검색하고, 정보가 없으면 Google Sheets와 연결된 다른 도구까지 조회한다. [17:12]
• 반환된 업종·전화번호·이메일 누락·견적 기록은 원본 리드 테이블의 필드와 일치한다. [18:18]

10. 신규 리드 등록과 맞춤형 견적 자동 생성

• John Doe의 연락처와 AI 평판 관리 서비스 정보를 입력해 2,500달러 견적 생성과 리드 등록을 한 번에 요청한다. [18:47]
• Google Drive의 견적서는 Docs에서 수정할 수 있으며 두 개의 항목과 착수금 50%, 납품 시 잔금 50% 조건을 담는다. [19:33]
• 신규 고객과 견적 정보가 세컨드 브레인의 장기 기억에 저장돼 이후 질문에서 관련 기록을 다시 회수할 수 있다. [20:13]

11. 무료 자료를 활용한 자체 구축 경로

• 유사한 시스템에는 AI 세컨드 브레인과 전화번호 접근 권한이 필요하며, 무료 AI Workshop Light에서 기본 모듈과 프롬프트를 이용할 수 있다. [21:26]
• 무료 전화 프롬프트 팩은 예약·문의·접수·청구서 음성 에이전트와 보안 설정을 제공하지만 전화 실행용 별도 서비스 계정이 필요하다. [22:04]

12. 완성형 배포 패키지와 향후 확장

• 무료 커뮤니티 자료로 자체 구축할 수 있지만 시연 수준의 완성형 Jarvis는 유료 AI 비서·AI 직원 과정에서 제공된다. [22:32]
• 도구 연동 버전 5에 이어 버전 6에는 전화 기능이 추가되며 ZIP 파일, 설치 지침, 단계별 가이드, 상세 데모와 기술 지원이 포함된다. [23:05]
• 향후에는 개인 비서에서 비즈니스 친화적인 업무 비서로 확장할 예정이며 추가 기능에 관한 질문과 의견을 댓글로 받는다. [23:47]

🧾 결론

• 이 시연의 핵심은 AI가 자연스럽게 말한다는 점보다 전화, 대안 확인, 사용자 승인, 재통화, 기록을 연속적으로 처리한다는 데 있다.
• 실제 예약처럼 외부에 영향을 주는 행동은 사용자 승인을 경계로 분리함으로써 편의성과 통제 가능성을 함께 확보했다.
• 전화번호와 Telegram은 로컬 세컨드 브레인의 활용 범위를 컴퓨터 밖으로 넓히고, 캘린더와 고객 관리 도구는 통화 결과를 실행 가능한 업무 기록으로 바꾼다.
• 반면 고객·사업 정보에 음성 채널로 접근하는 구조에서는 인증, 권한 분리, 민감 정보 차단이 기능 자체만큼 중요하다.

📈 투자·시사 포인트

• 음성 AI의 실용적 가치는 통화 품질만이 아니라 승인 대기, 재통화, 도구 연동, 결과 저장을 포함한 업무 오케스트레이션에서 형성될 수 있다.
• 예약·문의·접수·청구서처럼 반복되는 소규모 사업 업무는 전화 에이전트를 적용하기 쉬운 초기 활용 영역으로 제시된다.
• 무료 프롬프트와 자체 구축 경로가 존재하더라도, ZIP 패키지·설치 지침·상세 가이드·기술 지원을 묶은 완성형 배포가 별도의 상품 가치가 될 수 있다.
• 고객 데이터와 캘린더를 연결하는 제품은 인증 실패 처리, 민감 정보 제외, 도구별 권한 통제가 도입 판단의 핵심 기준이 될 가능성이 크다.

⚠️ 불확실하거나 확인이 필요한 부분

• 영상은 식당과 정비소의 성공적인 시연을 중심으로 하므로 통화 끊김, 배경 소음, 복잡한 억양, 잘못 알아들은 정보가 발생했을 때의 복구 성능은 확인되지 않는다.
• 인증 시연은 고정 코드 입력과 두 차례의 실패 차단을 보여주지만, 코드 노출 이후의 교체·폐기 방식이나 추가 인증 계층의 구체적인 구현은 제시되지 않는다.
• 차량 입고 일정을 월요일 8시 12분에 생성했다는 설명과 캘린더에 오전 8시부터 10시까지 표시됐다는 설명의 관계는 실제 일정 데이터에서 재확인필요가 있다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 예약용 에이전트와 정보 조회용 핫라인 에이전트의 지시, 변수, 도구 권한을 분리한다.
• 예약·견적 발송처럼 외부 약속이나 비용을 발생시키는 행동은 명시적인 사용자 승인 전까지 보류하도록 설정한다.
• 인증 코드의 교체·폐기, 실패 횟수 제한, 미인증 통화 알림을 정의하고 신용카드·개인정보를 응답 금지 항목으로 지정한다.
• 통화에서 확인한 가격, 시간, 이름 철자와 캘린더에 기록된 내용을 실행 직전에 다시 대조한다.

❓ 열린 질문

• 업체가 예약 조건을 바꾸거나 통화가 중간에 끊겼을 때 에이전트는 기존 상태와 재통화 결과를 어떻게 조정하는가?
• 인증 코드를 분실하거나 노출했을 때 사용자는 어떤 절차로 접근 권한을 즉시 철회하고 새 코드를 발급하는가?
• 로컬 파일, Google Sheets, 캘린더 등 여러 정보원이 서로 다른 내용을 반환하면 어느 데이터를 우선하며 사용자에게 충돌을 어떻게 알리는가?