My AI Agent Lives OUTSIDE My Computer

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

My AI Agent Lives OUTSIDE My Computer를 중심으로, 외장 장치가 화면을 읽고 입력을 전달한다. Violoop은 Mac에 키보드·마우스로 인식되며, 발표자는 이를 두뇌가 달린 KVM으를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 외장 장치가 화면을 읽고 입력을 전달한다. Violoop은 Mac에 키보드·마우스로 인식되며, 발표자는 이를 두뇌가 달린 KVM으로 설명한다.
2. 권한 대화상자 조작을 시연했다. 발표자의 설명에 따르면 macOS가 제한하는 소프트웨어 기반 입력과 달리, 이 장치는 하드웨어 입력 경로를 이용해 사용자가 요청한 허용 버튼을 눌렀다.
3. 파일 삭제는 사용자 확인을 기다렸다. AI가 삭제 대상을 골라도 실행 여부는 사람이 결정했으며, 확인 키와 입력 제어를 별도 칩이 담당한다는 설명은 독립 검증되지 않았다.
4. 추론 모델과 비용을 선택할 수 있다. 발표자는 자체 장비의 DeepSeek를 연결했고, 작업별 모델 배분과 실행 위치·토큰·비용 기록을 소개했다.
5. 작동한 기능과 미확인 기능의 차이가 크다. 페이지 감시 작업은 생성됐지만 실제 알림 도착은 확인되지 않았고, 반복 작업을 보고 먼저 자동화를 제안하는 기능은 시험 기기에서 한 번도 작동하지 않았다.

🧩 배경과 문제 정의

영상은 사용자가 자리를 비운 상황에서 Mac의 권한 대화상자를 AI가 처리할 수 있는지 묻는 시연으로 시작한다. 발표자는 일반적인 데스크톱 에이전트의 소프트웨어 입력이 보안·개인정보 대화상자에서 제한된다고 설명하며, 외장 하드웨어 입력을 사용하는 Violoop을 대안으로 소개한다.

이 접근은 화면을 지속적으로 읽는 장치에 무엇을 맡길지라는 문제도 만든다. 영상은 모델을 로컬 장비에서 선택해 실행하는 방식, 삭제 전 사용자 확인, 화면 데이터 처리에 관한 제조사 설명을 제시하면서 직접 관찰한 기능과 검증하지 못한 주장을 구분한다. 제조사가 후원하고 제공한 V3 베타 기기가 주된 시연 대상이며, 후반에는 V4 소음에 관한 짧은 편집자 확인이 추가된다.

🕒 시간순 섹션별 상세정리

1. 컴퓨터 밖에서 권한 버튼을 누르는 AI

• Terminal의 Finder 접근 요청을 보여준 뒤, 발표자가 허용을 지시하자 직접 손을 대지 않은 상태에서 버튼이 눌리는 장면을 제시한다. [00:20]
• Violoop은 전원과 USB-C로 연결하고 필요하면 HDMI를 별도로 사용할 수 있는 장치다. Mac에는 키보드·마우스로 인식되며 화면을 보고 요청한 작업을 수행한다고 보여준다. [01:01]
• 되돌릴 수 없는 작업 전 확인 키를 기다린다고 소개한 뒤, 화면을 지켜보는 장치에 대한 개인정보 우려를 직접 제기한다. [01:26]

2. 모델 선택과 메모리, 후원 조건

• 컴퓨터 앱에서 모델을 지정하며, 여러 공급자와 사용자 API 키·커스텀 모델을 지원한다고 보여준다. 발표자는 OpenAI 호환 API를 통해 자체 AI 장비의 DeepSeek V4 Flash를 연결했다. [02:04]
• 업무·사람·화면에서 본 내용을 메모리로 축적하고, 사용자가 이를 읽거나 삭제할 수 있으며 개념 간 연결도 보여준다고 보여준다. [02:16]
• 제조사 후원과 기기 제공을 공개한다. 시험 기기는 V3이고 V4는 9월 15일 Kickstarter에서 시작한다고 안내하지만, 해당 날짜의 연도는 언급하지 않는다. [02:30]

3. 소프트웨어 입력과 하드웨어 입력의 차이

• 발표자는 일반적인 Mac 에이전트가 화면 기록과 손쉬운 사용 권한을 이용하고, macOS Mojave 이후 보안·개인정보 대화상자를 겨냥한 소프트웨어 클릭은 거부된다고 보여준다. [03:17]
• Terminal의 Finder 접근 요청을 다시 승인하도록 지시하고, Violoop 커서가 허용 버튼을 누르는 장면을 보여준다. [03:57]
• 기존 키보드형 장치와 원격 KVM도 언급한다. Violoop의 새로움은 화면 내용을 해석해 사용자가 뜻한 버튼을 판단하는 부분이라고 보여준다. [04:22]

4. 파일 삭제와 페이지 감시 작업

• 열린 Finder에서 한 달보다 오래된 파일을 삭제하라고 요청하자, 장치는 대상을 판단한 뒤 멈춘다. 발표자가 확인한 후 삭제되며, 확인은 앱이나 화면에서도 가능하다고 보여준다. [05:13]
• 확인 키와 키보드 입력을 별도 칩이 담당해 모델 스스로 키를 누를 수 없다고 보여준다. 이는 시연된 대기 동작에 덧붙인 내부 구조 설명이다. [05:31]
• Xcode 베타 다운로드 페이지를 감시하도록 요청해 예약 작업을 생성한다. 발표자는 약 6시간 간격으로 이해하고 있으며, 촬영 당시 베타가 공개되지 않아 실제 알림 수신은 아직 확인하지 못했다. [06:50]

5. 보안 주장과 직접 확인한 사실의 경계

• 장치 내부에 화면을 읽는 모델용 칩과 USB 입력·확인 키를 담당하는 칩이 있다고 보여준다. 제조사는 두 번째 칩의 펌웨어를 공개하겠다고 했지만, 발표자는 클릭과 삭제 전 대기 외의 내부 동작을 검증하지 못했다고 드러낸다. [07:45]
• Microsoft Recall과 비교하며, Violoop은 화면 프레임을 버리고 소량의 텍스트만 저장한다고 보여준다. 이 역시 제조사 주장이라는 단서를 붙인다. [08:21]
• 발표자는 화면 읽기는 장치에서, 추론은 자기 네트워크의 DeepSeek 장비에서 처리하는 구성을 선호한다. 다만 이런 구성 설명 자체가 앞서 미검증이라고 밝힌 데이터 처리 주장을 입증하지는 않는다. [08:47]

6. 비용 관리와 실제 사용 대상, 남은 한계

• 메모리 그래프 처리는 로컬 DeepSeek에, 어려운 작업은 필요에 따라 Claude에 맡기는 모델 배분을 보여준다. 실행 위치·토큰·비용 기록을 확인할 수 있고 클라우드 키에는 일일 한도를 권한다. [09:18]
• V3 베타의 팬 소음은 뚜렷하며, 편집자는 V4가 조용하다고 짧게 확인한다. 발표자는 자리를 비운 컴퓨터를 조작할 필요가 있는 사용자를 주요 대상으로 제시한다. [09:54]
• 반복 작업을 보고 먼저 자동화를 제안하는 기능은 한 번도 작동하지 않았고, 보여준 작업은 모두 사용자가 요청한 것이었다고 정리한다. 이후 사용 의향에 대한 의견을 요청하고 로컬 DeepSeek 관련 영상을 안내하며 마무리한다. [10:58]

🧾 결론

• 영상이 보여준 핵심은 외장 AI 장치가 화면을 해석하고 실제 컴퓨터 입력으로 연결되는 사용 방식이다.
• 권한 버튼 클릭과 삭제 전 대기는 관찰된 동작이다. 화면 데이터 폐기와 칩 분리의 보안 효과까지 입증한 것은 아니다.
• 활용 대상은 자리를 비운 컴퓨터의 조작과 반복 확인 업무를 맡기려는 사용자다. 선제적 자동화까지 기대한다면 후속 검증이 필요하다.
• 제조사 후원 영상이며 주된 시험 기기는 V3 베타다. V4와 향후 소프트웨어에 관한 설명을 같은 수준의 실증 결과로 읽어서는 안 된다.

📈 투자·시사 포인트

• 제품 관점에서는 외장 입력 장치와 화면 이해를 결합하는 방식이 컴퓨터 조작형 에이전트의 차별화 지점으로 제시된다. 다만 영상만으로 시장 규모나 수익성을 판단할 수는 없다.
• 모델 선택권과 작업별 배분은 운영비 관리의 변수다. 로컬 처리와 클라우드 사용을 섞을 수 있지만, 실제 절감액이나 장비 비용을 포함한 비교는 제시되지 않았다.
• 구매 판단에서는 시연된 기능, 제조사 보안 주장, 향후 제공 기능을 나눠 평가할 필요가 있다. 특히 펌웨어 공개와 독립 검증 결과가 신뢰 판단에 중요하다.
• 발표자는 Kickstarter 출시를 안내하지만 가격·납기·판매 실적은 영상에서 확인되지 않는다. 이를 근거로 투자 매력이나 상용화 성과를 단정하기 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• 화면 프레임이 장치에서 처리된 뒤 삭제되고 외부로 나가지 않는다는 내용은 제조사 주장이다. 발표자는 직접 감사하거나 검증하지 못했다고 명시한다.
• 별도 칩이 확인 키와 USB 입력을 통제한다는 구조, 해당 펌웨어의 공개 여부와 실제 보안 효과는 영상에서 독립적으로 확인되지 않았다.
• 삭제 확인은 앱과 화면에서도 가능하다고 설명한다. 물리 키와 소프트웨어 확인 경로가 어떻게 연결되고 보호되는지는 명확하지 않다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 도입 전 시험용 환경에서 권한 승인, 대상 파일 선택, 삭제 전 대기를 각각 재현하고 결과를 기록한다.
• 물리 키·앱·화면을 통한 승인 조건을 확인하고, 전송·삭제·게시가 어떤 기준으로 차단되는지 점검한다.
• 모델별 데이터 전달 범위와 메모리 저장 내용을 확인하고, 열람·삭제 기능을 직접 시험한다.
• 클라우드 모델을 연결한다면 일일 사용 한도를 설정하고 실행 기록의 토큰·비용을 확인한다.

❓ 열린 질문

• 별도 칩은 삭제·전송·게시처럼 되돌리기 어려운 작업을 어떤 방식으로 식별하며, 앱 승인 경로에도 같은 통제를 적용하는가?
• 화면에서 추출한 텍스트와 장기 메모리 중 어떤 정보가 선택한 모델로 전달되며, 클라우드 모델을 사용할 때 범위가 어떻게 달라지는가?
• V4와 업데이트된 소프트웨어에서는 선제적 자동화가 얼마나 일관되게 작동하는가?