Claude Watches My Screen Every 5 Seconds to Know What to Automate Next..

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Claude가 5초마다 화면을 관찰해 다음 자동화 후보를 찾게 하되, 실제 실행은 업무별 검증과 사람의 승인 기준을 거쳐 맡기는 것이 영상의 핵심이다.

📌 핵심 요점

1. 자동화의 출발점은 실제 업무 파악이다. 발표자는 직무 설명이나 기억에 의존하는 인터뷰 대신, 화면 관찰로 반복 작업과 소요 시간을 발견하자고 제안한다.
2. 관찰과 분석을 분리한다. 백그라운드 앱이 5초마다 화면을 캡처하고 변화가 없으면 건너뛰며, Haiku가 활동을 한 줄로 기록한다. 하루가 끝나면 Opus가 이미지 대신 이 텍스트를 읽어 업무·빈도·대략적인 시간을 정리한다.
3. 발견한 업무는 자동 실행, AI 초안 후 사람 승인, 사람이 직접 수행하는 세 부류로 나눈다. 고객 관계나 돈에 영향을 주는 작업에는 사람의 검토를 남기고, 새로운 상황과 사업 방향에 대한 판단도 사람이 맡는다.
4. 자동화 적합성은 입력의 명확성, 출력의 예측 가능성, 규칙의 단순성, 반복 빈도로 판단한다. 네 조건을 충족해도 고객이나 금전과 관련되면 승인형 업무로 분류한다.
5. 실무 투입 전 과거 사례로 검증해야 한다. 후원 이메일 초안은 목표가 20건 중 18건 통과였지만, 실제 소개된 결과는 기본 프롬프트 4건, 문체 지침 추가 5건, 전체 스킬 적용 6건이었다. 오래된 가격 지침도 오류 원인이어서 해당 업무는 사람 승인 대상으로 남았다.

🧩 배경과 문제 정의

발표자는 서비스 기업에 AI를 도입할 때 가장 어려운 일이 실제 업무의 모습을 파악하는 것이라고 설명한다. 사람들이 말하는 직무 설명과 어제 실제로 한 일은 다를 수 있으므로, 화면 관찰로 반복 작업을 기록해 자동화 후보를 찾자는 접근이다.

영상은 모델 비용 하락과 화면 인식·업무 앱 연결·예약 실행 기능의 확대를 배경으로 제시한다. 전체 흐름은 관찰, 업무 목록 작성, 세 부류로 분류, 과거 사례 검증, 스킬과 커넥터를 통한 실행이다. 도입부의 사업 전체 자동화라는 표현과 함께, 후반부에서는 고객·금전 관련 승인과 사람의 판단을 유지해야 한다는 경계를 구체화한다.

🕒 시간순 섹션별 상세정리

1. 업무를 설명하는 대신 실제 작업을 관찰한다

• 발표자는 100개 이상의 서비스 기업에 AI를 적용했다고 소개하며, Claude가 업무를 관찰하고 위임할 작업을 하나씩 찾는 방식을 제시한다. [00:38]
• 과거 모델과 비교해 화면 인식, Gmail·Slack·Teams·CRM 접근, 클라우드 예약 실행이 가능해졌다고 보여준다. 관찰에 쓰는 모델은 100만 토큰당 0.10달러로, 자신이 제시한 2023년 기준보다 300배 저렴하다고 주장한다. [01:21]
• 직무 설명을 묻는 대신 어제 한 일을 살펴보듯, 일주일 동안 화면을 관찰하면 실제 업무를 더 구체적으로 파악할 수 있다는 논리다. [02:01]

2. Haiku가 기록하고 Opus가 업무를 묶는다

• 백그라운드 앱은 5초마다 화면을 캡처하되 변화가 없으면 건너뛴다. Haiku는 사용 앱, 현재 행동, 작업 목적을 한 줄로 요약하고, Opus는 하루가 끝나면 텍스트만 읽어 업무·빈도·대략적인 시간을 추정한다. [02:58]
• 매일 반복하는 견적 답변이나 매주 CRM 수치를 스프레드시트로 옮겨 고객에게 보내는 일을 자동화 후보로 든다. 발표자는 하루 약 5,500장의 화면을 처리하는 관찰 비용이 자체·고객 테스트에서 1달러 미만이었다고 보여준다. [04:12]
• 민감한 앱과 개인 대화를 캡처 대상에서 제외하고, Haiku 처리 직후 이미지를 삭제하며, 활동 메모는 컴퓨터에 남기는 규칙을 설정할 수 있다고 드러낸다. [04:38]

3. 관찰 앱을 만들고 반복 업무 목록을 확보한다

• Claude Code에 프롬프트를 주어 관찰 앱을 만들 수 있다고 보여준다. 필요한 준비로 API 키와 Mac의 화면 기록 권한을 언급하고, 관련 자료는 자신의 무료 커뮤니티에서 제공한다고 안내한다. [05:13]
• 자신의 사업에서는 후원 이메일, 예약된 통화 조회, AI 뉴스 조사, 뉴스레터, 영업 통화의 제안서 전환 같은 업무가 발견됐다고 보여준다. [05:39]
• 목록에 업무 빈도와 사용 플랫폼을 함께 표시하면 반복 패턴을 볼 수 있다고 보여준다. API 연결이나 화면 제어를 통해 자동화할 수 있는 업무가 있다는 점도 덧붙인다. [06:08]

4. 자동 실행·사람 승인·직접 수행으로 분류한다

• 첫 부류는 절차와 규칙이 일정한 작업이다. 영상 설명란 작성, 콘텐츠 배포 준비, 예약 현황 조회 등을 예로 든다. 두 번째는 Claude가 초안을 만들고 사람이 승인하는 작업으로, 후원 답변·견적·청구서·제안서처럼 고객이나 돈에 영향을 주는 일을 포함한다. [07:28]
• 세 번째는 새로운 상황, 고객 관계, 사업 방향, 가격과 고객 선택처럼 사람이 판단할 일이다. 발표자는 사고와 의사결정까지 AI에 넘기는 태도를 경계한다. [08:06]
• 입력이 명확한지, 출력이 예측 가능한지, 규칙을 말로 설명할 수 있는지, 충분히 자주 발생하는지 묻는다. 네 조건을 충족하면 자동 실행 후보, 고객·금전과 관련되면 승인 대상으로 분류하며, 사람에게는 판단을 남긴다. [09:24]

5. 과거 사례 테스트에서 지침의 결함을 찾는다

• 실무 투입 전에 성공 기준을 정하고 과거 업무로 시험하라고 권한다. 후원 답변은 20건 중 최소 18건 통과를 목표로 삼고, 사칭이나 불명확한 거래 조건 같은 까다로운 사례도 포함한다. [10:07]
• 별도의 새 대화에서 사실을 지어냈는지, 과거와 같은 판단을 했는지, 본인의 문체인지 검사한다. 기본 프롬프트는 4/20, 문체 지침 추가는 5/20, 전체 스킬 적용은 6/20이었고, 전체 스킬에서는 사칭을 잡았지만 오래된 가격 지침이 오류를 만들었다. [11:00]
• 이 사례는 사람 승인 대상으로 유지한다. 자동 실행 후보도 테스트 통과 뒤 일주일간 초안만 만들게 하고, 수정이 거의 없어졌을 때 실행을 맡기라고 제안한다. [11:22]

6. 스킬과 커넥터로 실제 초안 작성을 실행한다

• 후원 이메일을 읽고 가격표와 규칙을 확인해 같은 스레드에 초안을 저장하는 모습을 보여준다. 스킬에는 전체 대화 읽기, 가격표 준수, 이름·거래 조건 창작 금지, 통화 제안 금지, 짧게 쓰기, 초안으로만 저장하기 같은 규칙을 담는다. [12:12]
• 커넥터는 Gmail·Google Drive·Slack·CRM 같은 앱을 Claude에 연결한다. 화면 캡처는 업무 발견에 사용됐고, 시연의 이메일 초안 작성은 Gmail 커넥터로 실행했다고 구분한다. 일반 Claude 채팅에서도 스킬과 커넥터를 사용할 수 있다고 보여준다. [12:42]
• 화면 관찰은 하루 시작 시 자동으로 켜거나 수동으로 시작할 수 있다고 안내한다. AI 신제품 발표 뒤 X에서 자료를 모으고 다른 영상과 의견을 살피는 자신의 조사 흐름도 관찰 대상으로 예시한다. [13:20]

7. 업무 진단의 사업화와 서비스 안내로 마무리한다

• 다른 기업을 대상으로 일주일간 관찰하고 업무를 세 부류로 정리한 목록을 제공하는 진단 자체를 판매할 수 있다고 제안한다. 이후 발견한 병목과 자동화 기회를 구축 계약으로 연결하는 방식이다. [13:40]
• 자신의 AI 사업 멘토링과 기업 대상 도입 서비스를 홍보하고, 100개 이상 기업에 적용했다는 주장을 다시 제시한다. 이 부분은 서비스 이용을 유도하는 안내다. [14:17]
• 회사 전체가 Claude로 운영되는 모습을 다룬 후속 영상을 추천하고, 구독·좋아요와 활용 계획에 대한 댓글을 요청하며 영상을 마친다. [14:32]

🧾 결론

• 화면 관찰은 무엇을 자동화할지 찾는 단계다. 소개된 후원 이메일 자동화는 화면을 대신 클릭하는 방식이 아니라 Gmail 커넥터를 통해 초안을 저장한다.
• 스킬은 업무 규칙을 담고, 커넥터는 업무 앱에 접근하는 통로가 된다. 관찰로 만든 업무 목록을 실제 자동화로 바꾸려면 이 실행 구성이 별도로 필요하다.
• 자동화 품질은 모델 성능뿐 아니라 지침의 정확성과 최신성에도 좌우된다. 영상의 테스트에서는 오래된 가격 정보가 실패 원인으로 드러났다.
• 반복 실행과 초안 작성을 위임하더라도 고객 선택, 가격 판단, 관계 관리, 사업 방향에 대한 책임은 사람에게 남는다.

📈 투자·시사 포인트

• 발표자는 저렴한 모델로 화면을 요약하고 고성능 모델로 텍스트를 종합하는 구조가 관찰 비용을 낮춘다고 설명한다. 사업 적용에서는 모델 단가와 함께 검토·수정에 드는 시간을 살펴야 한다.
• 서비스업의 자동화 기회는 견적 답변, CRM 보고서, 예약 현황 확인처럼 여러 앱에 걸쳐 반복되는 업무에서 찾을 수 있다. 개별 도구 도입보다 실제 업무 흐름의 발견이 우선이라는 시사점이다.
• 일주일간의 관찰과 업무 분류 자체를 유료 진단 서비스로 제공하고, 이후 구축으로 연결하는 사업 모델이 제시된다. 다만 영상은 이 서비스의 수익성이나 고객별 성과 수치를 제시하지 않는다.
• 자동화 범위를 넓히는 속도보다 검증 기준과 승인 체계를 갖추는 능력이 운영 품질에 중요하다. 소개된 후원 답변 사례도 목표 통과율에 도달하지 못했다.

⚠️ 불확실하거나 확인이 필요한 부분

• 100개 이상 기업에 적용했다는 설명, 관찰 모델의 100만 토큰당 0.10달러 비용, 하루 1달러 미만이라는 비용은 발표자의 주장이다. 정확한 모델 버전, 과금 조건, 사용량별 상세 내역은 제공되지 않는다.
• 비밀번호 관리자·은행·개인 대화의 캡처 제외, Haiku 처리 직후 이미지 삭제, 메모의 로컬 보관은 영상에서 설명한 설계다. 구현 코드와 데이터 처리 설정이 제시되지 않아 실제 동작이나 외부 처리 과정의 보관 범위까지 확인할 수는 없다.
• 화면에서 추정한 업무 목적·빈도·소요 시간의 정확도는 수치로 검증되지 않았다. 관찰 결과만으로 업무의 전체 맥락을 파악했다고 단정하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 관찰을 시작하기 전에 캡처에서 제외할 앱과 화면을 정하고, 이미지 삭제 및 메모 보관 동작을 확인한다.
• 일주일간의 관찰 기록에서 업무별 반복 빈도, 대략적인 시간, 사용 앱을 정리한다.
• 입력·출력·규칙·빈도의 네 기준으로 업무를 평가하고, 자동 실행·사람 승인·직접 수행으로 분류한다.
• 구축 전에 성공 기준을 수치로 정하고, 예외 사례를 포함한 과거 업무 20건으로 초안을 검증한다.

❓ 열린 질문

• 화면 요약이 업무를 잘못 묶거나 시간을 부정확하게 추정했을 때, 어떤 방식으로 이를 발견하고 보정할 것인가?
• 후원 답변의 통과율을 6/20에서 목표인 18/20으로 높이려면 어떤 지침과 평가 기준을 수정해야 하는가?
• 관찰 비용에 구축·유지보수·사람의 검토 시간을 더하면, 각 업무에서 실제로 얼마나 절감되는가?