Are Your AI Agents Doing Real Work Or Productivity Theater? Here Are 4 Principles I Use.

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Are Your AI Agents Doing Real Work Or Productivity Theater? Here Are 4 Principles I Use.를 중심으로, 생산성은 에이전트 수나 산출물 양으로 판단하기 어렵다. 결과를 누가 사용하고, 어떤 결정이나 실행으로 이어지는지 확인해야 한다를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 생산성은 에이전트 수나 산출물 양으로 판단하기 어렵다. 결과를 누가 사용하고, 어떤 결정이나 실행으로 이어지는지 확인해야 한다.
2. 첫 번째 원칙은 전체 비용 계산이다. 생성 이후 사람이 읽고 이해하고 검증하고 실행하는 부담까지 포함해야 한다.
3. 두 번째 원칙은 실행을 약속하는 프로젝트보다 가벼운 실험을 많이 하는 것이다. 같은 문제를 여러 관점에서 탐색하고, 가치가 없는 접근을 버리는 것도 성과다.
4. 세 번째 원칙은 반복 실행을 설정하기 전에 종료 조건을 정하는 것이다. 결정이 끝났거나 새로운 학습이 없다면 작업도 멈춰야 한다.
5. 네 번째 원칙은 업무를 조율하는 에이전트에 주의력 예산을 주는 것이다. 기존 약속과 우선순위를 이해하고, 사람이 검토할 가치가 있는 변화와 선택지를 추려야 한다.

🧩 배경과 문제 정의

AI 공장, 에이전트 군집, 병렬 에이전트처럼 더 많은 작업을 돌리는 방식이 주목받지만, 활동량이 실제 성과를 보장하지는 않는다. 영상은 프로젝트와 보고서는 늘어나는데 정작 사업은 출시되지 않는 상황을 '생산성 연극'으로 설명한다.

핵심 문제는 생성 비용이 내려가면서 사람이 감당해야 할 검토, 결정, 유지보수, 반복적인 관심의 요구가 쉽게 늘어난다는 점이다. 화자는 Claude와 Codex를 관리한 자신의 경험을 바탕으로 전체 비용 계산, 가벼운 실험, 사전 종료 조건, 주의력 예산이라는 네 가지 운영 원칙을 제시한다.

🕒 시간순 섹션별 상세정리

1. 에이전트 활동량과 실제 생산성을 구분하기

• AI 공장과 병렬 에이전트가 유행하지만, 토큰을 쓰고 그럴듯한 결과물을 만드는 활동이 실제 성과처럼 보일 수 있다고 지적한다. [00:24]
• 여러 앱과 계획, 상시 실행되는 에이전트가 있어도 사업이 출시되지 않는 사례를 들어 활동량만으로 성과를 판단하기 어렵다고 보여준다. [00:39]
• 사람의 후속 작업 계산, 실험과 실행 약속의 구분, 반복 작업의 종료 조건, 주의력 예산이라는 네 가지 원칙을 예고한다. [01:14]

2. 생성 이후의 사람 작업까지 전체 비용에 넣기

• 첫 번째 원칙은 에이전트가 끝낸 뒤 사람이 해야 할 일을 계산하는 것이다. 셰프의 Claude 제안서 활용 사례에서는 추가 주문이 자신이 원하는 요리와 고객 서비스로 계속된다. [02:11]
• AI 없이 얼마나 오래 걸렸을지를 비교하는 것만으로는 그 작업을 해야 할지 판단할 수 없다. 일주일 걸리던 보고서도 다음 10분을 쓸 가치가 없을 수 있다. [02:59]
• 보고서를 읽고 이해하고 판단하는 부담은 사람에게 남는다. 이를 팀에 공유하거나 주간 보고로 만들면 여러 사람에게 반복적인 검토 업무를 부과하게 된다. [03:30]

3. 문서의 완성도보다 검증과 사용 목적을 확인하기

• 도장업자가 Claude로 도면을 분석하다 실제 벽면 치수 대신 바닥 면적 배수를 사용한 오류를 발견한 사례를 보여준다. 견적에는 계산 과정을 확인하는 일이 중요하다. [04:14]
• 문서를 더 매끄럽게 만드는 것으로 계산 오류를 해결할 수는 없다. 다른 에이전트에 근거 확인이나 결론을 바꾸는 가정의 검토를 맡겨 사람의 조사 부담을 줄일 수 있다. [04:54]
• 학습과 좋은 작업에는 여전히 사람의 관심이 필요하다. 시간을 쓴 일이 자신이 실제로 중요하게 여기는 것인지가 판단 기준이다. [05:29]

4. 가벼운 실험을 늘리고 실행 약속은 신중하게 하기

• 두 번째 원칙은 어디에 시간을 쓸지 불확실할 때 여러 접근을 가볍게 탐색한 뒤 집중할 대상을 정하는 것이다. [05:47]
• 현실에서 통하지 않는 아이디어를 발견하고 버리는 것도 가치가 있다. 유지할 결과물이 없더라도 불필요한 경로를 피했다면 학습이 남는다. [06:08]
• 모든 실험을 프로젝트로 바꾸면 결정, 피드백, 유지보수가 쌓인다. 시작 비용이 낮아졌다는 이유로 감당하기 어려운 책임을 떠안을 수 있다. [06:27]

5. 고객 이탈 문제에서는 해결책보다 원인을 먼저 조사하기

• 고객이 재방문하지 않는 문제를 두고 여러 에이전트가 취소 사유, 도움 요청, 재구매 고객의 구매 차이를 조사하는 예를 제시한다. [06:48]
• 서비스에 실망한 고객과 가끔만 서비스가 필요한 고객은 대응이 달라야 한다. 기록으로 구분할 수 없다면 고객과 직접 이야기하는 것이 다음 행동일 수 있다. [07:22]
• 원인을 이해하기 전에 충성도 프로그램, 가격 페이지, 복귀 유도 메시지를 각각 만들면 검토할 해결책과 후속 작업이 늘어난다. 이미 들인 노력 때문에 포기하기도 어려워진다. [08:17]

6. 병렬 탐색은 새로운 이해를 얻는 데 사용하기

• 병렬 에이전트는 하나의 핵심 문제를 여러 방향에서 탐색하도록 도울 수 있다. 같은 답의 다섯 가지 버전은 학습보다 비교 부담을 키울 수 있다. [08:46]
• 고객이 돈을 낼지, 도구가 실제로 도움이 되는지가 불확실하다면 결국 지불을 요청하거나 사람에게 사용 경험을 확인해야 한다. [09:03]
• 저렴한 탐색은 이전에 검토하기 어려웠던 설명과 대안을 살피게 해 주지만, 중요한 문제에 집중할 책임은 사람에게 남는다. [09:35]

7. 반복 실행을 만들기 전에 멈출 조건 정하기

• 세 번째 원칙은 작업의 종료 시점을 먼저 정하는 것이다. 이미 다른 시장을 선택했는데도 예전 시장의 주간 업데이트가 계속 오는 사례로 목적을 잃은 자동화를 보여준다. [10:17]
• 작은 반복 작업이 쌓이면 필요 없는 질문이 하루를 차지하고 구독 자원을 소모한다. 초기 시장 탐색을 3일만 실행한 뒤 멈추고, 필요하면 다시 시작하는 방식을 제안한다. [11:10]
• 다음 조사에서 새로운 것을 배우지 못할 때나 정해진 기간 동안 응답이 없을 때 중단하도록 사전 조건을 줄 수 있다. [11:37]

8. 탐색의 방향과 호기심을 사람이 선택하기

• 에이전트가 예상 밖의 발견을 하도록 허용하되, 더 탐색할 가치가 있다고 판단하는 주체는 사람이어야 한다. [11:56]
• 이해하기 어렵다는 이유로 에이전트가 제안하는 탐색을 계속 따라갈 필요는 없다. 앞으로 나아가는 데 도움이 되지 않는다면 명확하게 중단할 수 있다. [12:19]
• 화자는 에이전트를 원하는 방향으로 움직이려면 의도를 더 분명하고 좁게 전달해야 한다고 강조한 뒤 네 번째 원칙으로 넘어간다. [12:35]

9. 업무 조율 에이전트에 주의력 예산 주기

• 관리 에이전트가 다른 에이전트의 일을 잘 정리하더라도 매일 새로운 검토 요구를 쌓을 수 있다. 기존 약속과 추가 업무의 부담을 이해해야 한다. [13:03]
• 주의력 예산은 문자 그대로 몇 분을 배정한다는 뜻이 아니다. 채용, 구직, 역량 개발 등 사용자가 중요하게 여기는 일을 파악하고 관심을 어디에 둘지 돕는 기준이다. [13:45]
• 고객 이야기를 중요하게 여기는 사용자에게 새로운 고객 사례를 선별해 전달하는 예로, 업무 조율 에이전트가 알림을 걸러내는 역할을 보여준다. [14:09]

10. 사람의 생활과 의사결정에 맞는 협업 구조 만들기

• 사람은 에이전트처럼 계속 일할 수 없다. 알림을 허용할 상황, 놓치면 안 되는 약속, 결정을 바꿀 새로운 근거를 명확히 해야 한다. [14:52]
• 업무 조율 에이전트는 선택지를 준비하고 각 선택에 필요한 일을 설명하며, 사람이 승인한 실행을 도와 다른 일로 관심을 옮길 수 있게 해야 한다. [15:46]
• 목표는 더 바쁘게 만드는 것이 아니라 의도를 유지하며 집중하도록 돕는 것이다. 화자는 이를 구현하는 일이 자신의 경험상 쉽지 않다고 드러낸다. [16:00]

11. 실패 패턴을 점검하고 과잉 제안을 걸러내기

• 여러 에이전트를 돌리다 압도되거나 끝내지 못했던 순간을 돌아보고, 어떤 상호작용이 부담을 만들었는지 분석해 의도를 더 분명히 하라고 권한다. 에이전트 수가 생산성과 같지는 않다. [16:37]
• 중요한 일을 더 맡든 효과가 큰 일에 집중하도록 줄이든, 지속 가능한 선택이 필요하다. 현재 작업이 실제 관심사에 기여하는지, 학습 중인 실험인지, 중단 지시를 잊어 계속 도는지 점검하라고 제안한다. [17:54]
• 모든 제안을 중요하게 제시하는 에이전트의 경향을 문제로 짚고, 중요하지 않은 일과 실험을 더 솔직하게 구분하도록 돕는 'truth-teller' 프롬프트를 Substack에서 제공한다고 안내하며 마무리한다. [18:45]

🧾 결론

• AI가 제작 비용을 낮춰도 그 일을 해야 할 이유까지 만들어 주지는 않는다. 중요한 기준은 자신이 실제로 관심을 두는 문제에 도움이 되는가다.
• 병렬 에이전트는 하나의 핵심 문제를 여러 방식으로 이해할 때 유용하다. 비슷한 답안을 많이 만들면 비교 작업만 늘어날 수 있다.
• 사람은 목표와 실행 여부를 결정하고, 에이전트는 근거와 선택지, 후속 부담을 준비해야 한다.
• 좋은 결과는 원하는 일을 더 맡는 것일 수도, 효과가 큰 일에 집중하도록 일을 줄이는 것일 수도 있다. 지속 가능한 몰입이 핵심이다.

📈 투자·시사 포인트

• AI 도입의 성과를 평가할 때 생성 속도와 토큰 비용뿐 아니라 검토·검증·유지보수에 드는 사람의 시간까지 살펴볼 필요가 있다.
• 에이전트 운영을 확대하기 전에 결과물이 고객 대응, 실제 의사결정, 원하는 업무로 연결되는지 확인해야 한다. 영상의 셰프 사례는 이런 연결을 설명한다.
• 반복 자동화에는 종료 조건과 재검토 절차가 필요하다. 목적이 사라진 작업은 구독 자원과 조직의 주의력을 계속 소비할 수 있다.
• 업무 조율 에이전트의 가치는 보고량보다 중요한 변화의 선별, 약속의 이행 지원, 결정에 필요한 선택지 준비에서 평가할 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 셰프의 한 달 반 동안 2만 달러 매출 기여 사례와 도장업자의 견적 검증 사례는 영상에서 소개한 경험담이다. 원자료나 비교 조건이 없어 AI의 기여도를 독립적으로 확인하기 어렵다.
• 네 가지 원칙은 화자의 에이전트 관리 경험에서 도출됐다. 생산성 개선 폭이나 적용 조건을 측정한 비교 실험은 제시되지 않는다.
• 주의력 예산은 정해진 분 단위 제한을 뜻하지 않는다고 설명한다. 어떤 제안을 전달하거나 보류할지에 대한 구체적인 운영 기준은 사용자가 정해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실행 중인 에이전트마다 해결하려는 문제, 결과를 사용할 사람, 결과 이후 필요한 사람의 작업을 적는다.
• 산출물 생성 시간과 별도로 읽기·검증·결정·실행에 필요한 부담을 점검한다. 견적처럼 결과의 정확성이 중요한 작업은 계산 과정과 핵심 가정을 확인한다.
• 병렬 에이전트에는 같은 문제를 살피는 서로 다른 조사 관점을 배정하고, 각 실험을 프로젝트로 전환할지는 근거를 본 뒤 결정한다.
• 반복 작업에 기간 만료, 결정 완료, 새로운 학습 부재 등의 종료 조건을 설정한다. 이미 목적이 사라진 작업은 중단한다.

❓ 열린 질문

• 현재 에이전트가 만드는 결과 중 실제로 사용하는 것은 무엇이며, 읽거나 비교하는 부담만 늘리는 것은 무엇인가?
• 각 실험은 아직 새로운 것을 가르쳐 주고 있는가, 아니면 이미 투입한 노력 때문에 유지하고 있는가?
• 업무 조율 에이전트는 어떤 변화가 생겼을 때 사람의 주의를 요청해야 하는가?