Human in the loop - 4 levels of automation

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Human in the loop - 4 levels of automation를 중심으로, 네 단계의 차이는 인간의 관여 방식이다. 인간 단독 수행은 AI 없이 처리하고, 휴먼 인 더 루프는 인간과 AI가 결과를 주고받으를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 네 단계의 차이는 인간의 관여 방식이다. 인간 단독 수행은 AI 없이 처리하고, 휴먼 인 더 루프는 인간과 AI가 결과를 주고받으며 반복한다. 오케스트레이션은 인간이 시작을 결정해 에이전트에 맡기며, 완전 자동화는 시작 시점까지 에이전트가 결정한다.
2. 발표자의 현재 분류에서 전략·목표 설정과 제품·시스템 설계는 반복 협업에 가깝다. AI가 조사와 대안 생성을 도와도 비전, 우선순위, 만들지 않을 것, 실행할 아이디어는 인간이 판단해야 한다는 입장이다.
3. 탐색·연구, 마케팅·콘텐츠, 영업·고객 성공은 주로 오케스트레이션에 배치한다. 일부 문서 작업은 이미 자동화했지만, 다른 업무의 완전 자동화는 현재 성과와 향후 전망을 구분해 읽어야 한다.
4. 코딩·빌딩은 상당 부분 자동 실행되지만 분류 경계가 남는다. 인간이 기능을 정하고 LFG를 실행하는 과정까지 업무에 포함하면 오케스트레이션으로 해석할 수 있다. 자동화에는 운영 상태 확인, 코드 리뷰, QA와 장애 대응을 연결한 검증 순환이 필요하다.
5. 자동화 지도의 목적은 사람의 주의와 시간을 어디에 쓸지 정하는 것이다. AI 비용이 낮아질수록 집중할 일을 고르는 판단이 중요해지며, 사람 사이의 소통과 관계 형성은 인간에게 남길 영역으로 제시한다.

🧩 배경과 문제 정의

• 복합 엔지니어링과 사업 운영에서 사람이 직접 관여해야 할 업무와 에이전트에 맡길 업무를 구분하는 것이 출발점이다.
• 업무를 인간 단독 수행, 인간과 AI의 반복 협업, 인간이 시작하는 위임, 완전 자동화의 네 단계로 나누고 업무별 적절한 위치를 탐색한다.
• AI 비용이 낮아질수록 사람의 주의와 시간을 어디에 쓸지가 중요해진다는 문제의식이 있다. 모든 업무의 자동화를 전제하지 않고, 인간의 창의성과 판단이 필요한 영역을 함께 검토한다.
• 분류는 발표자 자신의 업무 방식에 근거한 탐색적 판단이다. 연도별 변화와 미래 가능성을 살피되, 현재 가능한 수준과 향후 자동화 전망을 구분한다.

🕒 시간순 섹션별 상세정리

1. 사람이 개입해야 할 업무를 구분하는 문제

• 복합 엔지니어링의 여러 작업 중 사람이 반복 과정에 참여할 부분과 에이전트에 넘길 부분을 구분할 필요가 있다 [01:42]
• 업무 종류를 모아 네 수준으로 분류하는 실험을 통해 인간과 AI의 역할 배분 기준을 탐색한다 [02:35]

2. Antigravity를 활용한 실험 환경과 업무 목록

• Antigravity를 로컬에서 사용하며 복합 엔지니어링 플러그인 설치를 시도한다. CLI 사용 경험은 있지만 로컬 작업 경험은 없는 상태에서 도구의 동작을 확인한다 [02:40]
• 분류 대상은 프로그래밍에 한정하지 않는다. 디자인, 연구, 코드 리뷰, 고객 지원, 목표 설정, 전략 등 사업 운영 전반의 업무를 조사해 목록을 만든다 [07:20]

3. 인간의 관여 방식에 따른 네 단계

• 첫 단계는 AI 없이 인간이 수행하는 업무이고, 두 번째는 인간과 AI가 결과를 주고받으며 반복하는 ‘휴먼 인 더 루프’다 [08:20]
• 세 번째인 오케스트레이션에서는 인간이 작업 시작을 결정하고 에이전트에 위임한다. 버그 해결이나 문서 검토·수정이 예시이며, 네 번째 자동화에서는 작업이 자동으로 진행된다 [08:35]

4. 광범위한 업무 목록을 열 가지로 압축

• 비전과 목표 설정, 시장·경쟁 조사, 로드맵과 우선순위, 재무 모델링, 사용자 경험 등으로 목록이 넓어지자 중요한 업무부터 추리기로 한다 [09:13]
• 전략과 목표 설정, 탐색·연구, 제품·시스템 설계 등을 포함한 열 가지 업무를 우선 사용한다. 필요하면 나중에 범위를 넓힐 수 있는 임시 분류다 [10:30]

5. 작업 실행을 누가 결정하는지가 자동화의 경계

• 인터랙티브 웹사이트에서 열 가지 업무를 네 단계에 배치한다. 인간 단독 수행과 실시간 반복 협업을 구분하고, 각 업무를 어느 수준에 둘지 직접 조작할 수 있게 한다 [11:58]
• 오케스트레이션에서는 고객 지원 문제 해결이나 기능 완성을 인간이 지시한다. 에이전트가 실행하더라도 해당 흐름을 언제 시작할지는 인간이 결정한다 [12:43]

6. 연도별 배치로 업무의 이동과 미래 가능성을 비교

• 업무를 드래그 앤드 드롭으로 분류하고, 연도를 추가해 같은 업무가 시간에 따라 어느 단계로 이동하는지 비교할 수 있게 한다 [13:32]
• 미래에는 자동화가 늘어날 수도 있지만, 특정 업무는 인간과 AI가 함께 반복하는 쪽으로 이동할 수도 있다는 가능성을 열어 둔다 [13:58]

7. AI 비용 하락과 인간의 주의 배분

• 할 수 있는 일이 많아지고 주의가 여러 방향으로 분산되면서, 사람이 직접 작업에 참여하는 비용은 더 커질 것으로 본다 [15:49]
• AI가 점점 저렴해질수록 어디에 집중할지 결정하는 일이 중요해진다. 사람이 과정에 들어가야 할 때와 빠져도 될 때를 구분하는 것이 핵심 과제다 [16:21]

8. 자동화의 범위와 인간에게 남길 역할

• 현재 업무를 자동화, 오케스트레이션, 반복 협업으로 나눈 지도를 만들려는 목적은 모든 일을 자동화하는 데 있지 않다. 일부는 자동화할 수 있지만 직접 수행해야 할 일도 있다고 본다 [17:03]
• 인간이 잘하는 일과 인간다움을 이해해야 AI가 사람의 강점을 지원할 수 있다. 업무 분류는 인간이 어떤 역할로 기여할지 판단하는 문제와 연결된다 [17:33]

9. AI의 선행 분류를 숨기고 인간의 판단을 기록

• 생성된 업무 자율성 보드에는 이미 AI의 분류가 들어 있다. 이를 보지 않은 상태에서 자신의 판단을 기록하고 나중에 비교할 수 있도록 AI 예측을 별도로 저장하게 한다 [19:01]
• 미분류 업무를 위쪽 목록에 두고, 네 단계를 가로 한 줄로 배치해 하나씩 옮길 수 있도록 화면을 수정한다 [19:32]

10. 2026년 전략과 목표 설정은 인간과 AI의 반복 협업

• 2022년은 모든 업무를 인간 수행으로 놓는 비교 기준으로 삼고, 현재 업무 방식에 가까운 2026년부터 본격적으로 분류한다 [23:02]
• 비전, OKR, 우선순위, 가격 책정, 만들지 않을 것의 결정은 휴먼 인 더 루프에 배치한다. AI로 조사하고 그 결과를 바탕으로 반복해서 판단하는 방식이 적절하다고 본다 [23:30]

11. 탐색과 연구는 위임하되 완전 자동화는 가능성으로 유보

• 사용자 인터뷰와 시장·경쟁 조사 등 탐색·연구는 오케스트레이션에 배치한다. 조사할 대상을 지정해 맡기고 결과를 받아 다시 인간이 검토하는 방식이다 [24:10]
• 합성 사용자 인터뷰나 조직 전반의 신호를 자동으로 점검하는 작업은 자동화 후보가 될 수 있다. 가격이 비싸다는 불만에 대응해 제품의 가치를 전달하는 실험을 실행하는 경우를 예로 든다 [24:33]

12. 연도 선택 오류로 드러난 분류 상태 관리 문제

• 앞선 분류가 의도한 연도에서 이루어지지 않았음을 발견한다. 2026년 화면에서는 항목을 끌어놓을 수 없는 문제도 확인된다 [25:17]
• 연도별 조작 오류를 수정하고, 2022년은 모든 업무를 인간 수행으로 미리 배치하도록 요청한다. 직접 판단할 출발점은 2026년으로 다시 설정한다 [25:36]

13. 여러 모델의 예측을 비교하는 구상

• 숨겨 둔 AI 예측을 나중에 공개하고 다른 모델에도 같은 분류를 맡겨, 모델별 판단이 얼마나 보수적인지 비교하려 한다 [25:59]
• 관심 대상은 자동화로의 이동만이 아니다. 반복 협업에서 오케스트레이션으로 옮길 업무와, AI를 사용하지 않는 인간 수행으로 남기거나 이동시킬 업무도 탐색한다 [26:29]

14. 제품과 시스템 설계에는 인간의 비전이 필요

• 드래그 대신 클릭으로 항목을 이동할 수 있음을 확인해 분류를 이어 간다. 탐색·연구는 다시 오케스트레이션에 배치한다 [27:27]
• UX·UI, 카피라이팅, 시스템 아키텍처, 데이터 모델링을 포함하는 제품·시스템 설계는 자신의 현재 업무 방식을 기준으로 휴먼 인 더 루프에 둔다 [28:01]

15. 코딩 자동화와 인간의 실행 지시 사이에 남는 경계

• 구현과 프로토타이핑을 포함한 코딩·빌딩은 자동화에 배치하려 하지만, 오케스트레이션으로 볼지 완전 자동화로 볼지 판단을 오간다 [29:06]
• 인간이 기능 아이디어를 정하고 /LFG를 실행하면, 실제 코딩과 빌딩은 자동으로 이루어진다. 이 사례는 작업 내부의 자동 실행과 인간의 시작 결정이 함께 존재함을 보여 준다 [29:26]

16. 코딩 자동화에는 장애 대응과 검증 자동화가 필요하다

• 코딩·빌드는 때때로 사람이 조율하지만, 현재 업무 중에서는 대부분 자동화된 영역으로 분류한다. Slack에서 작업을 모아 Sweep과 LFG로 처리하는 방식의 활용도 늘고 있다. [30:28]
• 크래시의 스택 트레이스, 서비스 중단, 경보를 에이전트에 연결하면 문제가 발생했을 때 자동으로 대응할 수 있다. 목표는 잘못 배포된 기능을 가능한 한 빠르고 안전하게 수정하는 것이다. [31:12]

17. 마케팅·콘텐츠와 영업은 사람이 조율하는 단계에 있다

• 마케팅·콘텐츠는 처음에는 인간 참여형으로 분류하지만, 변경 기록, 블로그, 데모, 문서 작업을 고려해 오케스트레이션으로 수정한다. 문서는 이미 완전히 자동화되어 있다고 보여준다. [33:17]
• 적절한 스킬 라이브러리와 작업 체계가 갖춰졌다는 전제에서는 콘텐츠 제작 과정에 인간이 계속 개입해도 얻는 이점이 크지 않다고 본다. [33:39]

18. 작업 분류는 자동화할 수 있지만 사람 사이의 조율은 남는다

• Sweep은 Slack, GitHub, 이메일 등을 훑어 실행 가능한 계획으로 정리하고, LFG는 그 계획을 실행한다. 이 방식으로 업무 분류와 우선 처리 대상을 정하는 작업을 상당 부분 대신할 수 있다. [35:20]
• 조율·PM에서 인간에게 남길 부분은 사람들과 직접 소통하는 일이다. 명세나 티켓 처리와 달리, 사람들은 다른 사람과 이야기하기를 원한다는 판단이다. [35:48]

19. 정형 행정은 자동화 대상으로 보지만 직접 경험은 제한적이다

• 행정, 백오피스, 법무·컴플라이언스, 공급업체 관련 업무는 직접 많이 수행하지 않는다고 전제한다. 다만 표준운영절차나 정해진 프로세스가 있다면 자동화하기 적합하다고 추정한다. [37:08]
• 2026년의 분류에서는 많은 업무가 자동화 또는 오케스트레이션에 들어가고, 전략·목표 설정과 제품·시스템 설계에는 인간이 참여한다. 사람끼리 소통하는 조율 업무는 인간 영역에 남으며, 앞으로도 그 필요가 유지되기를 바란다. [37:56]

20. 에이전트 활용 초기와 비교하면 자동화 수준이 크게 높아졌다

• 2024~2025년을 에이전트 기반 엔지니어링의 출발점으로 묶는다. 당시 전략·목표 설정, 탐색·연구, 제품·시스템 설계는 인간 참여형이었고, 코딩·빌드는 사람이 조율했으며, 디버깅·유지보수는 아직 자동화하지 않았다고 돌아본다. [39:25]
• QA는 여전히 인간이 맡는 영역에 가까웠고 마케팅·콘텐츠는 인간 참여형이었다. 고객 성공에 AI를 적용하려던 과거 시도는 문제를 해결할 만큼 성능이 충분하지 않아 제대로 작동하지 않았다고 평가한다. [40:12]

21. 가까운 미래에도 전략은 인간 참여형으로 남고 설계는 더 위임된다

• 전망 시점은 2028년보다 가까운 2026년 말~2027년 초가 적절하다고 본다. 명세·티켓은 자동화되더라도 사람 사이의 운영과 조율은 인간에게 남을 것으로 예상한다. [41:31]
• 전략·목표 설정에서는 AI로 연구를 수행하더라도 인간이 계속 관여하고 싶어 할 것이므로, 인간 참여형이라는 위치가 유지될 것으로 본다. [41:54]

22. 탐색·콘텐츠·고객 대응은 자동화 확대가 예상된다

• 탐색·연구는 자동화로 이동할 것으로 예상한다. 관련 사례인 Compound Engineering의 Dogfood는 자율적으로 QA를 수행하고 문제를 수정하며 페르소나도 지원한다. 이 기능은 앞으로 더 개선할 계획이다. [43:32]
• 마케팅·콘텐츠는 오케스트레이션이 작동하기 시작한 단계이며, 자동화도 시간문제로 본다. 사람이 카메라 앞에서 말하는 활동은 계속하되, 방송 종료 후 파생 콘텐츠를 생성하는 작업은 자동으로 처리하는 형태를 예상한다. [43:59]

23. 아이디어를 만들 수 있어도 실행할 일은 인간이 결정해야 한다

• 제품·시스템 설계를 당장 완전 자동화하기보다 오케스트레이션에 두려는 이유는, 작업이 모두 끝나기 전에 사람이 결과를 살펴보고 무엇을 할지 결정해야 한다고 보기 때문이다. 전략과 설계에 해당하는 발상의 출발점에는 인간의 판단이 필요하다. [44:59]
• 최초 아이디어 자체는 에이전트가 제안할 수도 있다. 만들 만한 아이디어 다섯 개를 요청하는 탐색 단계는 자동화할 수 있지만, 그중 무엇을 실행할지는 인간이 결정해야 한다는 입장이다. [45:56]

24. 모델에 대한 신뢰가 커져도 검증 순환은 필수다

• 2030년은 너무 멀어 어떻게 될지 알 수 없다고 선을 긋는다. 지금까지의 변화는 인간이 AI로 전략·연구·설계를 가속하고, 개발 업무를 위임·조율하는 단계로 이동한 과정으로 정리한다. [47:26]
• 과거에는 AI의 결과를 충분히 신뢰하지 못해 사람이 코드를 직접 검토하고 화면을 클릭하며 확인해야 했다. 이제는 모델 성능이 리뷰·QA 자동화를 가능하게 할 정도로 좋아졌다고 평가하지만, 검증 순환은 여전히 매우 중요하다고 강조한다. [48:15]

25. 업무별 자동화 전망과 현재 도달 수준은 구분해야 한다

• 마케팅·콘텐츠와 영업·고객 성공은 충분히 신뢰할 수 있는 수준으로 개선되면서 자동화될 것으로 예상한다. 다만 자신의 영업·고객 성공 업무는 아직 사람이 필요한 오케스트레이션 단계이며, 다른 사람들은 이미 자동화했을 가능성도 인정한다. [48:52]
• 인간적인 관계와 소통은 계속 인간의 영역으로 남기를 바란다. AI와 일대일 대화를 하게 될 가능성을 부정하지는 않지만, 사람들이 그런 대화를 즐기기보다는 사람과 이야기하기를 원할 것으로 본다. [49:15]

26. ‘자동화 다음’을 다루는 콘퍼런스로 논의를 이어간다

• Every 구독 서비스를 소개하고, ‘자동화 다음에는 무엇이 오는가’를 주제로 하는 콘퍼런스 전체를 생중계할 계획이라고 안내한다. [50:09]
• 연사로 Dan Shipper와 OpenAI·Anthropic 관계자들을 언급한다. 뉴욕에서는 티켓 소지자가 현장에 참여할 수 있고, 행사 내용은 생중계로도 제공할 예정이라고 보여준다. [50:38]

🧾 결론

• 자동화 수준은 직무 전체에 일괄 부여하기보다 개별 업무와 작업 범위를 정해 판단해야 한다. 같은 코딩 작업도 시작 결정을 포함하는지에 따라 분류가 달라진다.
• 실행 능력이 좋아져도 무엇을 만들고 어떤 문제를 해결할지 정하는 판단은 중요하다. 아이디어 생성과 실행할 아이디어의 선택을 구분필요가 있다.
• 업무 배치는 고정된 정답이 아니다. 발표자의 경험에 근거한 현재 분류와 미래 예상치를 나눠 기록하고, 도구의 성능과 실제 업무 방식에 맞춰 재검토하는 접근이다.

📈 투자·시사 포인트

• 에이전트 도입을 평가할 때 생성·실행 기능과 함께 리뷰, QA, 운영 검증, 장애 대응을 살펴볼 필요가 있다. 발표자는 검증 체계가 없다면 코딩·빌드를 자동화하지 않는 편이 낫다고 본다.
• AI 비용 하락은 인간의 주의 배분을 더 중요한 운영 문제로 만든다. 직접 반복해서 관여할 업무와 시작만 지시할 업무를 구분하는 것이 도입 판단의 기준이 될 수 있다.
• 콘텐츠·고객 대응·백오피스의 자동화 가능성은 실제 도달 수준과 구분해야 한다. 이 자료는 개별 기업의 수익성이나 투자수익률을 입증하기보다 업무별 자동화 수준을 점검하는 틀을 제공한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 네 단계의 배치는 발표자 자신의 업무 경험에 근거한 탐색적 판단이다. 조직 전반에 적용할 수 있는 표준이나 정량적으로 검증된 성과로 제시되지는 않는다.
• 인간이 기능을 요청한 뒤 에이전트가 끝까지 실행하는 사례는 작업 범위에 따라 오케스트레이션 또는 자동화로 해석될 수 있다. 시작 결정과 실행 과정을 어디까지 묶을지 확인해야 한다.
• 탐색·연구, 콘텐츠, 영업·고객 성공의 자동화 확대는 전망을 포함한다. 행정·백오피스도 현재 완전히 자동화되었다고 단정하지 않으며, 발표자의 직접 경험이 제한적이다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 주요 업무를 목록으로 만들고 인간 단독 수행, 반복 협업, 인간이 시작하는 위임, 완전 자동화의 네 단계에 현재 방식을 배치한다.
• 각 업무에서 실행을 시작하는 주체를 기록하고, 인간의 요청·승인까지 작업 범위에 포함할지 정의한다.
• 코딩 자동화에 앞서 운영 결과 확인, 코드 리뷰, QA, 경보와 장애 대응이 연결되는지 점검한다.
• 현재 배치와 미래 예상치를 분리하고, AI의 분류를 보기 전에 인간의 판단을 먼저 기록한 뒤 차이를 비교한다.

❓ 열린 질문

• 인간의 최초 요청이 필요한 작업을 완전 자동화로 볼 수 있는가? 업무 범위를 어디서 시작하고 끝내야 일관되게 분류할 수 있는가?
• 탐색·연구와 고객 대응을 오케스트레이션에서 자동화로 옮기려면 어떤 수준의 결과 신뢰도와 검증 체계가 필요한가?
• AI가 아이디어와 설계 대안을 충분히 생성할 때, 인간이 계속 맡아야 할 선택과 관계 형성의 범위는 어디까지인가?