🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AI 에이전트가 인간보다 훨씬 많은 업무 환경에서는 모든 루프에 사람을 넣는 방식이 한계에 부딪히며, 기업은 확장 가능한 거버넌스와 사용 사례별 위험 판단으로 AI 운영을 관리해야 한다.

📌 핵심 요약

• Fortune Brainstorm Tech 패널에서는 기업 내 AI 활용이 확대되고 에이전트형 AI가 더 많은 업무를 맡게 되면서, 기존의 ‘human in the loop’ 원칙이 모든 상황에 적용되기 어려워지고 있다는 문제가 제기됐다.
• DraftKings의 CTO Zach Maybury는 회사가 이미 수조 건의 거래와 고도로 분산된 워크로드를 다루고 있으며, AI 에이전트끼리 직접 상호작용하는 환경에서는 모든 루프에 인간을 넣을 만큼 인력이 충분하지 않다고 말했다.
• Salesforce의 LaShonda Anderson-Williams는 특히 의료처럼 결과의 무게가 큰 분야에서는 AI 오류가 단순한 상품 선택 실수가 아니라 사람의 생명과 연결될 수 있다고 지적하며, 명확한 사용 목적과 거버넌스의 중요성을 강조했다.
• 패널 참석자들은 공통적으로 AI를 대규모로 확장하려면 어디에서 어떻게 AI가 작동할 수 있는지, 누가 어떤 책임을 지는지, 기존 규칙을 어떻게 수정·확장할지에 대한 체계적 정책이 필요하다고 설명했다.
• Indeed의 Anthony Moisant는 AI가 포함된 프로세스를 지속적으로 테스트해 목표한 결과와 실제 결과를 비교해야 한다고 했고, Xero의 Diya Jolly는 결정론적 업무와 판단이 필요한 업무를 구분해 인간 개입 수준을 달리해야 한다고 말했다.

🧩 주요 포인트

1. Fortune Brainstorm Tech 패널에서는 기업 내 AI 활용이 확대되고 에이전트형 AI가 더 많은 업무를 맡게 되면서, 기존의 ‘human in the loop’ 원칙이 모든 상황에 적용되기 어려워지고 있다는 문제가 제기됐다.
2. DraftKings의 CTO Zach Maybury는 회사가 이미 수조 건의 거래와 고도로 분산된 워크로드를 다루고 있으며, AI 에이전트끼리 직접 상호작용하는 환경에서는 모든 루프에 인간을 넣을 만큼 인력이 충분하지 않다고 말했다.
3. Salesforce의 LaShonda Anderson-Williams는 특히 의료처럼 결과의 무게가 큰 분야에서는 AI 오류가 단순한 상품 선택 실수가 아니라 사람의 생명과 연결될 수 있다고 지적하며, 명확한 사용 목적과 거버넌스의 중요성을 강조했다.
4. 패널 참석자들은 공통적으로 AI를 대규모로 확장하려면 어디에서 어떻게 AI가 작동할 수 있는지, 누가 어떤 책임을 지는지, 기존 규칙을 어떻게 수정·확장할지에 대한 체계적 정책이 필요하다고 설명했다.
5. Indeed의 Anthony Moisant는 AI가 포함된 프로세스를 지속적으로 테스트해 목표한 결과와 실제 결과를 비교해야 한다고 했고, Xero의 Diya Jolly는 결정론적 업무와 판단이 필요한 업무를 구분해 인간 개입 수준을 달리해야 한다고 말했다.

🧠 상세 정리

1. ‘인간 참여’ 원칙이 부딪힌 현실적 한계

기사의 출발점은 오류 허용 범위가 거의 없는 AI 활용에서 흔히 권장되는 ‘human in the loop’ 원칙이다. 그러나 기업 내 AI 사용이 늘고, 단순 보조 도구를 넘어 에이전트형 AI가 여러 업무를 직접 수행하게 되면서 이 원칙을 모든 상황에 적용하기 어렵다는 문제가 부상한다. 특히 AI 에이전트들이 서로 직접 대화하고 업무를 처리하는 환경에서는 사람 한 명이 각 의사결정 지점을 확인하는 방식이 규모 면에서 맞지 않는다. Fortune Brainstorm Tech 패널은 바로 이 간극, 즉 인간 검토가 이상적으로는 중요하지만 실제 운영에서는 항상 가능한 것은 아니라는 문제를 중심으로 논의를 전개했다.

2. DraftKings 사례: 거래 규모와 에이전트 간 상호작용의 복잡성

DraftKings의 CTO Zach Maybury는 회사가 이미 수조 건의 거래와 매우 분산된 워크로드를 다루고 있다고 설명했다. 이런 환경에 에이전트형 AI가 들어오고, AI 에이전트들이 다른 AI 에이전트와 직접 상호작용하게 되면 운영의 양과 복잡성은 전통적인 관리 방식으로 감당하기 어려워진다. Maybury는 모든 루프에 인간을 삽입할 수 없으며, 그렇게 할 만큼 충분한 인간 인력을 확보하는 일도 불가능하다고 말했다. 이는 AI 운영에서 핵심 과제가 단순히 사람의 감독을 유지하는 것이 아니라, 사람의 직접 개입이 불가능한 지점을 어떻게 안전하게 설계하고 통제할 것인지로 이동하고 있음을 보여준다.

3. 고위험 환경에서 AI 관리가 더 어려워지는 이유

패널에서는 AI가 적용되는 영역의 위험 수준이 서로 다르다는 점도 강조됐다. Salesforce의 최고 고객·상업 책임자인 LaShonda Anderson-Williams는 의료처럼 고위험 환경에서는 문제가 단순히 소매업에서 티셔츠 사이즈를 잘못 고르는 정도가 아니라고 말했다. 그런 상황에서는 결정의 반대편에 사람의 생명이 있을 수 있기 때문에, AI가 만들어내는 결과의 의미와 책임이 훨씬 무겁다. 이 발언은 모든 AI 활용을 같은 기준으로 볼 수 없으며, 업무의 맥락과 실패 비용에 따라 통제 수준과 의사결정 구조를 달리해야 한다는 논지로 이어진다.

4. 명확한 사용 사례와 목표 결과 설정의 중요성

Anderson-Williams는 기업이 AI를 어디에 쓰려는지, 그리고 궁극적으로 어떤 결과를 얻으려는지 명확히 이해하는 일이 중요하다고 설명했다. 이는 AI 도입을 기술 구매나 도구 추가의 문제로만 보지 말아야 한다는 뜻이다. 기업이 사용 사례를 냉정하게 검토하지 않으면, AI가 실제로 해결해야 할 문제와 운영상 감수해야 할 위험을 구분하기 어렵다. 기사에서 제시되는 성공적 접근법은 먼저 목적과 결과를 분명히 한 뒤, 그 목적에 맞는 통제 장치와 책임 구조를 설계하는 방식이다.

5. 거버넌스: AI 확장의 핵심 안전장치

기사에서 가장 반복적으로 강조되는 해법은 확장 가능한 AI 거버넌스다. 거버넌스는 AI가 어디에서 어떻게 작동할 수 있는지, 어떻게 설계되는지, 프로세스의 각 부분에 대해 누가 책임을 지는지 규정하는 정책과 규칙의 체계를 뜻한다. Anderson-Williams는 많은 사람들이 여러 도구와 기술을 사서 붙였지만, 그 기술이 어떻게 적용되는지에 대한 거버넌스가 없었다고 지적했다. 실험 단계에서는 느슨한 방식이 가능할 수 있지만, AI와 에이전트형 AI가 고위험 업무와 대규모 배포로 확대될수록 최신의 명확한 거버넌스는 필수 조건이 된다.

6. 기존 규칙을 확장하고 재검토해야 하는 이유

Maybury는 견고한 AI 거버넌스 기반이 중요한 보호 장치를 제공하고 위험을 줄이는 데 도움이 된다고 말했다. 다만 이는 새 문서를 하나 만드는 수준이 아니라, 기존 프로세스를 면밀히 들여다보고 필요한 경우 과거의 거버넌스 규칙을 수정하거나 확장하는 작업을 포함한다. 기업이 AI를 더 넓은 업무 흐름에 통합할수록 기존 통제 방식이 새 운영 속도와 규모에 맞는지 점검해야 한다. Maybury가 말한 ‘확장 가능한 거버넌스’는 바로 이런 의미로, AI 사용량이 늘어나도 규칙과 책임 체계가 무너지지 않아야 한다는 요구를 담고 있다.

7. Indeed 사례: 지속적 테스트와 결과 비교

Indeed의 최고 정보·보안 책임자인 Anthony Moisant도 대규모 서비스에서 인간을 모든 루프에 넣기 어렵다는 점에 동의했다. Indeed는 6억 4,500만 명의 구직자와 350만 고용주가 사용하는 구인 서비스로 소개되며, 이런 규모에서는 AI가 포함된 프로세스를 일일이 인간이 확인하기 어렵다. Moisant는 AI가 관여하는 프로세스를 지속적으로 테스트해 결과가 원하는 목표와 얼마나 일치하는지 평가해야 한다고 제안했다. 이는 사전 규칙만으로 충분하지 않으며, 실제 운영 중 산출물과 목표 결과를 계속 비교하는 피드백 구조가 필요하다는 관점이다.

8. 결정론적 업무와 판단이 필요한 업무의 구분

Xero의 최고 제품·기술 책임자인 Diya Jolly는 AI를 어디까지 자율적으로 둘 수 있는지를 판단할 때 업무의 성격을 봐야 한다고 말했다. 어떤 업무가 명확한 답을 가진 결정론적 상황이라면, 에이전트가 꽤 멀리까지 진행하도록 허용할 수 있으며 결과도 원하는 값과 비교해 쉽게 테스트할 수 있다. 반대로 의사결정 안에 판단이 포함되는 경우에는 인간을 루프에서 빼는 일이 훨씬 어려워진다. 이 구분은 기업이 AI 통제를 일괄적으로 설계하기보다, 업무별로 측정 가능성·위험·판단 필요성을 따져 개입 수준을 조정해야 한다는 결론으로 연결된다.

🧾 핵심 주장 / 시사점

• AI 운영의 핵심 질문은 ‘사람이 검토해야 하는가’에서 ‘사람이 검토할 수 없는 규모를 어떤 규칙과 테스트로 통제할 것인가’로 이동하고 있다.
• 기업이 AI 도입을 도구 구매 중심으로 진행하면 규모가 커질수록 책임 소재와 허용 범위가 불명확해질 수 있으므로, 사용 사례와 목표 결과를 먼저 정의하는 과정이 중요하다.
• 모든 AI 업무에 같은 감독 수준을 적용하기보다, 결정론적 업무와 판단이 필요한 업무를 구분해 자율성·테스트·인간 개입의 정도를 다르게 설계해야 한다.

✅ 액션 아이템

• AI 에이전트 운영에서는 결정론적 작업과 판단이 필요한 작업을 분리하고, 각 범주별로 사람 개입 지점과 승인 책임을 명시한다.
• 수조 건 거래와 분산 워크로드 환경을 감안해 AI 간 직접 상호작용이 많은 루프에 대해 기존 규칙의 적용 범위와 예외 조건을 확장형 거버넌스로 정비한다.
• AI가 포함된 프로세스는 목표 결과와 실제 결과를 정기적으로 비교하며, 편차가 임계치에 접근하면 즉시 인간 검토 경로로 전환한다.

❓ 열린 질문

• 현재 조직에서 AI가 동작할 수 있는 업무 영역을 어디까지 허용할지, 위험도별 허용 범위는 어떤 원칙으로 결정할 것인가?
• 의료처럼 결과가 생명에 직결될 수 있는 고위험 분야에서 오류 책임 주체는 누가 지며, 최종 승인 절차는 어느 단계에서 작동해야 하는가?
• 대규모 에이전트 상호작용 환경에서 인간 개입 수준을 어떻게 설계해 판별 기준, 교체 시점, 복귀 지점을 계량적으로 관리할 것인가?