Taxonomy of multi-agent design patterns, anti-patterns, and lessons from manufacturing
Quick Summary
AWS는 제조 현장의 멀티에이전트 설계에서 단일 에이전트로 가능한 일을 먼저 가려내고, 실행 순서를 미리 정할 수 있는지와 판단 오류의 비용을 기준으로 조정 방식을 선택하라고 제안한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
AWS는 제조 현장의 멀티에이전트 설계에서 단일 에이전트로 가능한 일을 먼저 가려내고, 실행 순서를 미리 정할 수 있는지와 판단 오류의 비용을 기준으로 조정 방식을 선택하라고 제안한다.
📌 핵심 요약
- AWS 글은 AI 파일럿의 약 88%가 운영 단계에 이르지 못한다는 수치를 인용한다. 별도로 Stanford HAI는 조정 비용이 협업의 이득을 넘으면 두 모델이 함께 낸 성과가 어느 한 모델의 단독 성과보다 낮을 수 있음을 보였다.
- 각 단계의 신뢰도가 95%이고 재시도 없이 순서대로 실행된다고 가정하면 전체 성공률은 10단계에서 59.9%, 20단계에서 35.8%다. 이는 의존적인 작업 인계가 늘어날 때의 영향을 보여주는 예시 계산이다.
- Tier 1은 개발자가 순차 실행·조건 분기·요청 분류·병렬 처리 경로를 미리 정한다. Tier 2는 모델이 실행 중 경로를 선택하며, 하위 작업을 미리 알기 어려운 경우에 유연성을 제공하지만 토큰 사용량과 지연, 디버깅 부담이 커진다.
- Tier 2에는 중앙 계획자가 독립 작업자에게 일을 배분하는 방식, 검증된 작업 상태를 동료에게 넘기는 방식, 공유 대화에서 발언자를 정하는 방식, 독립 판단을 모아 합의하는 방식이 있다. 글은 비용이 가장 큰 토론·합의를 오판 비용이 높고 처리 건수가 적은 결정에 한정하라고 권한다.
- 글은 한 에이전트에 몰린 도구, 무제한 재시도, 자유 서술형 인계, 이른 멀티에이전트 도입, 승인 없는 외부 행동을 다섯 가지 실패 유형으로 꼽는다. 고객 연락이나 설비 매개변수 변경에는 Amazon Bedrock Guardrails, 스키마 검증, 업무 규칙, 사람의 승인을 거쳐 실행하는 방식을 제시한다.
🧩 주요 포인트
- 단일 에이전트가 도구를 바꿔 각 단계를 처리할 수 있다면 역할 분리는 인계 비용만 더할 수 있다. 별도 모델이나 도구 접근 권한, 동시 실행, 실제 작업 의존성이 필요한지가 도입 판단의 근거다.
- 재시도 범위는 작업 구조에 따라 달라진다. 순차 작업의 실패에는 반복 상한을 두고, 독립적인 병렬 작업의 실패는 해당 경로에서만 재시도할 수 있다.
- 에이전트 사이에서는 관찰의 불확실성이 인계 중 사라질 수 있고, 고객이나 설비에 이르는 단계에서는 잘못된 판단이 실제 행동이 된다. 검증된 작업 상태와 사람의 승인은 각각 다른 지점의 위험을 다룬다.
🧠 상세 정리
1. 모델 성능과 작업 전체의 성공률
AWS는 기업의 초기 멀티에이전트 구현이 기대에 미치지 못할 때 모델 자체가 원인인 경우는 드물다고 진단한다. 여러 에이전트가 서로의 결과를 받아 움직이므로, 개별 모델이 한 작업을 얼마나 잘하는지와 시스템이 전체 작업을 얼마나 안정적으로 끝내는지는 구분해서 봐야 한다는 설명이다. 글은 AI 파일럿의 약 88%가 운영 단계에 이르지 못한다는 수치와, 조정 부담이 크면 두 모델의 협업 성과가 각각의 단독 성과보다 낮아질 수 있다는 Stanford HAI의 결과를 소개한다. 단계마다 성공률이 95%여도 앞 단계의 성공에 의존하는 순차 작업이라면 전체 성공률은 10단계에서 59.9%, 20단계에서 35.8%로 떨어진다. 이 수치는 재시도가 없는 순차 실행을 가정한 계산이므로 실제 제조 현장의 장애율로 해석할 수는 없다.
2. 순차 파이프라인과 조건부 워크플로
Tier 1에서는 실행 전에 개발자가 작업 경로를 정한다. 순차 파이프라인에서는 추출 결과가 변환 단계로, 변환 결과가 검증 단계로 넘어가므로 어느 단계의 입력과 출력을 시험할지 분명하고 처리 비용도 예측하기 쉽다. 글은 문서 처리, 데이터 추출·변환·적재(ETL), 보증 청구의 초기 분류를 이런 순서가 적합한 예로 든다. 조건부 워크플로에서는 중간 결과에 따라 경로가 갈라지지만, 어떤 조건에서 어디로 갈지도 미리 정해 둔다. 코드 작성과 시험을 예로 들면 시험 통과 시 배포로 진행하고, 실패 시 작성 단계로 돌아가되 최대 N회에 이르면 사람에게 넘긴다. AWS Step Functions의 반복 제한처럼 실행을 관리하는 계층이 상한을 강제해야 이 복구 경로가 끝없는 재시도로 바뀌는 일을 막을 수 있다.
3. 요청 하나를 분류할 때와 여러 결과를 합칠 때
조건부 라우터는 요청을 받는 시점에 내용을 분류해 처리 경로 하나를 선택한다. 공장 감독자의 문의라면 부품이 규격을 충족하는지 묻는 요청은 품질 담당에게, 정비 기한을 넘긴 설비에 관한 요청은 유지보수 담당에게, 교대 변경 요청은 일정 담당에게 전달한다. 병렬 워크플로는 하나의 답을 내는 데 여러 독립 작업의 결과가 모두 필요할 때 쓰며, 각 담당자가 자신에게 배정된 자료를 동시에 분석한다. 글의 예에서는 재무·지정학·물류 담당자가 각자의 자료를 분석하고, 결과가 모두 도착하면 이를 종합해 상충하는 판단을 조정하고 발견 사항의 우선순위를 정한다. 이때 병렬 분석의 대기 시간은 가장 느린 담당자의 처리 시간에 좌우되며, 한 경로가 실패해도 그 경로만 다시 실행할 수 있다.
4. 중앙 계획자와 동료 간 인계
작업을 진행해야 필요한 하위 과제가 드러나는 경우에는 Tier 2에서 모델이 실행 경로를 정할 수 있다. 계획 기반 방식에서는 중앙의 계획자가 전체 맥락을 보고 담당자와 선후 관계를 명시한 계획을 유지하면서, 현재 진행 상황에 맞춰 조사·분석·보고 등의 일을 나눈다. 각 작업자는 배정된 부분만 전달받고 자체 상태를 유지하지 않으므로 한 작업자의 실패가 다른 작업자에게 번지지 않으며 계획자는 실패한 작업만 재시도할 수 있다. 동료 간 인계 방식에서는 각 에이전트가 자신이 아는 소수의 담당자 중 누구에게 언제 제어권을 넘길지 결정한다. 고객 상담 담당자가 기술 지원이나 청구 담당자에게 일을 넘길 때는 검증된 작업 상태와 판단 근거, 아직 풀리지 않은 질문을 함께 전달해야 다음 담당자가 앞선 대화를 다시 해석하지 않고 일을 이어갈 수 있다.
5. 공유 대화와 독립 판단의 합의
대화 기반 방식에서는 모든 에이전트가 같은 메시지를 보고, 누가 다음에 발언할지를 정하면서 작업을 이어간다. 작업 상태는 대화 기록에 암묵적으로 남으며, 종료 조건에 이를 때까지 정해진 순서로 돌아가며 발언하거나 모델이 대화 맥락에 맞춰 다음 발언자를 고를 수 있다. 토론·합의 방식에서는 여러 에이전트가 같은 입력을 평가하되 각자의 입장을 정할 때까지 다른 에이전트의 추론을 보지 않는다. 그래야 의견 차이가 독립적인 평가에서 비롯됐다고 볼 수 있으며, 이후 다수결이나 판정 에이전트의 판단으로 결론을 정하거나 불일치를 상위 판단에 맡길 수 있다. 글은 토론·합의가 소개된 방식 중 가장 비싸고 지각에 의존하는 품질 검사에서는 정확도 향상 없이 지연만 늘 수 있다고 지적하며, 처리 건수가 적고 오판 비용이 숙고 비용보다 큰 결정에 쓰라고 권한다.
6. 패턴을 조합하는 기준과 도구 집중의 비용
글에 따르면 실제 운영 시스템은 예측 가능한 업무에 고정된 워크플로를 쓰고, 진행 중 적응이 필요한 부분에 자율적인 판단을 넣는 식으로 여러 패턴을 조합하는 경우가 많다. 복잡한 에이전트의 내부 작업에도 성격에 맞는 다른 패턴을 적용할 수 있으며, 어느 계층에서든 위임과 종료 조건은 일관되게 관리해야 한다. 제조 현장에서는 생산 요구에 맞춰 한 단위를 처리해야 하는 시간인 택트 타임, 안전 경계, 현장 장치의 데이터, 교대 주기도 설계에 영향을 준다. 역할 범위가 지나치게 넓은 예로 글은 한 에이전트가 도구 15개 이상을 다루면서 설비종합효율(OEE) 분석, 프로그램 가능 논리 제어기(PLC) 진단, 유지보수를 모두 맡는 구성을 든다. 도구가 늘면 적절한 도구를 고르기 어렵고 실패 원인도 추적하기 어려워지므로, 글은 역할을 한정하고 에이전트별 도구를 5개 이하로 두는 방안을 제시한다.
7. 재시도 비용과 인계 중 사라지는 불확실성
종료 조건이 없는 재시도에서는 개별 호출이 경보를 일으킬 만큼 크지 않아도 시스템 전체의 토큰 사용량이 계속 늘어날 수 있다. 글은 에이전트 네 개가 협력하는 구성에서는 첫 재시도에 이르기 전부터 상당한 토큰이 들 수 있고, 같은 조정 실패를 반복하면 비용이 더 커진다고 지적한다. 대응책으로는 코드에서 반복 횟수를 제한하고 에이전트마다 토큰 상한을 두며, 예산 경보가 울리면 인프라가 실행을 자동으로 멈추도록 하는 방식을 든다. 자유 서술형 인계에서는 비용과 다른 문제가 생긴다. 처음에는 마모 가능성을 시사한다는 관찰에 불과했던 내용이 다음 에이전트에게서 마모가 확인됐다는 판단으로 굳어지고, 결국 정비 지시로 이어질 수 있다. 글은 이렇게 판단의 확실성이 달라지는 곳이 추적하기 어려운 에이전트 사이의 인계 지점이라고 설명한다.
8. 에이전트를 나눌 조건과 실제 행동의 승인
글은 서로 다른 역할 이름을 붙여도 같은 모델이 도구만 바꿔 쓰는 구성이라면 전문 에이전트를 추가한 이득이 작고, 에이전트 수가 네 개 안팎에 이르면 추가 이득이 둔화한다고 설명한다. 분리 여부를 판단할 때는 서로 다른 모델이나 도구 접근 권한이 필요한지, 동시 실행의 이점과 실제 작업 간 의존성이 있는지 살피고, 한 에이전트가 단계에 맞춰 도구를 전환하는 것만으로 충분한지 묻는다. 한편 이메일 발송, 서비스 방문, 설비 매개변수 변경은 에이전트의 판단이 고객이나 물리적 환경에 직접 영향을 미치는 지점이다. 이 경계를 승인 없이 넘으면 잘못 생성된 내용이 되돌리기 어려운 행동으로 이어져 제조물 책임 문제로까지 확대될 수 있다. 글이 제시하는 순서는 에이전트가 행동을 권고하면 Amazon Bedrock Guardrails를 적용하고, 스키마와 업무 규칙을 확인한 뒤 사람의 승인을 거쳐 실행하는 것이다.
🧾 핵심 주장 / 시사점
- 같은 조건 분기라도 결정 시점에 따라 용도가 다르다. 요청의 성격으로 담당자를 정할 때는 입구의 라우터가, 작업 결과에 따라 재시도나 다음 단계를 정할 때는 조건부 워크플로가 맞는다.
- 독립성의 이점은 작업에 따라 달라진다. 병렬 분석에서는 서로 기다리지 않고 일할 수 있어 시간이 줄고, 토론·합의에서는 서로의 추론을 보기 전에 판단해야 불일치가 의미를 갖는다.
- 제조 현장에서 인계의 품질은 다음 담당자가 원래 관찰의 확실성을 보존하는지에 달려 있다. 마모 가능성을 마모 확정으로 바꾸는 작은 표현 차이도 정비 지시의 근거를 바꿀 수 있다.
✅ 액션 아이템
- 단일 에이전트가 도구를 바꿔 처리할 수 있는지 확인하고, 실행 중에 하위 작업이 드러나는 부분에 Tier 2 적용을 검토한다.
- 순차 작업에는 반복 상한을 정하고, 독립적인 병렬 작업은 실패한 경로만 재시도하도록 범위를 정한다.
- 고객 연락이나 설비 매개변수 변경은 Amazon Bedrock Guardrails, 스키마 검증, 업무 규칙 확인과 사람의 승인을 거쳐 실행하도록 한다.
❓ 열린 질문
- 어떤 하위 작업이 Tier 1에서 경로를 미리 정하기 어려워 Tier 2의 토큰 사용량과 지연을 감수할 만큼 유연성을 필요로 하는가?
- 토론·합의를 고려하는 결정은 처리 건수가 얼마나 적고 오판 비용이 얼마나 커야 추가 숙고가 정당화되는가?
- 고객 연락이나 설비 매개변수 변경이 사람의 승인에 이를 때, 검증된 작업 상태에 원래 관찰의 불확실성이 어떻게 보존되는가?