Articleaws.amazon.com·2026년 11월 17일·0

Responsible AI for agentic AI: A phased roadmap for platform and application teams

Quick Summary

AWS는 여러 단계에 걸쳐 도구를 선택하고 행동하는 AI 에이전트를 위해, 플랫폼 팀과 애플리케이션 팀이 책임 있는 AI를 거버넌스 기반 구축, 파일럿 배포, 평가 및 강화의 3단계로 적용하는 방안을 제안한다.

Responsible AI for agentic AI: A phased roadmap for platform and application teams 관련 대표 이미지

🖼️ 인포그래픽

Responsible AI for agentic AI: A phased roadmap for platform and application teams 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Responsible AI for agentic AI: A phased roadmap for platform and application teams의 핵심 내용을 4단계로 요약한 인포그래픽
Responsible AI for agentic AI: A phased roadmap for platform and application teams 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

AWS는 여러 단계에 걸쳐 도구를 선택하고 행동하는 AI 에이전트를 위해, 플랫폼 팀과 애플리케이션 팀이 책임 있는 AI를 거버넌스 기반 구축, 파일럿 배포, 평가 및 강화의 3단계로 적용하는 방안을 제안한다.

📌 핵심 요약

  • 에이전트는 같은 입력에도 다른 결과를 낼 수 있고, 한 번의 오류가 후속 서비스로 번질 수 있다. AWS는 독일 금융서비스 기업에서 단일 오분류가 후속 서비스 3곳의 정책 위반으로 이어진 사례를 소개한다.
  • Responsible AI Assessment Skill은 AWS Responsible AI Lens의 평가 항목을 3단계 성숙도 모형에 연결한다. 두 팀은 스코어카드로 현재 수준을 평가하고, 제안된 12주 일정을 상황에 맞게 조정할 수 있다.
  • 거버넌스 기반 구축 단계에서 애플리케이션 팀은 사용 사례별 위험 등급을 정한다. 플랫폼 팀은 공통 접근 통제와 모니터링을 마련하고, 조직은 기반 모델을 심사하고 에이전트·공유 도구·스킬의 소유자와 규제 적용 범위를 등록한다.
  • 파일럿 배포 단계에서 플랫폼 팀은 개인정보 보호 등 공통 통제를 제공한다. 애플리케이션 팀은 응답이 관련 자료에 근거하는지 검증하고, 신뢰도가 낮은 응답을 사람에게 넘길 기준과 고위험 행동에 사람의 승인이 필요한 조건을 정한다.
  • 평가 및 강화 단계에서는 모델의 공정성과 에이전트의 도구 선택·자원 배분이 집단별로 공정한지를 구분해 평가한다. 모델이나 데이터 출처가 바뀐 뒤에도 공정성이 유지되는지 추적하고 발견한 문제를 개선한다.

🧩 주요 포인트

  1. 단일 오분류가 후속 서비스 3곳에 영향을 준 사례는 개별 모델의 정확도와 함께 에이전트 간 오류 전파도 평가해야 하는 이유를 보여준다.
  2. 공통 통제는 플랫폼 팀이 마련하고 사용 사례별 위험 등급과 사람의 승인 조건은 애플리케이션 팀이 구체화하므로, 두 팀의 책임 경계를 배포 전에 정할 수 있다.
  3. 모델의 공정성 평가를 통과해도 도구 선택·자원 배분 과정에서 집단별 차이가 생길 수 있으므로, 전체 에이전트 흐름을 별도로 평가할 필요가 있다.

🧠 상세 정리

1. 모델에서 에이전트의 행동으로 넓어진 책임

기존의 책임 있는 AI는 주로 모델의 학습·시험·추론을 다뤘고, 모델을 사용하는 시스템도 알려진 입력으로 시험할 수 있는 상황을 중심으로 검토했다. 생성형 AI 에이전트는 여러 단계에 걸쳐 판단하고 그때마다 도구를 조합해 행동하므로, 처음에 어떤 자료를 제공했는지만으로는 최종 결과를 설명하기 어렵다. 예를 들어 부동산 앱은 조회한 정보를 바탕으로 매물을 소개하면서도 실제로 없는 시설을 덧붙일 수 있고, 고객 서비스 에이전트는 내부 지식 기반에 있는 기밀을 답변에 드러낼 수 있다. AWS는 신뢰가 경쟁력을 좌우할 수 있다는 견해를 소개하며, 대규모 개인화를 가능하게 하는 기능이 감시나 차별에도 쓰일 수 있다고 지적한다. 긍정적 사례로는 Robinhood가 Amazon Bedrock 기반 금융범죄 대응 에이전트에 엄격한 데이터 거버넌스를 적용해 규제 준수를 유지하면서 효율을 20% 높였다고 전한다.

2. 고객 사례에서 드러난 네 가지 운영 과제

AWS가 고객과의 대화에서 파악한 과제는 실행 결과의 예측 불가능성, 데이터 노출과 권한 경계, 빠르게 변하는 규제 환경, 팀 간 책임 분담이다. 독일 금융서비스 기업에서는 여러 에이전트가 연계된 탓에 한 번의 오분류가 후속 서비스 3곳의 정책 위반으로 번졌다고 한다. 데이터와 권한 측면에서는 세션별 맥락을 격리하고, 에이전트가 지정된 고객과 시스템 범위 안에서 주어진 업무에 필요한 권한만 행사하도록 제한해야 한다. AWS는 EU AI Act, ISO 42001, NIST AI RMF 등을 언급하며, 실행 결과가 달라질 수 있는 시스템의 준수 상태를 입증하려면 일별·주별·월별 등 사전에 정한 주기로 평가를 반복해야 한다고 본다. 영국 미디어 기업이 제기한 문제는 개발팀과 배포팀의 직무 분리였다. 책임 경계가 불분명하면 애플리케이션 팀이 공통 통제를 우회하거나 플랫폼 팀이 위험을 이미 처리했다고 여길 수 있다.

3. 두 팀이 함께 사용하는 3단계 성숙도 모형

AWS가 다루는 에이전트 플랫폼은 조직이 에이전트를 대규모로 구축·배포·운영하는 시스템으로, 거버넌스부터 평가와 실행 상태 관찰까지 포괄한다. 플랫폼 팀은 여러 애플리케이션에 공통으로 적용할 보호 장치를 마련하고, 애플리케이션 팀은 그 범위 안에서 개별 에이전트를 구축하고 책임진다. Responsible AI Assessment Skill은 AWS Responsible AI Lens의 항목을 거버넌스 기반 구축, 파일럿 배포, 평가 및 강화에 연결해 각 단계에서 무엇을 먼저 살피고 언제 다시 평가할지 제시한다. 함께 제공되는 스코어카드를 사용하면 두 팀이 같은 기준으로 현재 수준을 파악하고 애플리케이션이 성숙하면서 달라진 점을 확인할 수 있다. AWS가 제시하는 12주는 첫 사용 사례를 개발하는 동안 공통 기반도 마련할 수 있도록 조정 가능한 일정이며, 개별 사안의 법률·규제 판단은 법무팀과 협의하도록 안내한다.

4. 1단계에서 정하는 위험 등급과 데이터 접근 경계

첫 단계에서 애플리케이션 팀은 예정된 사용 사례가 사업 목적에 맞는지, 어떤 위험과 윤리적 문제가 있는지 검토하고 필요한 법무·규제 준수 승인을 확보한다. 위험 분류 기준은 EU AI Act의 위험 체계나 금융서비스 분야의 요건 등 조직에 적용되는 의무를 반영하며, 사용 사례를 낮음·중간·높음·수용 불가로 나눠 등급마다 필요한 통제와 증빙을 명시한다. 플랫폼 팀은 새 에이전트가 처음부터 공통 관리 범위에 들어오도록 모니터링과 접근 통제의 기반을 마련한다. 이때 조직 지식 기반처럼 여러 에이전트가 공유하는 자료와 개별 에이전트에 필요한 맥락 데이터를 구분해야 누가 무엇을 읽고 쓸 수 있는지 정할 수 있다. 각 에이전트가 어떤 데이터와 시스템을 필요로 하며 접근 시 어떤 영향이 있는지 파악한 결과는 이후 응답의 근거로 사용할 지식 출처를 정하는 데도 쓰인다.

5. 1단계의 모델 심사와 에이전트 등록

AWS는 에이전트를 플랫폼에 도입하기 전에 그 에이전트가 사용할 기반 모델부터 안전성과 신뢰성 기준에 따라 평가하도록 제안한다. 승인된 모델은 기능, 응답 지연, 비용을 기준으로 목록화해 애플리케이션 팀이 용도에 맞는 모델을 검토할 수 있게 한다. 모델 심사와 별도로 조직에 배포되는 에이전트, 공유 도구, 스킬은 중앙 등록부에 올리고 각각 소유자, 위험 등급, 규제 적용 범위를 기록한다. 그래야 팀들이 어떤 자원을 찾아 사용할 수 있는지 파악하고, 특정 자원에 문제가 생겼을 때 누가 책임을 지는지 확인할 수 있다. AWS는 등록되지 않은 에이전트나 도구, 스킬은 조직 차원에서 발견하고 관리할 수 없다고 지적하며, 첫 사용 사례부터 등록 절차를 적용하는 것을 거버넌스 기반 구축에 포함한다.

6. 2단계에서 검증하는 응답의 안전성과 근거

파일럿에서는 측정 가능한 사업 가치를 제공할 첫 에이전트를 배포하면서, 앞서 식별한 위험에 실제 통제를 적용한다. 플랫폼 팀은 모델의 입력·출력과 도구 호출에서 개인식별정보를 가리는 기본 필터와 공통 규칙을 제공하고, 애플리케이션 팀은 사용 사례에 맞춰 콘텐츠 제한 기준과 신뢰도가 낮은 응답을 사람에게 넘길 조건을 정한다. 적절한 자료를 제공해도 모델이 내용을 왜곡하거나 없는 사실을 덧붙일 수 있으므로, 응답마다 관련 자료가 그 내용을 실제로 뒷받침하는지 확인한다. 규제 대상 사용 사례에는 출력을 검증하기 위한 자동 추론 적용을 제안하며, 지식 출처를 선별·갱신하는 절차와 담당 범위를 벗어난 요청의 처리 기준도 마련한다. 도구 사용에 대해서는 각 에이전트가 어떤 도구에 어떤 방식으로 접근할 수 있는지 정하고, 정책 위반이 발생했을 때 취할 대체 조치도 정의한다.

7. 2단계의 사람 승인과 실행 기록

AWS는 에이전트가 고위험 행동을 하거나 사용자를 대신해 행동할 때, 실행을 멈추고 사람의 승인을 받을 수 있도록 기준을 정의하라고 제안한다. 예를 들어 응답 신뢰도가 정한 수준보다 낮거나 안전 규칙이 작동했을 때, 또는 결과의 영향이 큰 결정을 앞뒀을 때 사람에게 넘기고 그 사실을 기록해 추후 감사와 분석에 활용한다. 최종 사용자는 자신이 부여한 접근 권한과 하위 에이전트에 위임된 권한을 검토하고 필요에 따라 부여하거나 회수할 수 있어야 한다. 여러 에이전트와 도구에 걸친 실행을 재구성할 수 있도록 세션 전체에서 개별 작업에 이르기까지 에이전트의 결정, 보호 장치의 작동, 도구 호출을 연결해 기록한다. 이와 함께 도구와 지식 출처별로 최소 권한을 적용해, 사람의 승인 기준과 시스템이 실제 허용하는 행동 범위를 모두 관리한다.

8. 3단계에서 구분하는 모델 공정성과 에이전트 공정성

첫 에이전트가 사업 가치를 보인 뒤에는 규제기관·감사인·이사회에 그 성과와 통제 상태를 어떻게 입증할지, 평가에서 드러난 문제를 어떻게 고칠지가 과제로 바뀐다. 모델 수준에서는 모델 카드의 공정성 지표를 확인하고 일반적인 편향을 시험한 사전 승인 모델로 접근을 제한하며, 지표가 없으면 CEB나 HELM 같은 벤치마크를 이용해 직접 평가하도록 제안한다. 에이전트 수준에서는 최종 응답뿐 아니라 요청을 어디로 보내는지, 어떤 도구를 선택하는지, 자원을 어떻게 나누는지가 사용자 집단별로 공정한지도 살핀다. 모델을 갱신하거나 데이터 출처를 추가하면 이전 평가 결과가 달라질 수 있으므로, 시간이 지나면서 공정성이 저하되는지 자동으로 점검하고 발견한 문제를 개선한다. AWS는 이 단계의 중점 항목에 설명 가능성, 투명성, 보안과 개인정보 보호도 포함한다. 제공된 원문은 투명성 조치로 기계 생성 콘텐츠에 기계가 읽을 수 있는 출처 표시를 붙이는 방안을 언급하는 대목에서 끝난다.

🧾 핵심 주장 / 시사점

  • 지식 출처에 접근할 권한이 있는지와 답변이 그 출처의 내용을 충실히 반영하는지는 별개의 문제다. 데이터 접근 통제와 응답 근거 검증은 서로 다른 실패를 다룬다.
  • 사람의 감독은 에이전트의 행동에 개입할 시점을 정할 때 구체화된다. 승인 조건은 실행 전에 개입할 근거를 제공하고, 실행 기록은 이후 어떤 결정이 내려졌는지 확인할 근거를 제공한다.
  • 공정성 평가는 같은 질문에 어떤 답을 했는지에서 끝나지 않는다. 사용자 집단에 따라 요청이 다른 도구로 전달되거나 자원이 다르게 배분되는지도 살펴야 서비스 전체의 영향을 판단할 수 있다.

✅ 액션 아이템

  • 플랫폼 팀과 애플리케이션 팀이 스코어카드로 현재 수준을 함께 평가하고, 12주 일정을 사용 사례에 맞게 조정한다.
  • 파일럿 배포 전에 사용 사례별 위험 등급을 정하고, 신뢰도가 낮은 응답을 사람에게 넘길 기준과 고위험 행동에 사람의 승인이 필요한 조건을 명시한다.
  • 모델의 공정성과 도구 선택·자원 배분의 공정성을 각각 평가하고, 모델이나 데이터 출처가 바뀐 뒤 결과를 다시 확인한다.

❓ 열린 질문

  • 플랫폼 팀과 애플리케이션 팀이 스코어카드로 평가했을 때 현재 사용 사례에서 먼저 보완해야 할 항목은 무엇인가?
  • 파일럿 배포에서 어떤 응답을 신뢰도가 낮다고 판단해 사람에게 넘기고, 어떤 고위험 행동에 사람의 승인을 요구할 것인가?
  • 모델의 공정성이 유지되더라도 도구 선택·자원 배분에서 사용자 집단별 차이가 생기는지 어떻게 확인할 수 있는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.