How Standard Bank Group automates AI risk assessment for generative AI
Quick Summary
Standard Bank Group은 AWS와 생성형 AI 위험 평가를 자동화해 기존 위험위원회의 판단을 지원하며, 공동 작성 글은 6회 평가에서 약 2시간의 보고서 생성과 개선 조치 후 위험 점수 14% 개선을 보고한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Standard Bank Group은 AWS와 생성형 AI 위험 평가를 자동화해 기존 위험위원회의 판단을 지원하며, 공동 작성 글은 6회 평가에서 약 2시간의 보고서 생성과 개선 조치 후 위험 점수 14% 개선을 보고한다.
📌 핵심 요약
- Standard Bank Group은 AWS Professional Services와 협력해 국제 AI 표준과 내부 정책에 대한 증거 수집·검증을 자동화했으며, 최종 검토와 승인은 기존 위험위원회가 담당한다.
- 평가는 은행 자체 AWS 계정에서 실행된다. AWS Well-Architected Tool이 평가 접수를, AWS Step Functions가 처리 흐름을, Amazon Bedrock의 기반 모델이 증거 평가를 맡고 자료와 결과는 Amazon S3에 저장된다.
- 사전 평가 에이전트가 약 40개 위험 질문에 대한 답변과 근거를 미리 채우고 담당 팀이 검토한다. 이후 문서·코드·애플리케이션 동작을 대상으로 300개가 넘는 판정 질문을 적용하며, 증거 부족과 심각도를 결합해 위험 등급을 산출한다.
- 모델의 판정은 증거와 함께 저장되고 반복 평가의 불일치는 사람의 검토 대상으로 표시된다. 평가 결과는 규제 준수를 인증하지 않으며, 규제 판단의 책임은 Standard Bank Group에 남는다.
- 글은 기존 수작업 검토에 2주가 걸리던 과정에서 약 2시간 만에 종합 위험 보고서를 생성한 성과가 6회 평가로 입증됐고, 개선 조치 후 사용 사례 위험 점수가 14% 개선됐다고 설명한다. 현재 운영 환경에서 출시 전 평가를 수행하며, 실제 운영 워크로드 연결 후 정기 평가와 코드·설정 변경에 따른 재평가는 향후 계획이다.
🧩 주요 포인트
- 모델과 도구가 3~6개월마다 바뀌는 환경 → 기존 위험위원회의 승인 체계를 유지하면서 증거 수집과 검증의 반복 부담을 줄이는 접근이다.
- 국제 AI 표준·내부 정책을 구체적인 판정 질문과 증거에 연결 → 평가 결과의 추적 가능성을 높이지만, 증거 부족에 따른 위험 등급과 규제 준수 판단은 구분해야 한다.
- 회 평가에서 보고된 처리 시간 단축과 위험 점수 14% 개선 → 초기 적용 성과를 보여주며, 출시 후 재평가의 효과와 더 넓은 적용 범위에서의 성과는 추가 확인이 필요하다.
🧠 상세 정리
1. 기존 위험 관리 체계에 자동화를 결합
글은 생성형 AI 애플리케이션을 며칠 안에 만들 수 있어도 고객이나 직원에게 제공하기 전에는 위험위원회의 승인이 필요하다는 문제에서 출발한다. 검토자가 문서를 읽고 시스템을 직접 시험하는 방식에서는 거버넌스가 전체 과정의 가장 느린 단계가 될 수 있다는 설명이다. Standard Bank Group에는 이미 설명 가능성과 공정성 등을 다루는 모델 위험 관리와, 출시 전 사용 사례별 위험 수준을 평가하는 변경 위험 관리 절차가 있었다. 모델과 도구가 3~6개월마다 바뀌는 상황에서도 높은 보안·준법 기준을 유지해야 하므로, 은행은 새로운 정책을 만드는 대신 기존 절차에 필요한 증거 수집과 검증을 자동화했다. AWS Professional Services와 구축한 평가 체계는 사용 사례마다 일관된 방식으로 근거를 제공하고, 검토와 승인 권한은 기존 위험위원회에 남겨두는 구조다.
2. 은행의 AWS 계정 안에서 실행되는 평가
평가 전체는 Standard Bank Group 자체 AWS 계정에서 실행되며, 문서와 코드 및 시험 결과는 해당 계정의 Amazon S3 버킷에 보관된다. AWS Well-Architected Tool은 평가 접수를 담당하고, AWS Step Functions는 처리 흐름을 조율하며, Amazon Bedrock의 기반 모델은 정해진 기준에 따라 증거를 판단하는 LLM-as-a-judge 역할을 맡는다. 은행은 다른 AWS 워크로드와 마찬가지로 AWS Identity and Access Management를 통해 모델 접근을 통제한다. 글은 Amazon Bedrock이 은행의 모델 입력과 출력을 모델 제공자에게 공유하지 않고 모델 학습에도 사용하지 않는다고 설명한다. 하나의 API에서 여러 기반 모델을 제공하므로 설정 변경으로 판정 모델을 교체할 수 있지만, 사용할 수 있는 모델은 AWS 리전에 따라 다르다는 제약도 제시한다.
3. 사전 평가 에이전트와 증거 수집
AWS Well-Architected Tool의 사용자 지정 렌즈에는 기술 문서의 불충분함이나 인간 감독의 부족처럼 위험 사건을 다루는 질문이 약 40개 들어 있다. AWS Fargate에서 실행되는 사전 평가 에이전트는 사용 사례의 코드 저장소와 문서를 살펴보고, 관련 파일을 질문에 연결해 답변과 증거 링크를 미리 채운다. 담당 팀은 이 답변을 검토해 오류를 수정하고 에이전트가 찾지 못한 근거를 보완하므로, 자동 수집 결과가 그대로 확정되는 방식은 아니다. 이후 평가에는 시스템의 설계·구현·평가를 설명하는 문서, 역할과 절차를 정한 정책 문서, 소스 코드와 시스템 동작 지침, 실제 애플리케이션 응답이라는 네 종류의 증거가 사용된다. 문서와 코드에서는 연결된 통제가 요구하는 내용이 실제로 포함돼 있는지 확인하며, 사고 처리 절차라면 사고 보고 방식에 관한 설명이 있는지가 그 예다.
4. 문서상 통제와 실제 동작을 함께 검증
평가는 문서에 통제가 적혀 있는지만 확인하지 않고, 애플리케이션이 실제로 어떻게 응답하는지도 살펴보도록 구성됐다. 담당 팀이 제공한 일반적인 사용자 질문과 안전성·사용 범위 관련 시험을 통해 기대한 동작과 부적절한 응답을 방지하는 통제의 작동 여부를 평가한다. 또한 같은 의미의 요청에 대한 응답들이 의미상 일관되는지 확인하고, 담당 팀이 기대 답변을 제공한 경우에는 실제 응답과의 일치 정도를 측정한다. 이 과정에서 Amazon Bedrock의 임베딩 모델을 활용하며, 모든 응답은 Amazon S3에 저장해 검토자가 실제 생성 결과를 확인할 수 있게 한다. 문서에 명시된 통제와 관찰된 시스템 동작을 함께 근거로 삼는다는 점이 특징이지만, 글은 이러한 시험만으로 모든 상황의 안전성을 보장한다고 주장하지는 않는다.
5. 표준별 판정 질문과 위험 등급 산정
Amazon Bedrock의 판정 모델은 별도 미세 조정이나 맞춤화 없이 사용되며, 각 질문에 필요한 구체적 증거가 자료와 애플리케이션 응답에 있는지를 예 또는 아니요로 판단한다. 각 검사는 AI 관리·위험·보안에 관한 국제 표준이나 프레임워크의 통제와 연결되고, 은행 자체 기준에서 만든 질문을 더해 전체 판정 질문은 300개를 넘는다. 평가 범위는 AWS 책임 있는 AI의 여덟 차원인 진실성 및 견고성, 개인정보 보호 및 보안, 투명성, 공정성, 안전성, 통제 가능성, 거버넌스, 설명 가능성을 포괄한다. 각 위험의 발생 가능성 점수는 요구된 증거 중 모델이 찾지 못한 비율로 계산되며, 위험팀이 조정할 수 있는 사전 지정 심각도와 결합해 매우 낮음부터 치명적까지의 등급을 만든다. 누락된 증거는 구체적인 완화 조치와 해당 표준·정책 조항에 연결되므로, 위험 담당자는 판단의 근거를 원래 출처까지 추적할 수 있다.
6. 판정 모델의 보호와 사람의 검증
은행은 평가 모델 자체의 출력도 보호하고 검증해야 할 대상으로 다룬다. 모든 AI 모델 상호작용에는 Amazon Bedrock Guardrails가 적용되며, 유해 콘텐츠와 모델 조작 시도를 걸러내는 등 은행의 보안 및 책임 있는 AI 기준에 맞춘 보호 장치를 거친다고 글은 설명한다. 판정 과정에서는 자유로운 의견을 요구하는 대신 특정 통제에 대응하는 좁은 범위의 예·아니요 질문을 사용하고, 위험팀이 확인할 수 있는 고정 산식으로 답변을 점수로 변환한다. 각 평가는 여러 차례 실행해 답변의 일관성을 측정하며, 결과가 일치하지 않는 항목은 검토 화면에 표시한다. 모든 판정은 근거 증거와 함께 저장돼 검토자와 감사자가 판단 과정을 확인할 수 있지만, 이러한 장치가 모델의 오류 가능성 자체를 없앤다고 제시되지는 않는다.
7. 대상별 보고와 내부 정책의 평가 반영
평가 결과는 표준화된 형식으로 요약돼 경영진용 발표 자료, 완화 조치 체크리스트, 상세 기술 보고서, 사용 사례별 점수의 시간에 따른 변화를 보여주는 Amazon CloudWatch 대시보드로 제공된다. 승인 결정에 앞서 검토자는 단일 로그인 방식의 전용 검토 화면에서 결과를 확인하고, 질문을 검토하거나 업무상 근거를 첨부해 답변과 출력을 수정할 수 있다. 다만 이 평가는 통제에 관한 증거를 제공할 뿐 규제 준수를 인증하지 않으며, 규제 관련 판단의 책임은 Standard Bank Group에 있다. 국제 표준의 공통 기준에 더해 은행 자체 정책을 반영하기 위해, 내부 문서에서 추가 판정 질문을 생성하는 question factory도 활용한다. 위험팀은 이를 통해 내부 정책을 모든 사용 사례에 적용되는 검사로 바꿨으며, 글은 정책이 바뀌면 이후 평가에 적용되는 검사도 최소한의 수작업으로 갱신할 수 있다고 설명한다.
8. 생애주기 적용과 초기 성과의 범위
개념 검증 단계에서 평가는 잠재적인 부족 사항을 일찍 파악하기 위한 선택 사항이지만, 구축 단계부터는 필수가 되고 승인 절차에서 공식 증거로 활용된다. 현재 평가 체계는 Standard Bank Group의 운영 환경에서 출시 전 사용 사례를 평가하며, 은행 팀은 접수부터 평가까지 연결된 중앙 시스템을 통해 직접 평가를 시작하고 있다. 실제 운영 워크로드를 연결한 뒤 일정 주기나 코드·설정 변경에 맞춰 다시 평가하는 기능은 향후 운영 방식으로 제시된다. AWS와 은행이 공동 작성한 글은 기존 수작업 검토에 2주가 걸리던 과정에서 약 2시간 만에 종합 위험 보고서를 생성한 성과가 6회 평가를 통해 입증됐고, 개선 조치 이후 사용 사례 위험 점수가 14% 개선됐다고 보고한다. 다만 보고서 생성 시간과 최종 승인까지의 전체 소요 시간은 구분해야 하며, 제공된 원문에는 더 넓은 적용 범위의 성과나 14% 개선의 세부 산정 방식이 설명되지 않은 채 마지막 문장이 중간에서 끝난다.
🧾 핵심 주장 / 시사점
- 이 사례의 핵심은 위험위원회의 권한을 자동화하는 것이 아니라, 기존 승인 절차에서 사용하는 증거의 수집 방식과 비교 가능성을 표준화하는 데 있다.
- 증거 누락을 기준으로 산정한 위험 점수는 요구 사항의 충족 근거를 보여주는 지표로 해석할 필요가 있으며, 실제 사고 확률이나 규제 준수 인증과 동일하게 볼 수 없다.
- 출시 전 평가의 초기 성과는 제시됐지만, 정책과 시스템의 변화에 맞춰 증거를 지속적으로 갱신하는 효과는 향후 운영 워크로드 재평가가 적용된 이후 별도로 확인할 부분이다.
✅ 액션 아이템
- Standard Bank Group의 자동화 적용 범위를 증거 수집·검증과 기존 위험위원회의 최종 검토·승인으로 구분해 검토.
- 6회 평가에서 보고된 약 2시간의 보고서 생성과 위험 점수 14% 개선을 초기 성과로 해석하고, 전체 승인 기간과의 구분 유지.
- 국제 AI 표준·내부 정책에 대한 증거 평가와 규제 준수 판단을 구분하고, 출시 후 정기 평가 및 코드·설정 변경에 따른 재평가의 적용 여부 확인.
❓ 열린 질문
- 6회 평가에서 보고된 약 2시간의 보고서 생성 시간은 사용 사례별로 얼마나 달랐는가?
- 위험 점수 14% 개선은 어떤 기준과 집계 방식으로 산출됐는가?
- 출시 후 정기 평가와 코드·설정 변경에 따른 재평가가 적용되면 기존 위험위원회의 검토 부담은 어떻게 달라지는가?