Building agentic AI applications with a modern data mesh strategy on AWS

🖼️ 인포그래픽

Building agentic AI applications with a modern data mesh strategy on AWS 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 글은 RAG의 단일 검색 지점 통제를 넘어, 에이전트형 AI가 스키마 탐색·SQL 생성·쿼리 실행·응답 합성까지 수행하는 전 과정에 세밀한 권한 통제를 적용하기 위한 AWS 기반 서버리스 데이터 메시 아키텍처를 설명한다.

📌 핵심 요약

에이전트형 AI는 고객 서비스 예시처럼 주문 데이터베이스 조회, 반품 정책 검색, 답변 합성을 자율적으로 수행하므로 조직 내 여러 데이터 소스에 대한 통제된 접근이 필요하다.
기존 RAG 방식은 벡터 검색 결과를 메타데이터로 필터링하는 단일 체크포인트 중심이었지만, 에이전트형 AI의 다단계 데이터 상호작용에는 충분하지 않다.
제안된 아키텍처는 S3 Vectors, S3 Tables, Lake Formation, Athena, AgentCore Gateway, Lambda 기반 MCP 도구를 조합해 각 계층에서 권한 검증을 수행하도록 구성된다.
S3 Tables는 Apache Iceberg 지원과 Lake Formation 통제를 통해 구조화 데이터를 다루며, 행·열·셀 수준 보안으로 인증된 고객의 데이터만 조회되도록 제한한다.
S3 Vectors는 비정형 지식 기반의 의미 검색을 담당하고, AgentCore Gateway는 MCP 도구 노출, 인증, 인터셉터, 정책 적용을 통해 에이전트와 데이터 메시 사이의 보안 경계를 형성한다.

🧩 주요 포인트

에이전트형 AI는 고객 서비스 예시처럼 주문 데이터베이스 조회, 반품 정책 검색, 답변 합성을 자율적으로 수행하므로 조직 내 여러 데이터 소스에 대한 통제된 접근이 필요하다.
기존 RAG 방식은 벡터 검색 결과를 메타데이터로 필터링하는 단일 체크포인트 중심이었지만, 에이전트형 AI의 다단계 데이터 상호작용에는 충분하지 않다.
제안된 아키텍처는 S3 Vectors, S3 Tables, Lake Formation, Athena, AgentCore Gateway, Lambda 기반 MCP 도구를 조합해 각 계층에서 권한 검증을 수행하도록 구성된다.
S3 Tables는 Apache Iceberg 지원과 Lake Formation 통제를 통해 구조화 데이터를 다루며, 행·열·셀 수준 보안으로 인증된 고객의 데이터만 조회되도록 제한한다.
S3 Vectors는 비정형 지식 기반의 의미 검색을 담당하고, AgentCore Gateway는 MCP 도구 노출, 인증, 인터셉터, 정책 적용을 통해 에이전트와 데이터 메시 사이의 보안 경계를 형성한다.

🧠 상세 정리

1. 에이전트형 AI가 만드는 새로운 데이터 접근 문제

글은 고객 서비스 에이전트가 주문 데이터베이스를 조회하고, 반품 정책을 찾아보고, 여러 출처의 정보를 합성해 답변하는 상황에서 출발한다. 이런 에이전트는 단순히 문서를 검색하는 수준을 넘어 조직 전반의 여러 데이터 소스에 접근한다. 따라서 데이터 상호작용 체인의 모든 계층에서 세밀한 접근 통제가 필요하다. 특히 에이전트가 데이터베이스 스키마를 자율적으로 발견하고 SQL을 구성하며 여러 소스의 데이터를 결합할 수 있기 때문에, 한 지점에서만 권한을 확인하는 방식은 거버넌스 공백을 만들 수 있다.

2. RAG 단일 체크포인트 통제의 한계

이전 접근법은 RAG 애플리케이션에서 벡터 검색 결과를 비즈니스 도메인이나 보안 분류 같은 메타데이터로 필터링해 세밀한 접근 통제를 적용하는 방식이었다. 이 방식이 가능했던 이유는 RAG의 데이터 흐름이 비교적 단순했기 때문이다. 미리 구축된 벡터 인덱스에서 청크를 검색하고, 메타데이터로 필터링한 뒤, 결과를 제시하는 구조였다. 그러나 에이전트형 AI에서는 테이블 발견, 스키마 이해, SQL 생성, 벡터 저장소 조회, 결과 합성이라는 여러 단계가 생기므로 각 단계마다 별도의 권한 판단이 필요해진다.

3. 서버리스 데이터 메시 아키텍처의 핵심 변경

글에서 제시하는 아키텍처는 운영 환경의 에이전트형 AI에 필요한 보안성과 확장성을 제공하는 서버리스 데이터 메시를 목표로 한다. 기존 구성에서 세 가지 주요 변경이 제시된다. 첫째, 지식 기반의 비용 최적화를 위해 Amazon OpenSearch Serverless 대신 Amazon S3 Vectors를 사용하며, 중간 수준의 쿼리 빈도에서는 특화 벡터 데이터베이스 대비 벡터 저장 및 쿼리 비용을 최대 90%까지 줄일 수 있다고 설명한다. 둘째, 일반 S3 대신 Apache Iceberg를 내장 지원하는 S3 Tables를 사용하고, Lake Formation으로 행·열·셀 수준 보안을 적용한다. 셋째, AgentCore Gateway와 Lambda 기반 인터셉터를 통해 데이터 메시를 MCP 도구로 노출한다.

4. 계층별 구조와 권한 적용 흐름

아키텍처는 에이전트 계층, 게이트웨이 계층, 도구 계층, 거버넌스가 적용된 데이터 메시 계층으로 나뉜다. 에이전트 계층에서는 고객이 AgentCore Runtime과 상호작용하며, 에이전트는 LangGraph 프레임워크 안에서 MCP 도구와 연동된다. 게이트웨이 계층은 JWT 검증과 스코프 적용을 수행하는 요청 인터셉터, 도구 필터링·데이터 마스킹·감사 로깅을 처리하는 응답 인터셉터, 그리고 입력과 출력의 안전성 평가를 수행하는 정책 및 가드레일을 포함한다. 도구 계층에는 get_user_tables, get_schema, run_query, kb_search라는 네 가지 Lambda 기반 MCP 도구가 배치되고, 데이터 계층에는 S3 Tables, Athena, Lake Formation, S3 Vectors가 사용된다.

5. 데이터 메시와 Lake Formation 기반 거버넌스

데이터 메시 접근법은 데이터 소유권을 도메인 팀에 분산하면서도 거버넌스와 검색 가능성은 중앙화한다. AWS 구성에서는 각 생산자 도메인이 자체 계정에 있고, 데이터 제품은 중앙 거버넌스 계정에 등록된다. 중앙 계정은 조직 전체의 AWS Glue Data Catalog와 Lake Formation 권한 정책을 관리하는 역할을 한다. 데이터 공유는 Lake Formation의 교차 계정 공유로 이루어지며, 실제 데이터는 복사되지 않고 소비자 카탈로그에 리소스 링크 형태로 메타데이터만 연결된다. 쿼리 시점에는 Lake Formation이 권한을 검증하고 쿼리 엔진에 임시 자격 증명을 발급한다.

6. S3 Tables와 구조화 데이터 보안

고객 서비스 에이전트의 구조화 데이터 예시로는 주문 관리 도메인 팀이 발행하는 주문 및 고객 데이터가 제시된다. S3 Tables는 Apache Iceberg를 내장 지원하는 클라우드 객체 저장소로 설명되며, 일반 S3 버킷 위에서 자체 관리하는 Iceberg 테이블보다 최대 10배 높은 초당 트랜잭션을 제공한다고 한다. 또한 압축, 스냅샷 관리, 참조되지 않는 파일 제거를 자동으로 처리한다. customer_orders, customer_profiles, interaction_history 같은 데이터 제품은 Athena에서 쿼리 가능하고 Lake Formation 권한으로 통제된다. customer_orders에는 customer_id = :customer_id 형태의 행 필터가 적용되어, 에이전트가 어떤 SQL을 만들더라도 인증된 고객의 레코드만 접근하게 한다.

7. S3 Vectors와 비정형 지식 검색

구조화 데이터만으로는 고객 질문에 충분히 답하기 어렵기 때문에, 글은 제품 매뉴얼, 반품 정책, FAQ, 문제 해결 가이드 같은 비정형 지식을 의미 검색으로 다루는 계층을 추가한다. Amazon S3 Vectors는 완전 서버리스 방식의 네이티브 벡터 저장 및 쿼리 기능을 제공하며, 인덱스당 최대 20억 개의 벡터를 지원한다고 설명된다. 또한 강한 쓰기 일관성을 제공해 새로 추가된 벡터가 즉시 쿼리 가능하다는 점이 강조된다. Bedrock 지식 기반 기능을 사용하는 고객은 S3 Vectors를 벡터 저장소로 선택할 수 있으며, 높은 QPS와 한 자릿수 밀리초 지연 시간이 필요한 경우에는 OpenSearch Serverless가 더 적합하다고 정리된다.

8. AgentCore Gateway와 MCP 도구 노출

거버넌스가 적용된 데이터 메시와 지식 기반을 마련한 뒤에는 이를 에이전트가 안전하고 표준화된 방식으로 사용할 수 있게 노출해야 한다. AgentCore Gateway는 AI 에이전트가 도구에 연결되는 방식을 관리하는 중앙 계층으로 설명된다. 이 계층은 인증, 관측 가능성, 정책 집행을 하나의 엔드포인트로 통합하고, Lambda 함수나 API, 기존 MCP 서버를 MCP 호환 도구로 변환한다. 에이전트는 OAuth Bearer 토큰을 사용해 스트리밍 가능한 HTTP 전송으로 연결한다. 네 가지 핵심 도구는 허용된 테이블 조회, 스키마 조회, 읽기 전용 SQL 검증 및 Athena 실행, 메타데이터 필터 기반 지식 검색을 각각 담당한다.

🧾 핵심 주장 / 시사점

에이전트형 AI의 보안 핵심은 모델 출력만 통제하는 것이 아니라, 도구 발견부터 쿼리 실행과 응답 합성까지 이어지는 전체 데이터 접근 경로를 계층별로 통제하는 데 있다.
RAG에서 효과적이었던 메타데이터 필터링은 단순 검색 흐름에는 적합하지만, 스키마 탐색과 SQL 생성이 포함되는 에이전트형 워크플로에는 권한 회수 지연과 복잡한 identity 정책 표현 한계가 생긴다.
데이터를 복사하지 않고 중앙 카탈로그와 Lake Formation 권한으로 공유하는 데이터 메시 구조는 도메인 소유권을 유지하면서도 조직 차원의 통제와 검색 가능성을 함께 확보하려는 설계로 볼 수 있다.

✅ 액션 아이템

에이전트형 AI의 스키마 탐색, SQL 생성, 쿼리 실행, 답변 합성 단계별로 권한 검증 지점을 재배치한다.
S3 Vectors, S3 Tables, Lake Formation, Athena, AgentCore Gateway, Lambda MCP 도구 조합으로 계층별 보안 경계를 설계한다.
S3 Tables의 Apache Iceberg 기반 처리에서 행·열·셀 단위 제한을 고객 인증 범위에 맞춰 정책으로 구체화한다.