🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon Quick의 에이전트형 카탈로그 경험은 상위 데이터 카탈로그의 정의와 관계를 자연어로 탐색·상속해, 신뢰할 수 있는 질의응답과 대시보드용 데이터세트 및 토픽을 빠르게 생성하는 기능이다.

📌 핵심 요약

• 기업이 상위 카탈로그에 축적한 테이블 설명, 열 의미, 키 관계, 용어집과 지표 정의가 분석 도구로 원활히 전달되지 않아 자산 탐색과 의미 재작성에 많은 시간이 들고 의미 불일치가 발생해 왔다.
• Amazon Quick의 Quick Agent는 카탈로그 전체를 자연어로 검색하고, 사용 사례에 적합한 테이블과 관계를 제시하며, 메타데이터 준비 상태를 평가한 뒤 사용자의 확인을 받아 데이터세트와 토픽을 일괄 생성한다.
• 검색 단계에서는 설명, 태그, 골드·실버·브론즈 분류, 품질 점수, 테이블 상태 점수와 용어집 등을 폭넓게 활용하지만, 현재 데이터세트에 상속하는 정보는 주로 테이블·열 정의와 관련 의미 정보에 집중한다.
• 카탈로그 생성 데이터세트는 기본적으로 다이렉트 쿼리를 사용하고 상속 메타데이터를 읽기 전용으로 표시하며, 작성자는 필요할 때 동기화 버튼을 사용해 상위 카탈로그의 변경 사항을 반영할 수 있다.
• 현재 AWS Glue Data Catalog와 Databricks Unity Catalog를 지원하며, Glue 연결에서는 Glue가 메타데이터를 제공하고 Amazon Athena가 Amazon S3 데이터에 대한 실제 쿼리 경로를 제공한다.

🧩 주요 포인트

1. 상위 카탈로그에는 이미 풍부한 의미와 거버넌스가 존재하지만 분석 환경으로 전달되는 마지막 구간이 단절되어 있어, 동일한 정의를 다시 만들고 유지하는 비용과 신뢰 저하가 발생한다.
2. Quick Agent가 자연어 탐색부터 데이터세트·토픽 생성과 관계 구성까지 하나의 대화형 흐름으로 연결함으로써, 카탈로그 연결 후 첫 비즈니스 질문까지 걸리는 시간을 수주에서 수분 수준으로 줄이는 것을 목표로 한다.
3. Amazon Quick는 별도 카탈로그가 아니라 기존 카탈로그의 소비자로 설계되어 원본 권위를 유지하지만, 현재 자동 동기화가 아닌 수동 동기화 방식이므로 최신 의미를 반영하려면 작성자의 명시적 갱신이 필요하다.

🧠 상세 정리

1. 카탈로그 인식형 분석이 필요한 배경

자연어를 SQL로 변환해 답을 제공하는 분석 기능의 품질은 단순한 스키마 정보가 아니라 그 뒤에 있는 비즈니스 문맥에 좌우된다. 테이블과 열의 설명, 데이터 간 관계, 조직이 합의한 용어와 지표 정의가 함께 전달되어야 질문의 의도를 올바르게 해석할 수 있다. 기업 데이터팀은 AWS Glue Data Catalog, Databricks Unity Catalog, Snowflake Horizon, Collibra, dbt 등의 상위 시스템에 이러한 의미 정보를 이미 상세히 구축해 왔다. 따라서 Amazon Quick와 같은 분석 제품이 독립된 메타데이터 체계로 운영되기보다, 상위 카탈로그에서 작성된 정의와 관계 및 거버넌스 정보를 직접 소비하고 추론에 활용해야 한다는 것이 글의 출발점이다.

2. 마지막 구간에서 발생한 세 가지 문제

첫 번째 문제는 수천 개의 테이블 가운데 보고에 승인된 적절한 자산을 찾아내기 어렵다는 점으로, 기존 방식에서는 필요한 내용을 설명해 관련 자산을 검색하는 수단이 부족했다. 두 번째는 상위 카탈로그의 설명과 기본키·외래키 관계가 그대로 전달되지 않아 큐레이터가 데이터세트와 의미 정의를 수작업으로 다시 만들어야 한다는 점이다. 이 과정에서는 매출이 총매출인지 순매출인지, 활성 고객의 기준 기간이 30일인지 90일인지 같은 정의를 재확인하고 조정해야 한다. 세 번째는 탐색과 재작성이 겹치면서 데이터에서 통찰까지의 시간이 수시간이 아닌 수주로 늘어나고, 상위 정의가 변경된 뒤 Quick의 수동 정의가 갱신되지 않으면 의미 드리프트가 생겨 질의응답과 대시보드에 대한 신뢰가 약화된다는 점이다.

3. 에이전트형 카탈로그 경험과 Quick Agent

에이전트형 카탈로그 경험은 데이터 큐레이터가 분석에 사용할 문맥의 경계를 빠르게 정하고, 상위 시스템의 의미를 이어받아 최종 사용자용 질의응답과 대시보드를 준비하도록 돕는 인공지능 기반 워크플로다. 중심 구성 요소인 Quick Agent는 카탈로그 문맥 안에서 자산 발견, 생성, 의미 상속 작업을 수행하도록 범위가 정해져 있다. 이 에이전트는 전체 카탈로그를 요약하고 사용자와 자연어로 대화하면서 사용 사례에 맞는 테이블과 관계를 제시하며 메타데이터 준비 상태도 평가한다. 사용자가 대화 중 한 번 확인하면 선택된 문맥에 맞춰 카탈로그 생성 데이터세트와 토픽을 자동으로 만들기 때문에, 별도 화면을 오가며 각 자산을 일일이 구성하는 절차를 줄인다.

4. 자연어 검색과 데이터세트 일괄 생성

큐레이터는 긴 테이블 목록을 직접 훑는 대신 자신의 역할과 목적을 자연어로 설명할 수 있으며, 본문에서는 재무팀 선임 분석가가 분기 매출 보고와 비용 분석용 테이블을 요청하는 사례를 제시한다. Quick Agent는 비즈니스 설명, 태그, 골드·실버·브론즈 분류, 품질 점수, 테이블 상태 점수와 용어집 등 사용 가능한 메타데이터를 활용해 관련성이 높은 자산을 찾는다. 테이블을 선택하면 하나의 안내형 워크플로에서 여러 카탈로그 생성 데이터세트를 일괄 생성하며, 기본 생성 경로에는 다이렉트 쿼리를 적용해 상위 카탈로그를 기준 정보원으로 유지한다. 상속된 데이터세트에는 의미 상속 배지가 표시되고 메타데이터는 읽기 전용으로 관리되며, 작성자는 동기화 버튼을 눌러 필요할 때 상위 카탈로그의 정보를 다시 반영할 수 있다.

5. 의미 정의와 관계의 선택적 상속

현재의 상속 범위는 데이터세트를 불필요한 정보로 복잡하게 만들지 않도록 핵심 메타데이터에 집중되어 있다. 데이터세트에는 테이블의 비즈니스·기술 설명, 열 설명과 표시 이름, 데이터 형식과 널 허용 여부, 용어집 항목과 동의어가 전달된다. 토픽에는 기본키와 외래키 관계, 관계 정의와 카디널리티가 반영되며, Quick Agent는 이를 바탕으로 여러 데이터세트를 결합한 별형 또는 눈송이형 스키마의 조인을 제안하고 구성한다. 골드·실버 분류, 품질 점수, 태그와 상태 점수 같은 더 넓은 메타데이터는 적절한 테이블을 찾는 검색 단계에서 사용되지만, 데이터세트에 직접 상속되는 범위는 현재 의도적으로 제한되어 있고 향후 확대가 계획되어 있다.

6. 즉시 활용과 의미 저장소

생성된 데이터세트와 토픽은 별도의 장기간 설정 없이 질의응답, 대시보드 작성, 최종 사용자 공유에 곧바로 사용할 수 있다. 사용자는 새 데이터세트를 대상으로 질문을 시작할 수 있고, 작성자는 이미 준비된 의미 문맥을 기반으로 결정적인 시각화를 구성할 수 있으며, 데이터세트를 스페이스에 추가해 비즈니스 사용자의 셀프서비스 분석을 지원할 수 있다. 생성 후 연결된 메타데이터는 Amazon Quick의 의미 저장소로 들어가 인공지능 질의응답의 재순위화와 통합 문맥 구성에 활용된다. 이에 따라 카탈로그 연결부터 첫 번째 비즈니스 질문까지의 과정이 수주가 아니라 수분 단위로 단축되며, 큐레이터가 문맥 경계를 한 번 정의하면 여러 최종 사용자가 동일한 의미와 관계를 활용할 수 있다.

7. 카탈로그 소비자 중심의 구조와 통제

Amazon Quick는 자체적으로 별도 카탈로그를 구축하는 제품이 아니라 상위 카탈로그 메타데이터를 소비하는 분석 계층으로 설계되었다. 카탈로그 생성 데이터세트는 다이렉트 쿼리를 사용하므로 원본 데이터를 복사하거나 이동하지 않고, 상속된 의미 정보도 읽기 전용으로 표시해 상위 카탈로그의 권위를 유지한다. 현재 의미 정보 갱신은 작성자가 동기화 버튼을 선택하는 수동 방식이며, 예약 자동 동기화는 향후 계획으로 제시되어 있다. 작성자가 데이터세트를 직접 편집하려 하면 Amazon Quick는 해당 자산이 사용자 정의 데이터세트로 전환되고 이후 의미 동기화가 적용되지 않는다는 사실을 명확히 알린다. 이 구조는 기본적으로 카탈로그 무결성을 보존하면서도, 필요한 경우 작성자가 동기화를 포기하고 직접 수정할 수 있도록 통제권을 제공한다.

8. 지원 카탈로그와 Glue 연결 절차

현재 지원 대상은 IAM 역할 ARN으로 인증하는 AWS Glue Data Catalog와 OAuth 2.0 또는 개인 액세스 토큰으로 인증하는 Databricks Unity Catalog이며, 다른 카탈로그 플랫폼 지원도 추가될 예정이다. AWS Glue를 사용하는 예시에서는 Amazon Quick에서 미리보기로 제공되는 Glue Data Catalog 연결 유형을 선택해 메타데이터용 데이터 원본을 생성한다. 이 연결을 통해 Quick는 기존에 큐레이션된 테이블·열 정의와 관계를 소비하지만, 실제 데이터를 조회하려면 별도의 Amazon Athena 연결도 함께 만들어야 한다. Glue는 메타데이터를 제공하고 Athena는 Amazon S3에 저장된 데이터로 향하는 쿼리 경로를 제공하며, 두 연결은 데이터 원본 화면에 나란히 표시된다. 이후 Glue 데이터 원본의 세부 화면에서 연결된 Athena 원본을 확인하고 데이터 탐색을 선택하면, 해당 데이터 원본 범위로 제한된 Quick Agent 패널이 열려 검색과 스키마 탐색 및 토픽 생성 흐름을 시작한다.

🧾 핵심 주장 / 시사점

• 핵심 병목은 의미 정보의 부재가 아니라 이미 구축된 메타데이터를 최종 분석 경험까지 전달하고 변경 사항과 정렬된 상태로 유지하는 마지막 구간에 있다.
• 검색에는 품질·분류·태그 등 다양한 신호를 폭넓게 사용하되 실제 자산에는 필요한 정의와 관계를 선별해 상속함으로써, 발견 정확도와 데이터세트의 간결성을 서로 다른 단계에서 다룬다.
• 다이렉트 쿼리와 읽기 전용 상속은 데이터 복제와 임의의 의미 변경을 막지만, 현재는 수동 동기화가 필요하고 사용자 정의 데이터세트로 전환하면 동기화가 중단되므로 두 상태의 차이를 명확히 관리해야 한다.

✅ 액션 아이템

• Quick Agent가 자연어로 제시한 테이블·관계를 확인한 뒤 데이터세트와 토픽 일괄 생성 범위를 정의한다.
• 카탈로그 생성 데이터세트의 다이렉트 쿼리와 읽기 전용 상속 메타데이터 반영 시점을 동기화 버튼 기준으로 점검한다.
• AWS Glue Data Catalog와 Databricks Unity Catalog 연결 시 메타데이터 준비 상태 평가 기준을 정한다.

❓ 열린 질문

• Quick Agent가 검색 단계에서 쓰는 품질 점수·테이블 상태 점수 중 데이터세트 상속 범위는 어디까지인가?
• 수동 동기화 방식에서 상위 카탈로그 변경이 대시보드용 데이터세트 신뢰에 미치는 지연은 어떻게 판단할 것인가?
• 골드·실버·브론즈 분류와 용어집이 자연어 탐색 결과 우선순위에 어떤 기준으로 반영되는가?