How Indegene is modernizing and scaling enterprise data quality in life sciences

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Indegene은 AWS 기반 NEXT Unified Data Platform(NEXT UDP)에 두 지식 기반과 LLM을 활용하는 Data Quality Agent를 구축해, 사람의 검토·승인 아래 업무 맥락에 맞는 데이터 품질 규칙과 SQL·Python 코드를 생성하고 중앙에서 관리한다.

📌 핵심 요약

• 생명과학 기업의 데이터 품질 관리는 기술 규칙과 업무 규칙의 소유권 분리, 분산된 규칙 저장 위치, 변화하는 스키마와 업무 정의 때문에 확장에 어려움을 겪으며, 수작업이 데이터 도입과 유지보수 부담을 키운다.
• Indegene의 NEXT UDP는 상업·의료·임상·기업 데이터를 통합하고 수집, 변환, 데이터 품질, 거버넌스, 메타데이터 관리, 분석을 연결하며, Data Quality Agent는 Amazon Bedrock, Strands Agents, Amazon Bedrock AgentCore를 핵심으로 구축됐다.
• Data Quality Agent는 내부 기업 지식 기반의 업무 용어집·SOP·승인된 규칙·검증된 스크립트 등을 RAG로 검색하고, 외부 참조 지식 기반의 승인된 표준과 신뢰할 수 있는 참조 정보를 결합해 기술 규칙과 업무 규칙을 제안한다.
• 사용자는 데이터 프로파일링과 과거 기준선 대비 이상 탐지 결과를 검토한 뒤 규칙을 선택·수정·승인하며, 에이전트는 승인된 규칙의 SQL·Python 코드를 생성하고 검증 단계를 거쳐 중앙 규칙 저장소에 보관한다.
• 해결책은 기존 AWS 보안·감사 통제를 활용하며, 제시된 아키텍처에는 AWS WAF·Amazon API Gateway·Amazon Cognito를 통한 접근 통제, AWS Glue Data Catalog의 메타데이터 관리, AWS Lambda 기반 프로파일링과 Amazon DynamoDB 결과 저장이 포함된다.

🧩 주요 포인트

1. 기술 검증과 업무 맥락의 분리 → 기본적인 형식 검사에 도메인 지식을 결합하고 규칙을 일관되게 관리할 필요가 있다.
2. 내부 기업 지식과 외부 참조 정보의 결합 → 규칙 추천을 기업 기준과 데이터의 업무 목적에 연결하는 구조다.
3. 플랫폼 통합과 사용자 검토·승인, 코드 검증, 중앙 규칙 저장소 → 규칙 생성 자동화를 실행·추적·감사 가능한 관리 과정으로 연결한다.

🧠 상세 정리

1. 생명과학 기업의 AI 활용을 좌우하는 데이터 신뢰

글은 기업용 AI가 생명과학 조직의 상업, 의료, 시장 접근 등 여러 업무에서 의사결정을 개선할 기회를 제공하지만, 모델과 대시보드, 업무 인사이트의 품질은 신뢰할 수 있는 데이터에 달려 있다고 설명한다. 데이터가 여러 플랫폼과 파이프라인, 업무 영역으로 늘어나면서 수작업 규칙 작성, 분산된 거버넌스, 변화하는 업무 정의가 일관된 품질 관리를 어렵게 만든다는 것이 출발점이다. Indegene Limited는 제품 생애주기 전반의 상업·의료·연구개발·안전성 운영을 지원하는 생명과학 산업 파트너이며, 원문은 세계 상위 20개 바이오제약 기업이 이 회사를 신뢰한다고 소개한다. 이러한 산업 경험을 바탕으로 Indegene은 AWS의 NEXT Unified Data Platform(NEXT UDP) 안에 운영 환경용 LLM 기반 Data Quality Agent를 구축했다. 글이 제시하는 목표는 업무 맥락에 맞는 품질 규칙과 실행 가능한 코드를 생성하면서도, 중앙 관리와 사람의 검토·승인을 유지해 품질 관리의 구축·유지 부담을 줄이는 것이다.

2. 기존 품질 관리가 확장에 어려움을 겪는 이유

기존 방식의 핵심 문제는 데이터가 구조적으로 올바른지를 확인하는 기술 규칙과 실제 업무에서 타당한지를 판단하는 업무 규칙의 담당과 저장 위치가 나뉜다는 점이다. 예를 들어 데이터 엔지니어는 HCP ID의 누락, 형식, 고유성, 참조 레코드 연결을 검사하고, 업무 담당자는 특정 지역의 제품 시장점유율 합계가 100%인지 또는 HCP의 처방 활동이 전문 분야와 자격 기준에 부합하는지를 판단한다. 기술 규칙은 코드에, 업무 규칙은 용어집·SOP·전문가 지식에 존재하는 경우가 많아 데이터셋과 플랫폼 전반에서 정합성을 유지하기 어렵다. 널값·자료형·고유성·참조 무결성 검사는 여전히 필수지만, 제품 계층이나 고객 세분화, 영업구역 배정 같은 업무 맥락을 충분히 표현하지는 못한다. 새 데이터셋마다 프로파일링, 규칙 정의, SQL 개발, 검증을 반복하고 SQL 스크립트·파이프라인 코드·스프레드시트·카탈로그 등에 흩어진 규칙을 수정해야 하므로 도입 속도와 엔지니어링 효율이 떨어진다. 원문은 규칙을 이해하거나 추적하기 어려워지면 업무 사용자의 신뢰도 낮아지고, 품질 관리가 지속적인 역량보다 주기적인 거버넌스 활동에 머무를 수 있다고 지적한다.

3. NEXT UDP에 품질 관리를 통합하는 접근

Indegene은 데이터 품질을 독립적인 도구로 운영하는 대신 거버넌스, 메타데이터, 계보, 분석이 함께 작동하는 데이터 플랫폼 안에 포함하는 접근을 제시한다. 생명과학을 위해 설계된 NEXT UDP는 분산된 상업·의료·임상·기업 데이터를 하나의 관리 환경으로 모아 수집부터 분석까지 데이터 생애주기를 다룬다. 플랫폼에는 Data Ingestion, Data Quality, Orchestration, Data Catalog, SQL Bot Generator 등의 AI 에이전트가 있으며, 각각을 파이프라인에서 독립적으로 사용하거나 에이전트 간 통신에 맞게 추가로 구성할 수 있다. 수집, 변환, 품질, 거버넌스, 메타데이터 관리, 분석을 연결함으로써 신뢰할 수 있는 단일 데이터 기반과 업무 영역 간 일관된 품질 기준을 마련하는 것이 지향점이다. 원문은 이러한 통합이 메타데이터 가시성·계보·추적성을 높이고 수작업을 줄여 AI와 기업 분석에 사용할 수 있는 데이터를 제공하는 데 도움이 된다고 설명한다. Data Quality Agent는 이 안에서 기존 품질 관리 과정을 보완하고 데이터 엔지니어와 데이터 관리 담당자의 규칙 작성·검증 업무를 지원한다.

4. 운영 안정성과 거버넌스를 위한 AWS 구성

Indegene의 생명과학 고객은 엄격한 거버넌스 요구를 충족하면서 운영 환경에서 안정적으로 실행되고, 구축 방식에도 유연성을 제공하는 에이전트를 필요로 했다. 이에 Data Quality Agent는 Amazon Bedrock, Strands Agents, Amazon Bedrock AgentCore를 핵심 서비스로 구성했다. Amazon Bedrock은 보안·개인정보 보호·책임 있는 AI 통제를 바탕으로 여러 파운데이션 모델을 선택할 수 있게 하며, 원문은 의료인과 환자의 민감한 정보가 포함될 수 있는 생명과학 데이터에서 이 점이 중요하다고 설명한다. Strands Agents는 에이전트의 구축과 수정을 돕고, 평가 도구를 통해 규제 환경에서 중요한 규칙 정확도를 시험하도록 지원한다. 에이전트가 실행되는 Amazon Bedrock AgentCore는 다양한 프레임워크나 모델로 에이전트를 구축·연결·최적화하고 확장할 수 있는 플랫폼으로 소개된다. 해결책은 기존 AWS 보안·감사 통제도 활용하므로, Indegene이 에이전트 인프라보다 데이터 품질 논리에 집중하도록 돕는다는 설명이다.

5. 내부 기업 지식으로 규칙에 업무 맥락 부여

원문은 널값, 중복, 잘못된 자료형 검사가 중요한 기반임을 인정하면서도, 더 어려운 문제는 데이터가 실제 업무 목적에 맞는지를 판단하는 것이라고 구분한다. AWS Glue의 기능인 AWS Glue Data Quality도 데이터 통계에서 기본 규칙을 추천할 수 있으며, Data Quality Agent는 여기에 두 가지 상호 보완적인 지식 기반을 결합한다. 그중 내부 기업 지식 기반은 업무 용어집, 데이터 사전, SOP, 규제 지침, 승인된 데이터 품질 규칙, 검증된 스크립트, 프로파일링 결과, 과거 이상 사례, 분야 전문가의 피드백을 모은다. 이 콘텐츠를 수집하고 벡터화한 뒤 RAG로 검색해, 기업 기준과 검증된 결과에 근거한 규칙을 생성하는 방식이다. 따라서 규칙 추천은 통계적 특징만을 보는 데서 확장되어 기업 내부의 정의와 업무상 판단 근거를 반영하도록 설계된다. 원문은 이를 정제된 도메인 지식과 관리된 사용 과정에서 얻은 경험을 함께 활용하는 구조로 설명한다.

6. 외부 참조 지식으로 표준과 검증 근거 보완

두 번째인 외부 참조 지식 기반은 승인된 표준 데이터 품질 프레임워크, 웹 검색, 통제된 웹 스크래핑을 활용해 구축하고 주기적으로 갱신한다. 데이터셋이 선택되면 에이전트는 테이블과 컬럼의 메타데이터를 분석하고, 신뢰할 수 있는 출처에서 관련 품질 표준과 참조값, 검증 모범 사례를 검색한다. 원문은 NPI(National Provider Identifier) 컬럼을 예로 들어, 적용 가능한 품질 표준을 식별하고 필수 형식인 10자리 숫자를 추천하며 참조 검증도 수행할 수 있다고 설명한다. 내부 지식 기반이 기업별 업무 정의와 승인된 경험을 제공한다면, 외부 참조 지식 기반은 해당 데이터에 적용되는 표준과 참조 정보를 보완하는 역할을 한다. 이 구성은 단순한 형식 검사와 업무 목적에 따른 판단을 연결하려는 전체 설계의 일부다. 다만 외부 정보는 승인된 프레임워크와 신뢰할 수 있는 출처, 통제된 수집이라는 조건 아래 활용되는 것으로 제시되며, 임의의 웹 정보를 곧바로 규칙으로 적용하는 절차로 설명되지는 않는다.

7. 프로파일링부터 승인된 규칙 저장까지의 흐름

사용자는 Amazon Redshift나 Snowflake 같은 지원 소스에 연결하고 데이터베이스와 스키마를 선택한 뒤, 테이블별 규칙 수와 활성 상태를 확인한다. 다음으로 테이블의 품질 지표와 컬럼 패턴을 프로파일링하고, 과거 기준선과 비교해 탐지한 이상에 대해 전체·중대·경고 문제와 영향을 받은 레코드를 검토한다. 기존 규칙을 확인하거나 새 규칙 생성을 시작한 후 Column Level, Table Level, Custom Query 중 규칙 모드를 선택한다. 에이전트는 메타데이터, 프로파일링 결과, 이상 사례, 기존 규칙, 지식 기반의 맥락을 함께 활용해 심각도가 표시된 기술 규칙과 업무 규칙을 추천한다. 사용자가 추천을 수정하거나 승인하면 에이전트가 승인된 규칙의 SQL·Python 코드를 만들고, 별도 검증 단계가 이를 확인한다. 최종 승인된 규칙은 중앙 규칙 저장소에 보관되어 실행·모니터링·감사에 사용할 수 있으며, 사람의 검토가 규칙 생성과 운영 적용을 연결하는 절차에 포함된다.

8. 제시된 아키텍처와 확인 가능한 범위

아키텍처 설명은 데이터 관리 담당자와 데이터 품질 분석가가 Indegene 애플리케이션을 통해 요청하는 지점에서 시작한다. 요청은 Amazon API Gateway를 통과하며 AWS WAF가 API 도달 전에 요청을 필터링하고, Amazon Cognito가 OAuth 2.0으로 사용자를 인증하며 각 요청의 JWT를 검증한다. 데이터 소스 계층은 Amazon Redshift를 제시하고 Snowflake 커넥터, Amazon S3, JDBC/ODBC 소스도 지원하며, 정형·반정형 데이터를 프로파일링과 규칙 실행에 제공한다. 메타데이터 계층의 AWS Glue Data Catalog는 데이터베이스·스키마·테이블·컬럼·자료형·규칙 적용 범위를 기록하고, AWS Glue crawlers를 통한 자동 스키마 탐색도 지원한다. 프로파일링·이상 탐지 계층은 AWS Lambda의 Python 처리와 Amazon DynamoDB 결과 저장을 제시하며, AWS Glue jobs·Amazon Athena·Amazon Redshift SQL도 지원 옵션으로 나열한다. 제공된 본문은 널 비율, 고유값 수, 자료형 적합성, 패턴, 값 범위, 테이블 수준 신호를 계산하는 설명 도중에 끝나므로, 이후 계층의 세부 구성이나 정량적인 운영 성과는 이 자료만으로 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 이 사례의 핵심은 기본 품질 검사를 대체하는 데 있기보다, 통계 기반 검사에 기업의 업무 정의와 외부 표준을 결합해 규칙 추천의 맥락을 넓히는 데 있다.
• 자동화의 범위는 규칙과 코드 생성까지 확장되지만, 사용자 검토·승인과 코드 검증을 거쳐 중앙에 저장하는 구조가 규제 환경의 통제 요구를 함께 다룬다.
• 원문은 수작업 감소와 생산성 향상을 해결책의 효과로 제시하지만, 제공된 본문에는 절감 시간이나 정확도 개선 수치가 없어 효과의 크기까지 판단하기는 어렵다.

✅ 액션 아이템

• NEXT UDP의 수집·변환·데이터 품질·거버넌스 통합 방식을 분산된 규칙 관리와 수작업 부담의 개선 관점에서 검토.
• 내부 기업 지식 기반의 업무 용어집·SOP·승인된 규칙과 외부 참조 지식 기반이 기술 규칙·업무 규칙 추천에 제공하는 근거를 확인.
• 사용자 검토·승인, SQL·Python 코드 검증, 중앙 규칙 저장소로 이어지는 통제 절차의 적용을 검토.

❓ 열린 질문

• NEXT UDP의 Data Quality Agent는 기존 수작업 방식과 비교해 규칙 작성과 유지보수 부담을 얼마나 줄이는가?
• 내부 기업 지식 기반과 외부 참조 지식 기반의 기준이 충돌하면 기술 규칙과 업무 규칙 추천에 어떤 기준을 우선 적용하는가?
• 사용자 검토·승인과 SQL·Python 코드 검증에서는 어떤 기준으로 규칙의 업무 적합성과 실행 가능성을 판단하는가?