How ZS democratized secure ad-hoc analytics with Amazon SageMaker

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ZS는 Amazon SageMaker Studio에 보안 통제와 맞춤형 자동화를 결합해 200개 이상의 도메인에서 의료 분야 요구사항을 충족하는 셀프서비스 수시 분석 환경을 운영한다.

📌 핵심 요약

• ZS는 Amazon SageMaker Studio를 주요 수시 분석 도구로 도입하고, 직접 인터넷 접근 차단, 테넌트별 도메인 격리, 3단계 IAM 역할, 암호화와 감사 로깅을 적용했다.
• 운영 규모는 200개 이상의 도메인이며, 일일 활성 사용자는 도입부에 1,000명 이상, 비용 및 운영 설명에 500명 이상으로 각각 기재되어 있다.
• ZS 내부 비용 추적에 따르면 월 SageMaker 지출은 5만 달러를 초과하며, SageMaker Savings Plans로 매월 약 1만 달러를 절감한다. 태그별 비용 배분, 승인된 소형 인스턴스 제한, 유휴 자원 자동 종료도 적용했다.
• 각 Space 데이터를 도메인별 Amazon S3 버킷에 30분마다 동기화하고, ZS_Backup 태그가 있는 Amazon EFS 볼륨에는 AWS Backup을 적용한다. JFrog Artifactory를 통한 패키지 설치와 AWS Glue 대화형 세션 기본 설정도 중앙에서 통제한다.
• R 커널, JupyterLab 내부 S3 브라우저, Streamlit 기반 셀프서비스 도구로 분석 및 인프라 접근을 지원한다. 사용자에게 허용된 작업은 실행 역할로 제한하며, Space별 CPU·메모리·디스크 사용량은 Amazon CloudWatch에 매분 게시한다.

🧩 주요 포인트

1. 도메인 격리와 3단계 IAM 역할 → 테넌트·사용자·공유 작업공간별 권한을 구분하면서 중앙 보안 통제를 유지한다.
2. 분 주기 백업과 자원 사용 제한 → 사용자 작업 보호와 과도한 자원 할당 방지를 자동화하며, 비용 태그로 팀별 실제 사용 비용을 귀속한다.
3. Streamlit과 JupyterLab 내부 기능 확장 → 일상적인 데이터·인프라 작업의 콘솔 의존도를 줄이고, 동일한 통제 환경에서 셀프서비스 분석을 지원한다.

🧠 상세 정리

1. 의료 분야의 보안 요구와 분석 접근성

ZS는 규제가 엄격한 산업에서 개발자의 수시 분석 편의성과 보안·규정 준수 요구를 함께 충족하기 위해 Amazon SageMaker Studio를 기업 머신러닝 운영의 기반으로 선택했다. 자체 보안 기준을 개발 환경에 통합해 데이터 과학자와 분석가가 의료 분야 요구사항을 지키면서 분석 기능을 이용하도록 구성했다. 플랫폼은 다수 애플리케이션 팀의 주요 수시 분석 도구로 자리 잡았으며, 여러 계정에 걸쳐 200개 이상의 SageMaker 도메인을 운영한다. 다만 도입부는 일일 활성 사용자를 1,000명 이상으로, 비용 및 운영 규모 설명은 500명 이상으로 제시한다. 원문은 두 수치의 집계 시점이나 기준 차이를 설명하지 않으므로, 이를 하나의 확정된 사용자 수로 통합하기는 어렵다.

2. 인터넷 차단과 테넌트별 권한 격리

플랫폼은 직접 인터넷에 접근하지 않는 구성을 기본으로 사용하고, 필요한 서비스와의 통신은 Amazon VPC 엔드포인트를 통해 통제한다. 멀티테넌트 구조에서는 테넌트마다 별도의 SageMaker 도메인을 배치하며, 각 도메인은 독립된 Amazon EFS 볼륨과 IAM 역할, 조정 가능한 네트워크 설정을 가진다. 이러한 분리는 테넌트 간 격리를 제공하면서 세밀한 접근 제어와 비용 추적을 지원한다. IAM 권한은 사용자 기본값을 제공하는 도메인 실행 역할, 이를 재정의하는 Studio 사용자 역할, 공유 작업공간을 관리하는 Space 실행 역할의 3단계로 구성된다. ZS는 이 계층을 통해 최소 권한 원칙을 적용하면서 사용자별 요구와 공유 작업공간 운영에 필요한 유연성을 확보했다.

3. 암호화·위협 탐지·기능별 거버넌스

ZS는 리소스 전반에 AWS KMS 기반 암호화를 기본으로 활성화했으며, Amazon EFS, Amazon S3, Amazon ECR과 AWS CodeCommit 저장소에도 암호화가 자동 적용되도록 구성했다. 원문은 저장 데이터와 전송 중 데이터의 암호화를 의료 분야 보안 요구를 충족하는 통제 항목으로 설명한다. 운영체제 수준의 위협 탐지에는 CrowdStrike를, 로그 집계에는 Splunk를 사용하고, AWS CloudTrail로 모든 API 호출을 기록해 감사 추적을 지원한다. SageMaker 기능 접근도 사용자 역할에 따라 구분하며, IAM 정책으로 Data Wrangler, Autopilot, JumpStart 사용을 제한한다. Notebook Jobs 실행에는 명시적인 IAM 역할 ARN을 요구해 개별 컴퓨팅 작업의 책임을 추적할 수 있도록 했다.

4. 비용 통제와 운영 자동화의 성과

ZS는 수명 주기 구성을 자동화해 규정 준수와 비용 통제가 수동 개입 없이 적용되도록 만들었다. IAM 정책은 사용 가능한 인스턴스를 사전 승인된 소형 유형으로 제한하며, 고성능 인스턴스가 필요하면 분석팀에 별도의 허용 목록 등록을 요청해야 한다. 유휴 자원을 자동 종료하는 구성은 과도한 프로비저닝과 사용하지 않는 자원에서 발생하는 비용을 줄인다. 모든 도메인과 리소스에는 팀·프로젝트 태그를 부여하고, AWS Cost Explorer에서 이를 활용해 비용을 파악하고 각 팀의 실제 사용량에 따라 비용을 배분한다. ZS 내부 추적 기준 월 SageMaker 지출은 5만 달러를 초과하며, SageMaker Savings Plans 적용으로 매월 약 1만 달러를 절감한다. 셀프서비스 도구와 자동화는 수동 규정 준수 업무 및 관리 콘솔 의존도를 줄이는 데도 기여했다.

5. Space 작업 보존과 EFS 복구 체계

원문은 SageMaker에 기본 백업 기능이 없다는 점을 설명하며, ZS가 사용자 데이터와 스크립트를 Amazon S3로 정기 동기화하는 맞춤형 수명 주기 구성을 구현했다고 밝힌다. 특히 Space는 정상적인 작업 과정에서도 삭제하거나 보관할 수 있으므로, 이러한 상태 변화 이후에도 사용자 작업을 보존할 별도 보호 장치가 필요했다. ZS는 도메인 생성 시 전용 S3 버킷을 만들고 각 Space의 데이터를 30분마다 동기화하며, 백업 파일을 Space 이름과 타임스탬프로 구분해 저장한다. 별도로 ZS_Backup 태그가 붙은 Amazon EFS 볼륨에는 AWS Backup을 자동 적용하고, 전용 백업 볼트와 보존 정책으로 보호한다. 이러한 자동 백업과 태그 기반 구성은 사용자의 백업 관리 부담을 줄이고 도메인 이전 시 복구와 데이터 내구성을 지원한다.

6. Glue 세션 통제와 안전한 분석 환경 확장

데이터 엔지니어가 SageMaker에서 AWS Glue의 PySpark 또는 Spark 커널을 선택하면 백그라운드에서 대화형 세션이 시작되며, 이를 관리하지 않으면 필요 이상으로 자원을 할당할 수 있다. ZS는 모든 세션에 유휴 제한 시간, 연결, 작업자 수와 작업자 유형의 기본 설정을 적용하는 구성 관리 기능을 만들어 자원 배분과 비용을 중앙에서 통제했다. 직접 인터넷 접근이 없는 환경에서도 라이브러리를 설치할 수 있도록 모든 설치 경로를 JFrog Artifactory로 제한하고, 패키지가 환경에 들어오기 전에 검사한다. 이 체계는 pip, Debian의 apt, Maven을 지원해 패키지 출처를 통제하고 감사 가능성을 유지한다. 또한 원문이 설명하는 기본 R 커널 부재를 보완하기 위해 수명 주기 구성으로 R 커널을 설치하고, JupyterLab에서 Python 및 AWS Glue와 함께 선택할 수 있게 했다.

7. 노트북 내부 데이터 접근과 셀프서비스 도구

ZS는 일상적인 데이터 탐색을 위해 사용자가 SageMaker에서 관리 콘솔로 이동하고 추가 권한을 요청해야 했던 불편을 줄이고자 JupyterLab에 S3 브라우저 확장을 설치했다. 사용자는 파일 탐색기 형태의 화면으로 Amazon S3 버킷을 살펴보고 데이터를 관리할 수 있어 콘솔 접근 요청이 줄었다. 추가로 SageMaker Spaces 내부에서 실행되는 Streamlit 애플리케이션을 만들고, SageMaker 실행 역할이 각 작업의 접근 권한을 통제하도록 구성했다. 도구에는 지정된 Amazon Redshift 클러스터의 시작·중지, DuckDB를 이용한 S3 데이터 직접 조회, 사전 승인된 설정을 통한 임시 Amazon EMR 클러스터 생성 기능이 포함된다. EMR 생성 화면은 소프트웨어 버전, 노드 유형, 작업자 수 등의 설정을 안내하며, 사용자는 웹 인터페이스로 공통 인프라 작업을 수행하면서 중앙 거버넌스를 따르게 된다.

8. Space별 모니터링과 맞춤 구현의 역할

대규모 SageMaker 운영에서 ZS는 용량 계획과 비용 관리를 위해 개별 Space의 CPU, 메모리, 디스크 사용량을 확인할 필요가 있었다. 이를 위해 Space 수준의 사용량 데이터를 매분 게시하는 맞춤형 Amazon CloudWatch 지표를 구현하고, 해당 지표를 보여주는 대시보드를 구성했다. 관리자는 이 정보를 통해 자원이 부족한 Space를 식별하고 할당 규모를 조정하며 비용과 용량 문제에 대응할 수 있다. 이 모니터링 기능은 백업, 대화형 세션 제한, 패키지 통제, 셀프서비스 접근과 함께 표준 기능만으로 충족되지 않았던 운영 요구를 보완한다. 원문이 제시하는 구현 사례들은 사용자에게 개별 통제의 관리 부담을 넘기지 않으면서, 다수 팀의 일상 분석과 중앙 거버넌스를 같은 환경에서 지원하는 방식을 보여준다.

🧾 핵심 주장 / 시사점

• ZS 사례에서 분석 접근성 확대는 보안 기준을 개발 환경에 직접 통합하고, 허용된 작업을 셀프서비스로 제공하는 방식으로 구현됐다.
• 비용 관리는 Savings Plans에 따른 할인뿐 아니라 인스턴스 제한, Glue 세션 설정, 유휴 종료, 사용량별 비용 귀속을 함께 적용하는 구조다.
• 표준 SageMaker 도입 이후에도 작업 보존, 패키지 설치, 언어 지원, 데이터 접근과 모니터링을 보완하는 맞춤 구현이 실제 운영 요구를 충족하는 데 사용됐다.

✅ 액션 아이템

• 일일 활성 사용자 1,000명 이상과 500명 이상의 집계 기준 및 시점 차이 확인.
• 월 SageMaker 지출 5만 달러 초과와 매월 약 1만 달러 절감을 기준으로 Savings Plans 및 자원 사용 제한의 비용 효과 검토.
• 30분 주기 백업, JFrog Artifactory, Streamlit 실행 역할 통제가 작업 보호와 셀프서비스 분석 요구를 충족하는지 점검.

❓ 열린 질문

• 일일 활성 사용자 1,000명 이상과 500명 이상은 각각 어떤 집계 기준과 시점을 반영하는가?
• 매월 약 1만 달러의 Savings Plans 절감 외에 유휴 자원 자동 종료와 승인된 소형 인스턴스 제한의 절감 효과는 얼마인가?
• 30분 주기 백업과 ZS_Backup 태그 기반 AWS Backup은 각각 어떤 작업 보호 및 복구 범위를 제공하는가?