Announcing AI data preparation capabilities in Amazon SageMaker: Build high-quality datasets for model development workflows
Quick Summary
AWS는 Amazon SageMaker AI에서 자동 라벨링, 전문가 검토, 합성 데이터 생성, 품질 평가, 데이터 변환을 개별적으로 실행하거나 연결해 모델 학습·평가용 데이터셋을 준비할 수 있다고 발표했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
AWS는 Amazon SageMaker AI에서 자동 라벨링, 전문가 검토, 합성 데이터 생성, 품질 평가, 데이터 변환을 개별적으로 실행하거나 연결해 모델 학습·평가용 데이터셋을 준비할 수 있다고 발표했다.
📌 핵심 요약
- AWS는 범위가 명확한 과제에서는 깨끗한 과제별 데이터로 맞춤화한 소형 모델이 대형 범용 모델과 대등하거나 더 높은 정확도를 보이면서 추론당 비용도 낮출 수 있다고 설명했다. 실제 데이터 준비에는 라벨 부족, 개인정보 보호 제약, 뒤늦게 발견되는 품질 문제로 수주가 걸릴 수 있다.
- 자동 라벨링은 전체 데이터에 적용하기 전에 사용자 예시로 라벨링 명세를 검증한다. 가능한 답이 정해진 과제에서는 여러 모델의 일치도를 행별 신뢰도 점수로 삼고, 신뢰도 기준에 미달한 행은 Amazon SageMaker Studio에서 사람이 검토해 다음 라벨링에 수정 내용을 반영한다.
- 사용자 문서와 시드 데이터를 바탕으로 합성 데이터를 생성하고, 지도 미세조정(SFT), 직접 선호 최적화(DPO), 강화학습(RL)에 맞게 형식을 변환할 수 있다. 학습 전 품질 평가에서는 중복, 라벨 오류, 정답 누출, 업무 규칙 위반을 점검한다.
- Cisco 계열사 Splunk는 Splunk Agent Observability의 평가 모델에 필요한 다양한 데이터를 확보하는 데 합성 데이터 생성 기능이 도움이 됐다고 밝혔다. 모델이 의존하는 패턴을 보존하면서 통계적으로 대표성 있는 데이터셋을 빠르게 생성했다는 설명이다.
- SageMaker Python SDK로 기능을 직접 호출하거나 AWS AI-ML 에이전트 스킬을 사용할 수 있고, 사용자는 명세와 코드를 검토·수정할 수 있다. 기능은 미국 동부(버지니아 북부)와 미국 서부(오리건) 리전에서 정식 제공되며, 원본 데이터·생성 데이터셋·라벨은 선택한 리전의 자체 Amazon S3 버킷에 보관된다.
🧩 주요 포인트
- 행별 신뢰도를 기준으로 자동 수용과 전문가 검토를 나눠, 판단이 엇갈린 사례에 검토 시간을 쓰고 수정 결과를 평가 기준 데이터셋에 반영할 수 있다.
- 합성 데이터의 생성 코드를 검토·수정·재사용할 수 있어, 표본이 원본 문서에 충실한지 확인한 뒤 같은 방식으로 생성 규모를 늘릴 수 있다.
- 데이터 변환과 품질 평가가 독립 기능이어서, 기존 학습 절차에 필요한 단계만 추가하고 학습 자원을 쓰기 전에 데이터 문제를 발견할 수 있다.
🧠 상세 정리
1. 과제별 학습·평가 데이터를 준비하는 데 걸리는 시간
AWS는 공개 가중치 모델을 미세조정하거나 강화학습을 수행할 때, 또 모델 평가용 문항을 만들 때 공통으로 필요한 것은 정확한 라벨과 실제 과제를 대표하는 데이터라고 설명한다. 범위가 좁고 요구사항이 명확하면 깨끗한 과제별 데이터로 맞춤화한 소형 모델이 대형 범용 모델과 대등하거나 더 높은 정확도를 내면서 추론당 비용을 낮출 수도 있다. 하지만 라벨이 붙은 예시는 구하기 어렵거나 비싸고, 개인정보 보호 규칙은 사용할 수 있는 자료를 제한한다. 중복이나 정답 누출을 학습 결과가 기대에 못 미친 뒤에야 발견하기도 하며, 학습 기법마다 요구하는 형식까지 달라 데이터 과학자가 준비 작업에 수주를 쓰는 경우가 있다는 것이 AWS의 설명이다.
2. 모델 간 일치도에 따른 자동 라벨링과 전문가 검토
자동 라벨링은 기존 라벨이 없는 데이터나 소수의 라벨 예시로 시작할 수 있다. 분류, 개체명 인식, 추출형 질의응답, 순서형 평점, 요약을 기본으로 지원하며, 사용자가 과제를 직접 정의할 수도 있다. 전체 데이터에 라벨을 붙이기 전에는 짧은 라벨링 명세가 사용자 예시에 맞는지 검증한다. 분류처럼 가능한 답이 정해진 과제에서는 여러 모델이 각 행에 라벨을 붙이고, 그 결과가 얼마나 일치하는지를 해당 행의 신뢰도 점수로 사용한다. 사용자가 정한 기준에 미달한 행은 오픈소스 Label Studio Community Edition을 사용하는 Amazon SageMaker Studio의 검토 대기열로 보낸다. 외부 분야 전문가도 검토에 참여할 수 있으며, 수정 사항은 다음 라벨링에 반영되고 검토 결과로 합의도 지표와 라벨링 보고서를 만들 수 있다.
3. 합성 데이터의 생성·점검·변환과 Splunk의 사용 경험
합성 데이터 생성 기능은 사용자가 정한 명세를 바탕으로 학습·평가·테스트용 예시를 만들며, 자체 문서와 시드 데이터를 근거로 삼을 수 있다. 서비스가 생성 코드를 제공하므로 사용자는 예시를 어떤 방식으로 만들었는지 살펴보고, 코드를 수정하거나 재사용해 생성 규모를 늘릴 수 있다. 품질 평가는 업무 규칙, 내장 지표, 대규모 언어 모델을 평가자로 쓰는 지표로 중복·유사 중복, 라벨 오류, 정답 누출 등을 찾는다. 데이터 변환에는 자연어로 요청해 생성한 코드, 중복 제거·병합·분할·필터링 같은 내장 연산, 사용자 작성 Python 코드를 쓸 수 있다. Splunk의 엔지니어링 디렉터 Yash Sheth는 이 기능으로 Splunk Agent Observability 평가 모델에 필요한 패턴을 보존하면서 통계적으로 대표성 있는 합성 데이터셋을 빠르고 일관되게 생성할 수 있었다고 밝혔다.
4. 평가 기준 데이터셋과 모델 학습에 기능을 연결하는 방법
AWS가 소개한 첫 번째 활용 방식은 모델 성능을 비교할 기준 데이터셋을 만드는 것이다. 소수의 시드 예시로 원시 데이터에 라벨을 붙인 뒤 신뢰도가 높은 행은 자동으로 받아들이고, 낮은 행은 사람이 검토해 다음 라벨링에서 같은 판단을 개선할 수 있도록 한다. 두 번째 방식은 원본 문서에서 시작해 모델 학습까지 이어진다. 문서와 시드 데이터에 근거한 과제별 예시를 먼저 생성하고, 이를 지도 미세조정(SFT), 직접 선호 최적화(DPO), 강화학습(RL) 등 선택한 학습 기법이 요구하는 형식으로 변환한다. 그다음 중복, 정답 누출, 업무 규칙 위반을 확인한 뒤 SageMaker AI의 모델 맞춤화 기능으로 학습을 진행하므로, 학습 자원을 투입하기 전에 데이터 문제를 점검할 기회가 생긴다.
5. 고객 지원 도우미 평가에서 원문 경고를 보존하는 사례
AWS는 고객 지원 도우미가 공장 초기화에 관한 질문에 답할 때 저장된 설정이 지워진다는 제품 안내서의 경고를 전달하는지 평가하는 상황을 예로 들었다. 먼저 안내서를 근거 자료로 제공하고 기준 답변에 해당 경고가 들어가야 한다는 요구사항을 명세에 반영한다. 소량의 예시를 생성한 뒤에는 질문이 의도한 범위를 다루는지, 기준 답변이 안내서 내용을 보존하는지 원문과 대조하고 생성 코드도 살펴본다. 품질 평가에서 모호한 답변이 나오거나 개별 판정에 이견이 있으면 분야 전문가가 검토한다. 그 결과를 바탕으로 불명확한 명세를 고치거나 중복을 제거하고, 부족한 예시를 추가로 생성한 뒤 수정된 데이터셋을 재평가하는 흐름이다.
6. 실행 방식, 데이터 보관 위치와 정식 제공 리전
AWS AI-ML 에이전트 스킬을 사용하면 SageMaker Studio JupyterLab, Kiro 또는 로컬 IDE에서 자연어로 과제를 설명하고 코딩 에이전트의 도움을 받아 명세와 코드를 작성할 수 있다. 사용자는 두 결과물을 직접 열어 설정을 확인하고 변경할 수 있다. 개별 기능을 자신의 코드에서 실행하려는 경우에는 명세를 입력으로 받는 SageMaker Python SDK를 사용하며, AWS는 이때도 에이전트의 도움으로 명세를 먼저 작성하는 방식을 권한다. 데이터 준비 작업은 사용자가 제어하는 AWS Identity and Access Management(IAM) 실행 역할로 수행되며, 원본 데이터와 생성 데이터셋, 라벨은 사용자가 선택한 리전의 자체 Amazon S3 버킷에 보관된다. 발표 기준 정식 제공 지역은 미국 동부(버지니아 북부)와 미국 서부(오리건)다.
🧾 핵심 주장 / 시사점
- 행별 신뢰도 점수가 나타내는 것은 여러 모델의 판단이 일치한 정도다. AWS의 평가 데이터셋 예시에서는 이 점수로 사람이 살펴볼 행을 고르고, 전문가의 수정으로 다음 라벨링을 개선한다.
- 공장 초기화 사례는 기준 답변의 품질을 구체적으로 판단하는 방법을 보여준다. 안내서에 있는 ‘저장된 설정이 지워진다’는 경고가 답변에도 들어 있는지 확인하면 요구사항 충족 여부를 판단할 수 있다.
- Splunk가 보고한 효과에서 중요한 조건은 생성 속도와 함께 기존 평가 모델이 의존하는 데이터 패턴을 보존했다는 점이다. 이는 Splunk Agent Observability의 과제에서 나온 경험이다.
✅ 액션 아이템
- 자동 라벨링을 전체 데이터에 적용하기 전에 사용자 예시로 라벨링 명세를 검증하고, 신뢰도 기준에 미달한 행은 전문가 검토에 배정한다.
- 합성 데이터 표본을 원본 문서와 대조하고 생성 코드를 검토한 뒤 생성 규모를 늘린다.
- 선택한 학습 기법에 맞게 데이터 형식을 변환한 뒤, 학습 전 품질 평가에서 중복, 라벨 오류, 정답 누출, 업무 규칙 위반을 점검한다.
❓ 열린 질문
- 어떤 행별 신뢰도 기준을 적용해야 자동 수용할 행과 전문가 검토가 필요한 행을 적절히 구분할 수 있는가?
- Splunk는 합성 데이터가 Splunk Agent Observability 평가 모델에 필요한 패턴과 통계적 대표성을 보존했는지 어떻게 확인했는가?
- 범위가 명확한 과제에서 맞춤화한 소형 모델이 대형 범용 모델과 대등한 정확도와 더 낮은 추론당 비용을 달성하는 조건은 무엇인가?