Announcing new ways to customize models with SageMaker AI, without managing GPUs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AWS는 GPU 인프라를 직접 관리하지 않고도 사용자 정의 학습 루프와 보상 함수를 실행할 수 있는 Amazon SageMaker AI 서버리스 모델 맞춤화의 training sessions를 정식 출시했다.

📌 핵심 요약

• Training sessions에서는 사용자가 사후 학습 루프와 사용자 정의 손실 함수·보상 신호를 제어하고, SageMaker AI가 GPU 할당, 분산 실행, 장애 복구, 체크포인트 저장을 처리한다.
• SageMaker AI 서버리스 모델 맞춤화는 SFT, DPO, RLVR, RLAIF, 다중 턴 강화학습과 LoRA·전체 미세 조정을 지원하며, 여러 기법을 연속적으로 연결할 수 있다. 모델 맞춤화 에이전트 스킬은 데이터 준비부터 기법 선택, 학습, 평가, 배포까지 지원한다.
• 사용자 환경에서 학습 루프와 보상 함수를 실행하고, 세션의 sampler가 응답을 생성하며 trainer가 기울기 계산과 가중치 갱신을 수행한다. 과금은 SageMaker AI가 처리하는 토큰을 기준으로 하며, 사용자 환경에서 보상 함수가 배치를 채점하는 동안에는 과금 계측이 중단되고 용량 예약은 필요하지 않다.
• 세션은 사용자가 생성한 IAM 실행 역할을 사용하며 AWS KMS 키와 VPC 구성을 추가할 수 있다. 데이터와 체크포인트는 선택한 AWS 리전의 사용자 소유 Amazon S3 버킷에 저장되고, AWS는 사용자 데이터나 맞춤화한 가중치를 다른 모델 학습에 사용하지 않는다고 밝혔다.
• 출시 시 지원 모델은 gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B, Qwen3.8-27B다. IDE에서는 Linux 또는 macOS와 Python 3.10~3.12 환경에 SageMaker Python SDK를 설치해 시작할 수 있으며, SageMaker Studio에서는 20초 미만에 준비된 AI 개발 환경을 실행할 수 있다고 안내한다.

🧩 주요 포인트

1. 학습 로직과 인프라 운영의 역할 분리 → 사용자 정의 손실 함수·보상 신호와 다중 턴 강화학습을 직접 설계하면서 GPU 운영 부담을 줄이는 구조다.
2. 사용자 환경의 채점과 SageMaker AI의 토큰 처리 분리 → 보상 함수의 배치 채점 시간에는 과금 계측이 멈추므로 학습 비용을 판단할 때 처리 토큰과 채점 단계를 구분해야 한다.
3. IAM·AWS KMS·VPC와 사용자 소유 Amazon S3 활용 → 기존 거버넌스를 이어갈 수 있도록 설계됐으며, 실제 도입에는 지원 모델과 Linux·macOS 및 Python 3.10~3.12 조건을 함께 고려해야 한다.

🧠 상세 정리

1. 모델 맞춤화의 필요성과 training sessions 출시

AWS는 AI에서 실질적인 성과를 얻는 기업들이 기초 모델을 그대로 사용하는 데 그치지 않고, 강화학습 같은 사후 학습 기법으로 오픈 웨이트 모델을 맞춤화하고 있다고 설명한다. 업무 맥락, 제품 목록, 임상 용어를 학습한 모델은 해당 과제에서 정확도가 높아지고 실행 비용이 낮아질 수 있다는 것이 원문의 주장이다. 에이전트의 동작에는 데이터뿐 아니라 워크플로, 평가 방식, 성공 기준도 영향을 준다. 그러나 적절한 기법 선택, GPU 인프라 구축과 관리, 다중 턴 강화학습 환경 마련은 맞춤화를 어렵게 하는 요소다. AWS는 이 문제를 해결하기 위해 제공해 온 SageMaker AI 서버리스 모델 맞춤화를 확장하면서 training sessions의 정식 출시를 발표했다.

2. 인프라 관리 없이 선택하는 학습 기법과 에이전트 지원

SageMaker AI 서버리스 모델 맞춤화에서는 사용자가 인스턴스 유형을 선택하거나 클러스터를 관리하고 분산 학습 구성을 작성할 필요가 없다. 지원 기법에는 SFT, DPO, RLVR, RLAIF, 다중 턴 강화학습이 포함되며, LoRA 또는 전체 미세 조정으로 모델의 갱신 범위를 선택하고 여러 기법을 연속적인 맞춤화 과정으로 연결할 수 있다. Training sessions cookbook은 예제와 활용 사례, 모델 맞춤화 에이전트 스킬을 제공하며, 원문은 사용 사례를 설명하면 에이전트가 데이터 준비부터 기법 선택, 학습, 평가, 배포까지 처리한다고 안내한다. 이 에이전트는 SageMaker Studio, Kiro, Claude Code, Codex, GitHub Copilot에서 사용할 수 있다. ImagineSoftware의 Rob Gontarek은 의료비 청구 거절 분류 모델 개발에 이를 도입했으며, 낮은 수준의 API와 순전파·역전파, 샘플링, 옵티마이저 단계의 직접 제어가 정확도가 중요한 강화학습 연구에 필요한 세밀한 통제력을 제공했다고 평가했다.

3. 다중 턴 강화학습에서 사용자 정의 루프가 필요한 이유

원문은 에이전트 학습의 중요한 변화로 다중 턴 강화학습을 제시한다. 여행 예약, 지원 티켓 분류, 여러 단계의 연구를 수행하는 에이전트는 여러 차례 상호작용한 뒤에야 올바른 결과에 도달했는지 판단할 수 있기 때문이다. 이 과정에서 모델 학습, 추론을 통한 응답 생성, 응답 채점, 다음 갱신으로의 결과 전달이 서로 다른 인프라와 도구에 걸쳐 수행되면 연결 작업이 복잡해진다. SageMaker AI는 이미 관리형 서버리스 기법으로 다중 턴 강화학습을 제공하지만, 고객들은 손실 함수와 보상 신호, 강화학습 단계를 하나의 루프 안에서 직접 정의하기를 원했다고 AWS는 설명한다. Karini AI의 Nitin Wagh는 Amazon Neptune 지식 그래프를 대상으로 에이전트형 다중 턴 도구 호출을 수행하도록 gpt-oss-20b를 미세 조정했으며, 수동 튜닝이나 메모리 부족 대응 없이 설정할 수 있었고 정확한 단계에서의 체크포인트 재개가 안정적이었다고 밝혔다.

4. GRPO 예제로 보는 실행 구조와 과금

사용자 코드는 자신의 환경에서 학습 루프와 보상 함수를 실행하고 에이전트를 도구 또는 시뮬레이터에 연결하며, training session은 GPU 연산이 많이 필요한 응답 생성과 모델 갱신을 담당한다. 원문이 예로 든 Group Relative Policy Optimization(GRPO)은 같은 프롬프트에 여러 응답을 생성하고 채점한 뒤, 응답 사이의 상대적인 성과를 이용해 모델을 갱신하는 강화학습 방법이다. 먼저 사용자 루프가 sampler에 현재 모델로 응답 생성을 요청하고, 사용자 환경의 보상 함수가 검증기, 보상 모델 또는 테스트 하네스를 이용해 응답을 채점한다. 이어 점수를 trainer에 전달하면 forward_backward()가 기울기를 계산하고 optim_step()이 가중치를 갱신하며, 루프는 sampler에 갱신된 가중치를 반영하도록 요청한 뒤 다음 배치를 반복한다. 과금은 SageMaker AI가 처리하는 토큰을 기준으로 하며, 사용자 환경에서 보상 함수가 배치를 채점하는 동안에는 계측이 중단되고 별도로 용량을 예약할 필요가 없다.

5. 데이터·모델 통제와 기존 거버넌스 유지

각 training session은 사용자가 생성한 AWS Identity and Access Management(IAM) 실행 역할을 사용하며, 사용자 소유 AWS Key Management Service(AWS KMS) 키와 virtual private cloud(VPC) 구성을 추가할 수 있다. 데이터는 사용자가 선택한 AWS 리전의 사용자 소유 Amazon Simple Storage Service(Amazon S3) 버킷에 유지되고, 체크포인트도 해당 버킷에 저장된다. AWS는 사용자 데이터나 맞춤화한 가중치를 다른 모델의 학습에 사용하지 않는다고 명시한다. 배포 전에는 모델의 정확도, 편향, 안전성을 평가할 수 있으며, 배포 후에는 가드레일을 적용하고 Amazon CloudWatch로 모니터링할 수 있다. 원문은 이러한 기능을 통해 팀이 이미 운영하는 거버넌스 절차를 계속 사용할 수 있다고 설명한다.

6. 지원 모델과 개발 시작 경로

발표 시점에 training sessions가 지원하는 모델은 gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B, Qwen3.8-27B로 제시됐다. 개발을 시작하는 경로는 IDE와 SageMaker Studio 두 가지다. IDE에서는 Linux 또는 macOS의 Python 3.10~3.12 환경에 SageMaker Python SDK를 설치하고 cookbook을 복제해 개발을 시작하도록 안내한다. SageMaker Studio에서는 준비된 AI 개발 환경을 20초 미만에 실행할 수 있다고 설명하며, 로그인 후 노트북을 열고 Kiro, Claude Code, Codex 또는 Copilot을 연결한 뒤 에이전트 스킬과 cookbook을 내려받는 절차를 제시한다. 추가 자료로는 전체 기술 게시물, training sessions 예제, 문서, cookbook이 제공된다.

🧾 핵심 주장 / 시사점

• Training sessions의 핵심 변화는 서버리스 환경에서도 학습 루프의 세부 동작을 사용자 코드로 제어할 수 있다는 점이며, 관리형 실행과 알고리즘 설계의 자유도를 함께 제공하려는 방향으로 해석된다.
• 사용자 환경의 보상 함수와 세션 내부의 sampler·trainer를 연결하는 구조에서는 보상 설계와 도구·시뮬레이터 연결이 여전히 사용자 구현의 중요한 부분으로 남는다.
• ImagineSoftware와 Karini AI 사례는 세밀한 학습 제어와 운영 편의성에 대한 고객 평가를 제공하지만, 원문에는 정확도 향상 폭이나 비용 절감률을 비교할 정량 결과가 제시되지 않았다.

✅ 액션 아이템

• 사용자 정의 손실 함수·보상 신호와 다중 턴 강화학습 요구를 기준으로 training sessions의 적용 가능성 검토.
• SageMaker AI가 처리하는 토큰과 사용자 환경의 보상 함수 채점 단계를 구분해 과금 구조 검토.
• 지원 모델, Linux·macOS 및 Python 3.10~3.12 조건과 IAM·AWS KMS·VPC·Amazon S3 구성을 도입 환경에 대조.

❓ 열린 질문

• 적용하려는 과제에는 사용자 정의 손실 함수·보상 신호와 다중 턴 강화학습 중 어떤 제어가 필요한가?
• SageMaker AI가 처리하는 토큰과 보상 함수의 배치 채점은 실제 학습 과정에서 어떻게 나뉘는가?
• gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B, Qwen3.8-27B 중 어떤 모델이 적용 과제에 적합한가?