Articleaws.amazon.com·2026년 11월 20일·1

Amazon SageMaker Inference: 2026 launches in review, part 2

Quick Summary

Amazon SageMaker Inference의 2026년 추가 출시 기능을 소개한 글로, 제공된 본문은 실측 기반 구성 추천, LoRA·동시성 최적화, GPU 활용도 개선을 설명한 뒤 HyperPod Inference 전환 대목에서 끝난다.

Amazon SageMaker Inference: 2026 launches in review, part 2 관련 대표 이미지

🖼️ 인포그래픽

Amazon SageMaker Inference: 2026 launches in review, part 2 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Amazon SageMaker Inference: 2026 launches in review, part 2의 핵심 내용을 4단계로 요약한 인포그래픽
Amazon SageMaker Inference: 2026 launches in review, part 2 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Amazon SageMaker Inference의 2026년 추가 출시 기능을 소개한 글로, 제공된 본문은 실측 기반 구성 추천, LoRA·동시성 최적화, GPU 활용도 개선을 설명한 뒤 HyperPod Inference 전환 대목에서 끝난다.

📌 핵심 요약

  • 글은 9월에 정리한 13개 출시에 이어 추가 13개를 소개해 2026년 누적 출시가 26개라고 설명한다. 운영 단계의 구성 재평가, GPU 활용도, 대형 모델 수용, 리전 간 자원 배분과 지연 문제를 주요 주제로 제시한다.
  • 추론 추천 기능은 4월 API 출시 이후 7월 SageMaker AI Studio, 8월 SageMaker Python SDK v3 3.17.0 이상으로 확대됐다. 10월에는 aws-ai-ml 스킬을 통해 코딩 에이전트에서도 실측 기반 추천과 비교를 지원하며, 엔지니어가 생성된 코드를 검토하고 자신의 자격 증명으로 실행한다.
  • 9월에는 LoRA 어댑터 수와 동시성 조합을 실제 GPU에서 평가하는 기능과 지연·오류 목표를 만족하는 최대 동시성을 찾는 SLA 기반 검색이 추가됐다. 가상의 고객 지원팀 사례에서는 70B 모델에 추가한 LoRA 어댑터 4개와 최대 부하 시 TTFT 500밀리초 목표를 함께 재평가한다.
  • 10월에는 Inference Components의 콘솔 관리와 NVIDIA Multi-Instance GPU(MIG) 기반 GPU 분할이 추가됐다. MIG는 가속기에 따라 GPU 하나를 최대 7개 파티션으로 나누지만 호스트 자원은 공유하며, 비용은 전체 인스턴스 시간당 요금으로 부과된다.
  • 가상 팀은 단일 인스턴스의 GPU 메모리를 초과하는 추론 모델과 긴 검색 중심 프롬프트의 지연 문제를 계기로 HyperPod Inference로 이동한다. 제공된 본문은 전용 클러스터와 Kubernetes 관련 설명 도중 잘려 있어, 이후 기능의 세부 내용과 효과는 확인할 수 없다.

🧩 주요 포인트

  1. 추천 기능의 접근 경로 확대와 LoRA·SLA 평가의 결합 → 초기 벤치마크 구성을 유지하기보다 실제 워크로드와 TTFT 500밀리초 같은 목표에 맞춰 배포 구성을 다시 판단할 수 있다.
  2. Inference Components의 개별 확장과 MIG의 GPU 분할 → 작은 모델을 같은 GPU에 배치해 활용도를 높일 수 있지만, 전체 인스턴스 요금과 호스트 자원 공유를 함께 고려해야 한다.
  3. 단일 인스턴스의 메모리 한계와 요청 간 지연 영향 → HyperPod Inference로의 전환 배경은 제시되지만, 잘린 본문만으로 구체적인 해결 방식이나 성능 개선을 판단할 수는 없다.

🧠 상세 정리

1. 첫 배포 이후의 운영 문제로 확장된 출시 정리

이 글은 9월에 게시한 Amazon SageMaker Inference 출시 정리에서 다룬 13개에 추가 13개를 더해, 2026년 누적 출시가 26개라고 소개한다. 앞선 글이 모델을 빠르고 안정적으로 서비스하는 데 초점을 맞췄다면, 이번 글은 실제 트래픽에 맞는 구성 선택, 기존 GPU 활용, 단일 장비보다 큰 모델, 리전 간 자원 불균형과 지연 증가로 논점을 확장한다. 도입부는 HyperPod Inference의 라우팅을 담당하는 Inference Gateway와 새로운 서빙 프레임워크인 관리형 NVIDIA Dynamo를 언급하고, 관리형 엔드포인트의 리전·계정 간 요청 라우팅도 소개한다. 설명에는 봄에 단일 SageMaker AI 엔드포인트와 70B 모델로 고객 지원 도우미를 배포한 가상 팀이 사용되며, 가을에는 제품군 확대와 더 큰 모델 도입, 두 번째 리전 지원을 GPU 비용 증가 없이 추진하는 상황을 설정한다. 다만 제공된 본문은 HyperPod Inference 설명 초입에서 끝나므로, 글이 예고한 추가 13개 전체의 상세 내용을 담고 있지는 않다.

2. Studio와 Python SDK로 넓어진 실측 기반 추천

4월에 API로 출시된 추론 추천 기능은 7월 SageMaker AI Studio의 안내형 로우코드 작업 흐름으로 확대됐다. 사용자는 용도와 지연 최소화·처리량 최대화·비용 최소화 중 목표를 정하고, SageMaker JumpStart, Amazon S3, Model Registry 또는 기존 SageMaker 모델에서 평가 대상을 선택한다. SageMaker AI는 NVIDIA AIPerf를 사용해 실제 GPU에서 후보 구성을 벤치마크하고, 목표에 맞춰 추측 디코딩이나 커널 튜닝 등을 적용한 뒤 TTFT, 토큰 간 지연, 처리량, 비용으로 결과를 비교하고 배포할 수 있게 한다. 8월에는 SageMaker Python SDK v3의 3.17.0 이상에 같은 기능이 통합돼 노트북, CI 파이프라인과 MLOps 작업 흐름에서도 추천을 사용할 수 있게 됐다. SDK는 실제 엔드포인트의 워크로드 평가와 최상위 추천 구성 배포를 지원하며, LMI와 vLLM 같은 서빙 프레임워크를 병렬 작업으로 비교하거나 완료된 작업에서 이어서 배포해 벤치마크 재실행을 피할 수도 있다.

3. LoRA 어댑터 수와 동시성의 균형 평가

9월에 추가된 LoRA 지원은 하나의 기반 모델을 여러 용도로 특화할 때 어댑터가 차지하는 GPU 메모리와 처리 가능한 동시 요청 수의 관계를 평가한다. 원문은 GPU 메모리에 유지하는 어댑터가 늘면 동시 요청을 수용할 여지가 줄고, 적정 균형은 인스턴스 유형과 어댑터 수, 트래픽 특성에 따라 달라진다고 설명한다. 추천 기능은 SageMaker 미세 조정으로 만든 어댑터의 Model Package ARN이나 Hugging Face PEFT 같은 외부 파이프라인에서 만든 어댑터의 S3 URI를 입력받아, 실제 GPU에서 어댑터 수와 동시성 조합을 시험한다. 결과에는 각 어댑터의 두 식별 형식이 표시되며, 권장 배포는 기반 모델과 각 어댑터를 별도 Inference Component로 구성해 다른 구성 요소를 중단하지 않고 어댑터를 추가·갱신·제거할 수 있게 한다. 가상 지원팀이 4월 구성 선정 이후 제품군별 LoRA 어댑터 4개를 추가했다는 설정은, 이전 벤치마크만으로 현재 구성을 판단하기 어려워진 이유를 보여준다.

4. SLA를 만족하는 최대 동시성 검색

9월의 SLA 기반 동시성 검색은 지연이나 오류 목표를 넘지 않으면서 엔드포인트가 유지할 수 있는 최대 동시성을 찾는 기능이다. 기존에는 동시성 수준을 직접 고르고 반복 평가한 뒤, 모델이나 인스턴스가 바뀔 때마다 범위를 좁혀 다시 시험해야 했다고 원문은 설명한다. 새 검색에서는 최대 TTFT, 출력 토큰당 최대 시간, 최대 전체 지연, 최대 오류율 중 필요한 조건을 지정하며, AIPerf가 넓은 범위에서 시작해 통과와 실패 결과에 따라 탐색 범위를 줄인다. 원문에 따르면 이 방식은 선형 순회보다 적은 반복으로 수렴하고, 조건을 만족하는 최대 동시성인 feasible_max 또는 만족하는 수준이 없을 때 가장 작은 실패 동시성인 infeasible_min을 반환한다. 검색은 기존 동시성 평가와 같은 API를 사용하며 범위와 반복 수를 제한하는 선택 매개변수를 제공하고, 가상 팀에는 어댑터 4개를 포함한 추천 작업과 TTFT 500밀리초 목표 검색이 기존 수동 평가를 대체하는 사례로 제시된다.

5. 코딩 에이전트의 추천을 실측 결과에 연결

10월에 소개된 aws-ai-ml 스킬은 Agent Toolkit for AWS를 통해 Kiro 같은 코딩 에이전트에 SageMaker AI 추론 관련 지식을 제공한다. 원문은 실제 벤치마크나 근거 없이 에이전트가 인스턴스와 컨테이너를 추정하면, 이후 지연 목표 미달이나 불필요한 지출로 이어질 수 있다는 문제를 먼저 제시한다. 이 스킬은 Amazon S3, SageMaker JumpStart, Hugging Face Hub의 모델에 대해 처리량·지연·TTFT가 측정된 배포 후보를 제시하고, 운영 중인 엔드포인트의 부하 평가와 실행 간 지표 변화 비교를 지원한다. 엔드포인트 평가에는 처리량, P50·P99 지연, 토큰 간 지연과 지원 동시성이 포함되며, 비교 결과는 각 지표의 백분율 변화로 표현된다. 결과는 엔지니어가 검토하고 자신의 자격 증명으로 실행하는 SageMaker Python SDK v3 코드로 제공되며, 원문은 설정에 약 10분이 걸리고 MCP를 지원하는 에이전트 및 SageMaker AI Studio JupyterLab 공간에서 사용할 수 있다고 설명한다.

6. Inference Components의 콘솔 관리와 개별 확장

가상 지원팀의 계정에는 고객 지원 도우미 외에도 임베딩 모델, 재순위화 모델, 티켓 분류기가 있으며, 각각 GPU 일부만 사용한다. 원문은 표준 엔드포인트에서 모델 복사본마다 가속기 전체를 점유하면 GPU 메모리가 남아 있어도 추가 모델 배치에 제약이 생긴다고 설명한다. Inference Components는 하나의 엔드포인트에 여러 모델을 배치하고 모델별 자원과 확장 규모를 따로 정하게 해주며, 10월에는 기존 SDK·AWS CLI 지원에 콘솔 관리가 추가됐다. 콘솔에서는 구성 요소 생성·조회·수정·삭제, 가속기·CPU·메모리·복사본 수 변경, 구성 요소별 자동 확장 정책 설정과 경보·지표 확인이 가능하다. 복사본 수를 0까지 줄여 유휴 모델이 가속기를 계속 점유하지 않게 할 수 있고, 콘솔이 SDK·CLI와 같은 SageMaker AI API를 사용하므로 시각적 관리와 스크립트 기반 자동화를 함께 활용할 수 있다.

7. MIG로 높이는 GPU 활용도와 공유 자원의 한계

10월에 추가된 GPU 분할은 NVIDIA Multi-Instance GPU(MIG)를 사용해 물리 GPU 하나를 가속기 종류에 따라 최대 7개 파티션으로 나눈다. 각 파티션에는 전용 GPU 연산 자원과 메모리가 있으며, 원문은 이들 자원 사이에 하드웨어 격리가 제공된다고 설명한다. 사용자는 Inference Components용 엔드포인트를 만들 때 파티션 구성을 정하고 구성 요소별 파티션 유형을 선택하며, 애플리케이션은 기존처럼 구성 요소 이름으로 호출하므로 클라이언트 코드를 바꿀 필요가 없다. 다만 같은 인스턴스의 모델은 호스트 CPU·메모리·네트워크·스토리지와 엔드포인트 라우팅을 공유하고, 요금도 전체 인스턴스의 표준 시간당 요금이 그대로 적용된다. 따라서 비용 절감의 근거는 시간당 가격 인하가 아니라 인스턴스당 더 많은 모델을 배치하는 데 있으며, 가상 팀은 임베딩 모델·재순위화 모델·분류기를 GPU 하나의 별도 파티션으로 옮기는 사례로 제시된다.

8. 단일 인스턴스를 넘는 모델과 본문의 종료 지점

다음 전환점은 가상 팀이 도입하려는 추론 모델의 가중치만으로도 단일 인스턴스의 GPU 메모리 용량을 초과한다는 점이다. 팀은 동시에 검색을 많이 활용하는 긴 프롬프트가 엔드포인트의 다른 사용자에 대한 토큰 생성까지 느리게 만드는 현상도 관찰한다. 원문은 이 정도 크기의 모델을 처리하기 위해 워크로드를 HyperPod Inference로 옮기며, 이 서비스가 전용 클러스터를 제공한다고 설명하기 시작한다. 그러나 제공된 텍스트는 Kubernetes 네이티브 기능을 소개하려는 문장 중간에서 끊겨, 이후 구성이나 동작 방식에 대한 설명은 포함하지 않는다. 따라서 이 대목에서 확인되는 것은 전환을 유발한 메모리 제약과 요청 간 지연 영향, 그리고 선택한 서비스이며, HyperPod Inference가 각 문제를 어떤 방식으로 해결하거나 얼마나 개선했는지는 이 자료만으로 판단할 수 없다.

🧾 핵심 주장 / 시사점

  • 원문이 제시하는 최적화 기준은 최초 배포 당시의 벤치마크가 아니라 변경된 워크로드다. LoRA 어댑터 추가와 TTFT 목표 설정은 기존 구성을 재평가할 구체적인 계기로 사용된다.
  • Inference Components와 MIG는 모델별 관리·확장과 GPU 내부 자원 배치를 각각 다룬다. GPU 활용도 개선이 비용 절감으로 이어지는 정도는 실제 배치 밀도와 공유 호스트 자원의 제약에 달려 있다.
  • 가상 팀의 사례는 기능의 활용 맥락을 설명하지만 실제 고객의 성능 검증 결과는 아니다. 특히 HyperPod Inference 부분은 본문이 잘려 있어 전환 이후의 효과를 추론할 근거가 부족하다.

✅ 액션 아이템

  • LoRA 어댑터 4개와 TTFT 500밀리초 목표를 반영한 배포 구성 및 최대 동시성 재평가.
  • Inference Components와 MIG 적용 시 모델 배치 밀도, 전체 인스턴스 요금, 호스트 자원 공유 제약을 함께 검토.
  • HyperPod Inference 전환의 구체적인 해결 방식과 성능 효과는 잘린 본문의 후속 내용 확인 후 판단.

❓ 열린 질문

  • LoRA 어댑터 4개를 포함한 구성에서 TTFT 500밀리초 목표를 만족하는 최대 동시성은 얼마인가?
  • MIG로 작은 모델을 함께 배치할 때 호스트 자원 공유가 성능과 전체 인스턴스 비용에 어떤 영향을 주는가?
  • HyperPod Inference는 단일 인스턴스의 GPU 메모리 한계와 긴 검색 중심 프롬프트의 지연 문제를 구체적으로 어떻게 해결하는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.