New agent skill: Amazon SageMaker optimized generative AI inference for your coding agent

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AWS의 aws-ai-ml 스킬은 MCP 호환 코딩 에이전트에 Amazon SageMaker AI 추론 최적화 기능을 더해, 실측 벤치마크와 배포 구성 추천을 실행 가능한 코드로 제공한다.

📌 핵심 요약

• Agent Toolkit for AWS로 제공되는 aws-ai-ml은 Kiro, Claude Code, Codex 등 MCP 호환 코딩 에이전트에서 엔드포인트 벤치마크, 배포 구성 추천, 성능 비교, SageMaker Python SDK v3 코드 생성을 지원한다.
• 로컬 설치에는 AWS CLI 2.35+와 uv, SageMaker AI API 호출 권한이 필요하다. Amazon SageMaker Studio에서는 사전 구성된 이미지와 새 Private JupyterLab 공간을 사용하며, 스킬 자체를 위한 추가 IAM 설정은 필요하지 않다.
• 엔드포인트 벤치마크는 실제 트래픽을 발생시키므로 먼저 부하 테스트 가능 여부를 확인하며, 처리량, p50·p99 지연 시간, 첫 토큰까지의 시간, 토큰 간 지연 시간, 동시성을 실측한다.
• Amazon S3의 사용자 모델, Amazon SageMaker JumpStart 모델, Hugging Face Hub 모델에 대해 후보 인스턴스와 구성을 평가하고 비용·성능 요구에 맞는 배포 옵션을 제시한다. 접근이 제한된 Llama 등의 모델은 라이선스 동의와 Hugging Face 토큰을 요구한다.
• 512/256 토큰·동시성 4의 비교에서 Qwen3-8B는 Qwen3-1.7B보다 처리량이 약 44~47% 높았지만, 각각 4개 A10G GPU와 단일 L4 GPU를 사용해 하드웨어 차이가 결과에 반영됐다. 첫 토큰까지의 시간은 Qwen3-1.7B가 67.5ms로 Qwen3-8B의 166.3ms보다 짧았다.

🧩 주요 포인트

1. 자연어 요구를 검토·수정·실행 가능한 SageMaker Python SDK v3 코드로 변환 → 인스턴스와 서빙 구성에 대한 전문 지식의 공백을 줄이면서 사용자 통제권을 유지한다.
2. 실제 부하에서 측정한 처리량·지연 시간·동시성으로 후보 구성을 평가 → 비용과 성능 제약에 근거해 배포 선택을 비교할 수 있다.
3. Qwen3-8B의 처리량 우위와 Qwen3-1.7B의 첫 토큰 지연 우위가 서로 다른 GPU 구성에서 관측됨 → 모델 크기만으로 성능을 판단하거나 모든 지표의 개선을 가정할 수 없다.

🧠 상세 정리

1. 개발 의도와 추론 인프라 사이의 간극

AWS는 개발자가 코딩 보조 도구를 활용하는 흐름에 맞춰 Agent Toolkit for AWS를 통해 aws-ai-ml 스킬을 제공하며, 이를 Kiro, Claude Code, Codex 등 MCP 호환 에이전트에 연결할 수 있다고 설명한다. Amazon SageMaker AI는 실시간·배치·비동기 방식의 서버 기반 호스팅, 온디맨드·예약 용량, 다양한 인스턴스, VPC 격리, 자동 확장과 학습 경로 통합을 지원하지만, 개발자가 처음부터 적절한 인스턴스나 서빙 컨테이너를 아는 것은 아니다. 개발자는 대체로 달성할 성능 목표, 지켜야 할 비용 범위, 운영 배포 전에 평가할 모델을 가지고 접근한다. 스킬을 갖춘 에이전트는 필요한 정보를 질문하고 실제 벤치마크와 측정 데이터에 근거해 실행 가능한 SageMaker Python SDK v3 코드를 생성하는 방식으로 이 간극을 줄인다. 사용자는 생성된 코드를 자신의 환경에서 검토·수정·실행할 수 있고, 각 단계가 실시간으로 드러나므로 진행 과정에 대한 통제권을 유지한다.

2. 로컬 코딩 에이전트에서의 설치와 권한

로컬 환경에서는 AWS CLI 2.35+와 uv를 준비한 뒤 aws configure agent-toolkit을 실행하면, Agent Toolkit for AWS가 에이전트를 자동 감지하고 스킬 설치와 AWS MCP Server 구성을 수행한다. 이어 npx skills add aws/agent-toolkit-for-aws/skills/aws-ai-ml 명령으로 스킬을 추가하고, 에이전트 채팅에서 사용 가능한 스킬을 물어 aws-ai-ml이 표시되는지 확인한 뒤 자연어로 목적을 전달한다. 원문은 로컬 또는 Studio 환경에서 약 10분 안에 대화를 시작할 수 있다고 안내하며, 에이전트별 플러그인 설치와 MCP 구성은 별도 시작 가이드를 참조하도록 한다. 생성된 코드는 사용자의 AWS 자격 증명으로 실행되므로 엔드포인트 생성과 벤치마크·추천 작업 실행에 필요한 SageMaker AI API 권한이 있어야 하지만, 스킬 자체를 위한 추가 IAM 설정은 요구하지 않는다. Kiro와 Claude Code는 AWS MCP Server를 통해 실행 중 필요한 스킬을 검색하고 불러올 수도 있어, 해당 방식에서는 로컬 설치 없이 스킬을 발견할 수 있다고 설명한다.

3. Amazon SageMaker Studio의 사전 구성 환경

관리형 JupyterLab을 선호하는 사용자는 대상 AWS 계정과 리전에서 Amazon SageMaker Studio를 열고, 도메인과 사용자 프로필을 선택해 Studio IDE를 실행하는 경로를 사용할 수 있다. Studio에서 JupyterLab 공간을 만들 때는 스킬이 Private 공간에서만 동기화되므로 공유 설정을 Private으로 유지하고, aws-ai-ml과 필요한 의존성이 포함된 사전 구성 이미지를 선택해야 한다. 공간의 첫 부팅에는 5~10분이 걸릴 수 있으며, 로컬에서 스킬 버전을 수정한 기존 공간은 이미지의 구성을 반영하지 못할 수 있어 새 공간 사용을 권한다. 부팅 후 JupyterLab 터미널에서 코딩 에이전트를 신원 공급자로 인증하고, 채팅에서 aws-ai-ml의 사용 가능 여부를 확인하면 된다. 스킬이 보이지 않으면 Private 설정과 ~/.kiro/skills/를 확인하고, 해당 디렉터리는 비어 있지만 /etc/sagemaker/skills/에 파일이 있다면 restart-jupyter-server 실행 후 페이지를 새로고침해 다시 시도하도록 안내한다.

4. 기존 엔드포인트의 실측 벤치마크

이미 SageMaker AI 엔드포인트에 모델이 배포되어 있다면, 사용자는 테스트할 엔드포인트를 지정해 에이전트에 벤치마크를 요청할 수 있다. 에이전트는 SageMaker Python SDK의 Workload.synthetic()와 start_benchmark() API를 사용해 부하 테스트를 수행하는 Python 노트북을 생성한다. 벤치마크는 운영 중인 엔드포인트에 실제 트래픽을 보내므로, 실행 전에 해당 엔드포인트가 부하 테스트를 받아도 되는지 확인하는 절차가 포함된다. 결과 보고서에는 초당 요청 수와 초당 출력 토큰 수, p50·p99 지연 시간, 첫 토큰까지의 시간, 토큰 간 지연 시간, 지원 가능한 동시 요청 수가 담긴다. 원문은 이 값들이 추정치가 아니라 실제 인프라에 실제 부하를 가해 얻은 측정값임을 강조하며, 에이전트가 prefill decoding 같은 성능 개선 방안도 추천한다고 설명한다.

5. 모델 출처별 인스턴스와 배포 구성 추천

배포할 모델은 있지만 적절한 인스턴스를 모르는 경우, 에이전트는 모델이 저장된 위치나 확보 방식에 따라 필요한 정보를 받아 후보 인스턴스와 구성을 평가하는 코드를 생성한다. Amazon S3에 저장한 미세 조정 모델이나 사용자 모델은 S3 URI와 최적화 목표를 제공하고, Amazon SageMaker JumpStart의 공개 기반 모델은 huggingface-reasoning-qwen3-8b 같은 모델 ID를 제공하는 방식으로 시작한다. Hugging Face Hub의 모델은 모델 이름을 전달하며, 접근이 제한된 Llama 계열 등은 라이선스 조건을 제시한 뒤 사용자의 동의와 Hugging Face 토큰을 요청한다. 평가 결과는 처리량, 지연 시간 백분위수, 첫 토큰까지의 시간, 동시성 같은 구체적인 지표와 함께 순위를 매긴 배포 옵션으로 제시된다. 사용자는 비용과 성능 요구에 따라 선택하며, JumpStart 경로는 S3에 모델을 별도로 준비하지 않고 진행할 수 있고 Hugging Face 경로는 모델을 S3에 준비한 뒤 일반적인 추천 과정으로 이어질 수 있다.

6. 벤치마크 실행 간 비교와 변화율 해석

설정 변경 전후나 서로 다른 인스턴스에서 여러 벤치마크를 실행했다면, 두 벤치마크 작업 이름을 제공해 결과 비교를 요청할 수 있다. 에이전트는 처리량, 지연 시간 백분위수, 첫 토큰까지의 시간 등 핵심 지표의 차이를 계산하는 비교 결과를 생성한다. 원문의 비교 방식은 양의 백분율이 성능 개선을 뜻하도록 표시하므로, 처리량 증가와 지연 시간 감소를 같은 개선 방향으로 해석할 수 있게 한다. 이를 통해 변경이 성능을 높였는지, 낮췄는지, 또는 의미 있는 영향을 주지 않았는지 살펴볼 수 있지만, 원문은 의미 있는 변화의 구체적인 판정 기준을 제시하지 않는다. 비교할 실행 중 하나가 존재하지 않으면 에이전트가 먼저 해당 벤치마크를 실행할 것을 제안하므로, 비교는 실제 실행 결과를 확보한 뒤 진행하는 흐름이다.

7. Qwen3 비교 결과와 하드웨어 차이

예시 벤치마크는 512/256 토큰과 동시성 4의 동일 워크로드를 사용했지만, Qwen3-1.7B는 ml.g6.4xlarge의 단일 L4 GPU에서, Qwen3-8B는 ml.g5.12xlarge의 A10G GPU 4개에서 실행됐다. 출력 토큰 처리량은 각각 188.2 tokens/s와 271.2 tokens/s로 Qwen3-8B가 44.1% 높았고, 사용자당 처리량은 47.5 tokens/s와 69.4 tokens/s로 45.9% 높았다. 요청 처리량은 0.736 req/s에서 1.08 req/s로 46.7% 개선됐으며, 토큰 간 지연 시간은 20.9ms에서 14ms로 줄어 개선율이 33.0%로 표시됐다. 요청 지연 시간도 5,382ms에서 3,658ms로 줄어 32.0% 개선됐지만, 첫 토큰까지의 시간은 67.5ms에서 166.3ms로 늘어 표에는 −146.5%로 표시됐다. 원문은 Qwen3-8B의 약 44~47% 높은 처리량과 낮은 전체 지연 시간이 주로 추가 GPU 연산 자원에 따른 결과이며, 차이에는 모델 자체뿐 아니라 약 4배의 연산 자원도 반영됐다고 해석한다. Qwen3-1.7B는 첫 토큰까지의 시간에서만 우세했고, 원문은 이를 단일 GPU에서 작은 모델이 갖는 예상 가능한 이점으로 설명한다.

8. 자연어 요청을 연결하는 작업 흐름과 사용자 통제

원문은 사용자가 기능 이름이나 요청할 작업 흐름을 외울 필요 없이 달성하려는 목적을 자연어로 설명하면 된다고 정리한다. 이미 배포한 모델의 속도를 알고 싶다는 요청은 실측 성능 보고서로, S3 모델이나 JumpStart 모델의 적절한 인스턴스를 찾는 요청은 비용·처리량·지연 시간을 포함한 순위별 배포 옵션으로 연결된다. Hugging Face Hub의 Llama 모델 최적화처럼 여러 기능이 필요한 경우에는 라이선스 제시, S3 모델 준비, 배포 추천을 같은 대화 안에서 이어서 수행한다고 설명한다. 이러한 흐름에서도 에이전트는 필요한 정보가 없으면 구체적으로 질문하고, 사용자가 읽고 검토할 수 있는 코드로 작업을 드러내는 방식으로 동작한다. 다만 제공된 원문은 마지막 에이전트 동작 설명에서 엔드포인트 이름 같은 누락 정보의 예시를 시작하다가 중단되므로, 이후의 추가 동작이나 보장 사항은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• aws-ai-ml의 핵심은 추론 최적화 전문 지식을 기존 코딩 에이전트의 대화와 실행 가능한 코드에 연결하는 데 있으며, 사용자가 코드와 실측 근거를 검토하는 구조를 유지한다.
• 배포 추천은 모델의 출처와 비용·성능 요구를 함께 다룬다. S3 URI, JumpStart 모델 ID, Hugging Face 모델 이름처럼 출처별 입력과 접근 조건이 작업의 시작점을 결정한다.
• Qwen3 비교는 처리량과 첫 토큰 지연이 서로 다른 방향으로 움직일 수 있음을 보여준다. 하드웨어 구성이 다르므로 관측된 성능 차이를 모델 자체의 우열로만 해석하기 어렵다.

✅ 액션 아이템

• aws-ai-ml 사용 환경의 AWS CLI 2.35+·uv 또는 새 Private JupyterLab 공간 조건과 SageMaker AI API 호출 권한을 확인한다.
• 실제 트래픽이 발생하는 엔드포인트의 부하 테스트 가능 여부를 확인한 뒤, 처리량·p50·p99 지연 시간·동시성을 비용·성능 요구와 함께 평가한다.
• Qwen3-8B와 Qwen3-1.7B의 성능 비교에서는 4개 A10G GPU와 단일 L4 GPU의 차이, 첫 토큰까지의 시간 166.3ms와 67.5ms를 함께 고려한다.

❓ 열린 질문

• aws-ai-ml을 사용할 환경은 AWS CLI 2.35+와 uv를 갖춘 로컬 환경인가, 새 Private JupyterLab 공간을 사용하는 Amazon SageMaker Studio인가?
• 배포 구성 선택에서 우선할 비용·성능 요구는 처리량, p50·p99 지연 시간, 첫 토큰까지의 시간, 동시성 중 무엇인가?
• Qwen3-8B와 Qwen3-1.7B의 GPU 구성 차이를 고려할 때, 약 44~47%의 처리량 우위와 67.5ms의 첫 토큰 지연 중 어느 특성이 사용 목적에 더 중요한가?