Deploy and evaluate models with Amazon SageMaker JumpStart

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon SageMaker JumpStart와 SageMaker Python SDK v3로 사전 학습 모델을 탐색·배포하고, 샘플 입력의 지연 시간과 추정 생성 속도를 측정한 뒤 엔드포인트를 삭제하는 반복 가능한 평가 절차를 소개한다.

📌 핵심 요약

• Amazon SageMaker JumpStart는 다양한 사전 학습 모델을 제공하며, 지원 모델과 가용 용량이 확보되면 탐색·배포, 샘플 평가, 엔드포인트 삭제로 이어지는 절차를 반복할 수 있다. 배포 시간은 모델, 인스턴스 유형, 할당량, AWS 리전에 따라 달라진다.
• 2026년에는 Model Hub에서 모델 탐색과 샘플 노트북의 SageMaker Studio 실행을 지원하고, 저비용·저지연·범용 목적 및 Neuron 최적화 구성을 포함한 사전 구성 배포 옵션을 제공했다. Hugging Face에서 SageMaker AI 배포로 연결하는 원클릭 딥 링크 통합도 도입했다.
• 실행에는 SageMaker AI 권한이 있는 AWS 계정, Python 3 이상, SageMaker Python SDK v3, 충분한 GPU 인스턴스 할당량이 필요하다. 배포 예제는 us-east-1에서 huggingface-vlm-qwen3-5-27b 버전 1.13.0의 권장 인스턴스 유형을 조회하고 인스턴스 1개로 배포하며, EULA 수락은 약관 검토 후 설정하도록 한다.
• 평가 코드는 모델별 샘플 페이로드를 호출해 요청 지연 시간, 공백으로 구분한 추정 출력 단어 수, 단일 요청의 초당 출력 단어 수를 계산한다. max_tokens가 256인 예제에서는 지연 시간 9.07초, 출력 153단어, 생성 속도 초당 16.9단어가 보고됐다.
• 모델마다 페이로드 형식, 필수 인스턴스 유형, EULA, 응답 파싱을 조정할 수 있으며, 테스트 후에는 엔드포인트를 삭제하고 삭제 완료를 기다린다. 원문은 일관된 프롬프트로 지연 시간·처리량·출력 품질을 비교해 품질·속도·비용의 균형을 찾도록 제안하지만, 제시된 코드는 단일 요청의 추정 생성 속도를 측정하며 품질 점수나 비용 수치는 제공하지 않는다.

🧩 주요 포인트

1. 탐색과 배포 진입점 확대 → Model Hub, 사전 구성 배포 옵션, Hugging Face 딥 링크로 모델 시험을 시작하기 쉬워지지만, 실제 배포는 가용 용량과 모델별 요구사항에 좌우된다.
2. 재사용 가능한 절차와 모델별 조정의 병행 → SageMaker Python SDK v3로 평가 흐름을 반복하되, 인스턴스·EULA·입출력 형식의 차이를 반영해야 비교 가능한 실행이 가능하다.
3. 측정 범위와 선택 근거의 구분 → 9.07초·153단어·초당 16.9단어는 예제의 단일 요청 결과이며, 최종 모델 선택에는 일관된 프롬프트에 대한 출력 품질과 비용까지 함께 고려할 필요가 있다.

🧠 상세 정리

1. 반복 가능한 모델 평가와 2026년의 탐색·배포 개선

원문은 특정 애플리케이션에 맞는 모델을 선택하려면 실제 사용을 대표하는 입력으로 시험할 수 있어야 한다는 문제에서 출발한다. Amazon SageMaker JumpStart는 이미 사전 학습된 다양한 모델을 제공하며, 글은 재사용 가능한 Python 스크립트로 모델을 탐색·배포하고 샘플 요청의 성능을 측정한 다음 엔드포인트를 정리하는 흐름을 제시한다. 2026년에는 Amazon SageMaker AI 콘솔의 Model Hub에서 카탈로그와 샘플 노트북을 살펴보고 노트북을 SageMaker Studio에서 직접 열 수 있도록 개선됐다. 사전 구성된 엔드포인트 배포 옵션은 저비용·저지연·범용 작업에 맞춘 구성을 제공하며, 다양한 생성형 AI 모델과 Neuron 최적화 구성도 포함한다. Hugging Face에서 모델을 발견한 뒤 SageMaker AI 배포로 연결하는 원클릭 딥 링크 통합도 추가됐지만, 실제 배포 시간은 모델·인스턴스 유형·할당량·AWS 리전에 따라 달라진다.

2. 실행 전제와 모델 카탈로그 검색

실행을 위해서는 SageMaker AI 권한을 가진 AWS 계정과 Python 3 이상이 필요하며, SageMaker Python SDK는 pip install "sagemaker>=3,<4"로 v3 범위를 설치하도록 안내한다. 시험할 모델에 필요한 GPU 인스턴스 할당량도 충분해야 하고, 부족하면 할당량 증가를 요청해야 한다. 모델 탐색은 SageMaker Studio의 JumpStart 모델 화면에서 수행하거나, SDK의 list_jumpstart_models 함수로 실행할 수 있다. 코드 예제는 리전을 us-east-1로 지정하고 task == textgeneration 필터와 list_versions=True를 사용해 텍스트 생성 모델과 버전을 조회한 뒤 처음 10개를 출력한다. 별도 예제는 model_id contains qwen 조건으로 검색하므로, 작업 유형뿐 아니라 모델 식별자에 포함된 이름을 기준으로도 후보를 좁힐 수 있다.

3. 권장 인스턴스를 조회한 모델 배포

배포 예제는 모델 식별자를 huggingface-vlm-qwen3-5-27b, 버전을 1.13.0, 리전을 us-east-1로 지정한다. JumpStartModelsAccessor로 모델 사양을 가져온 뒤 default_inference_instance_type에서 권장 인스턴스 유형을 확인하며, 사양이나 권장 유형이 없으면 오류를 발생시킨다. EULA 수락 변수인 ACCEPT_EULA는 기본값이 False이고, 모델 약관을 검토한 뒤에만 True로 바꾸도록 주석으로 명시한다. 이후 JumpStartConfig와 Compute 설정을 ModelBuilder에 전달해 권장 유형의 인스턴스 1개를 사용하도록 구성하고, build와 deploy를 순서대로 호출한다. 코드는 빌드와 배포에 걸린 시간을 측정해 엔드포인트 이름과 함께 출력하지만, 본문에는 실제 배포 소요 시간의 결과값이 제시되지 않는다.

4. 샘플 호출과 응답 형식에 맞춘 성능 측정

평가 단계에서는 retrieve_all_examples로 해당 모델과 버전의 샘플 페이로드를 가져오고, 각 페이로드의 본문·콘텐츠 유형·응답 수락 형식을 endpoint.invoke에 전달한다. 요청 직전과 직후의 시간을 비교해 지연 시간을 구하며, 응답 본문은 읽기 가능한 객체인지 확인한 뒤 바이트와 문자열을 처리하고 가능한 경우 JSON으로 해석한다. 출력 추출 함수는 목록의 첫 항목, choices 안의 메시지나 텍스트, generated_text·output_text·text 필드 등 흔한 응답 구조를 다룬다. 추출한 출력은 공백으로 나눈 단어 수로 길이를 추정하고, 이를 요청 지연 시간으로 나눠 단일 요청의 초당 출력 단어 수를 계산한다. 결과에는 입력 미리보기와 지연 시간, 추정 출력 단어 수, 생성 속도가 저장되지만, 모델별 응답 구조가 다르면 파싱을 조정해야 한다.

5. 실행 결과와 지표 해석의 범위

제시된 샘플 입력은 max_tokens를 256으로 설정하고 사용자 메시지로 What is deep learning?을 전달한다. 출력 예시는 딥러닝 설명을 준비하는 사고 과정 형태의 텍스트를 보여주며, 측정 결과는 지연 시간 9.07초, 추정 출력 153단어, 단일 요청 생성 속도 초당 16.9단어다. 여기서 153은 공백으로 분리한 단어 수이므로 입력의 토큰 상한인 256과 같은 단위로 해석할 수 없다. 또한 생성 속도는 출력 단어 수를 요청 전체의 지연 시간으로 나눈 값으로, 이 예제만으로 여러 요청을 동시에 처리하는 성능까지 확인한 것은 아니다. 원문은 모델 선택 시 출력 품질도 비교하도록 제안하지만, 제시된 결과에는 품질 점수나 모델 간 비교 결과, 비용 수치가 포함되지 않는다.

6. 엔드포인트 정리와 모델 비교에 적용할 조건

테스트를 마친 뒤에는 엔드포인트 이름을 출력하고 endpoint.delete를 호출한 다음, endpoint.wait_for_delete로 삭제가 완료될 때까지 기다린다. 원문은 이 흐름이 이용 가능한 여러 SageMaker JumpStart 모델에 적용될 수 있다고 설명하면서도, 페이로드 형식·필수 인스턴스 유형·EULA·응답 파싱에는 모델별 조정이 필요할 수 있다고 거듭 명시한다. 따라서 동일한 스크립트의 기본 흐름을 재사용하더라도 모든 모델에 같은 입력 형식과 배포 설정을 그대로 적용할 수 있다고 보장하지는 않는다. 결론에서는 일관된 테스트 프롬프트를 사용해 모델별 지연 시간·처리량·출력 품질을 비교하면 작업에 맞는 선택에 도움이 된다고 설명한다. 최종 목표는 애플리케이션에 적합한 품질·속도·비용의 균형을 찾는 것이며, 본문의 실행 예제는 이를 위한 가벼운 반복 평가의 출발점을 제공한다.

🧾 핵심 주장 / 시사점

• Model Hub와 Hugging Face 딥 링크는 모델 탐색에서 배포로 넘어가는 과정을 간소화하지만, GPU 인스턴스 할당량과 모델별 요구사항 확인은 여전히 필요하다.
• 반복 가능한 평가의 핵심은 공통 실행 흐름을 유지하면서도 모델별 페이로드와 응답 형식을 정확히 반영하는 데 있다.
• 초당 16.9단어라는 예제 결과는 단일 요청의 추정치이므로, 품질·속도·비용의 균형에 관한 최종 선택 근거를 모두 제공하지는 않는다.

✅ 액션 아이템

• SageMaker Python SDK v3 실행에 필요한 SageMaker AI 권한과 GPU 인스턴스 할당량을 확인하고, 모델별 인스턴스 유형·EULA·입출력 형식의 조정 필요성을 검토한다.
• 일관된 프롬프트로 Amazon SageMaker JumpStart 모델의 지연 시간·추정 출력 단어 수·단일 요청 생성 속도를 비교하고, 출력 품질과 비용도 함께 검토한다.
• 테스트 완료 후 엔드포인트를 삭제하고 삭제 완료를 확인한다.

❓ 열린 질문

• huggingface-vlm-qwen3-5-27b 버전 1.13.0을 us-east-1에 배포하는 데 필요한 GPU 인스턴스 할당량과 가용 용량은 확보되어 있는가?
• 지연 시간 9.07초와 초당 16.9단어라는 단일 요청 결과는 일관된 프롬프트로 반복 평가할 때 어떻게 달라지는가?
• Amazon SageMaker JumpStart 모델 중 출력 품질·속도·비용의 균형이 해당 애플리케이션에 가장 적합한 모델은 무엇인가?