🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

아마존 세이지메이커 AI 스튜디오의 새 추론 추천 사용자 인터페이스는 생성형 인공지능 모델의 워크로드 설정부터 실제 장비 벤치마크, 결과 비교, 운영 엔드포인트 배포까지를 코드 없이 연결합니다.

📌 핵심 요약

• 생성형 인공지능 모델을 운영 환경에 배포하려면 인스턴스 유형, 서빙 컨테이너 설정, 최적화 전략을 조합해 반복적으로 시험해야 하는데, 새 사용자 인터페이스는 이 과정을 안내형 작업 흐름으로 단순화합니다.
• 사용자는 상호작용, 생성, 요약, 사용자 정의 프로필 가운데 하나를 고르고 비용 최소화, 지연 시간 최소화, 처리량 최대화 가운데 최적화 목표를 선택할 수 있습니다.
• 모델은 세이지메이커 점프스타트, 아마존 S3의 자체 모델 아티팩트, 모델 레지스트리의 등록 패키지, 기존 세이지메이커 모델에서 선택할 수 있으며 컴퓨팅 유형 지정은 일부 목표에서 선택 사항입니다.
• 완료된 작업은 첫 토큰 시간, 토큰 간 지연 시간, 처리량, 비용을 포함한 최적화 구성을 순위별로 보여 주며, 선택한 구성을 새 엔드포인트나 기존 엔드포인트에 배포할 수 있습니다.
• 내부적으로 모델 구조와 메모리 요구 사항을 분석해 후보를 줄인 뒤 목표별 최적화를 적용하고, 실제 그래픽 처리 장치 환경에서 여러 차례 벤치마크한 결과를 기준으로 운영 가능한 구성을 평가합니다.

🧩 주요 포인트

1. 생성형 인공지능 모델을 운영 환경에 배포하려면 인스턴스 유형, 서빙 컨테이너 설정, 최적화 전략을 조합해 반복적으로 시험해야 하는데, 새 사용자 인터페이스는 이 과정을 안내형 작업 흐름으로 단순화합니다.
2. 사용자는 상호작용, 생성, 요약, 사용자 정의 프로필 가운데 하나를 고르고 비용 최소화, 지연 시간 최소화, 처리량 최대화 가운데 최적화 목표를 선택할 수 있습니다.
3. 모델은 세이지메이커 점프스타트, 아마존 S3의 자체 모델 아티팩트, 모델 레지스트리의 등록 패키지, 기존 세이지메이커 모델에서 선택할 수 있으며 컴퓨팅 유형 지정은 일부 목표에서 선택 사항입니다.
4. 완료된 작업은 첫 토큰 시간, 토큰 간 지연 시간, 처리량, 비용을 포함한 최적화 구성을 순위별로 보여 주며, 선택한 구성을 새 엔드포인트나 기존 엔드포인트에 배포할 수 있습니다.
5. 내부적으로 모델 구조와 메모리 요구 사항을 분석해 후보를 줄인 뒤 목표별 최적화를 적용하고, 실제 그래픽 처리 장치 환경에서 여러 차례 벤치마크한 결과를 기준으로 운영 가능한 구성을 평가합니다.

🧠 상세 정리

1. 수작업 중심 추론 최적화의 단축

생성형 인공지능 모델을 운영 환경에 배포하려면 적합한 인스턴스 유형과 서빙 컨테이너 설정, 최적화 전략을 함께 찾아야 합니다. 기존에는 여러 후보를 수동으로 벤치마크하고 결과를 해석하며 구성을 반복 조정해야 했기 때문에 전체 과정이 길어질 수 있었습니다. 세이지메이커 AI는 2026년 4월 추론 추천 기능을 먼저 응용 프로그램 인터페이스로 제공해 일반 워크로드는 수분, 사용자 정의 워크로드는 수시간 안에 데이터 기반 구성을 얻을 수 있도록 했습니다. 이번에 추가된 스튜디오 사용자 인터페이스는 필요한 매개변수와 원시 벤치마크 결과를 사용자가 직접 이해해야 했던 진입 장벽을 낮추고, 사전 설정 프로필과 시각적 비교, 배포 절차를 하나의 안내형 흐름으로 연결합니다.

2. 사전 설정 워크로드와 최적화 목표

작업은 실제 트래픽 특성을 나타내는 워크로드 프로필을 선택하는 단계에서 시작합니다. 상호작용 프로필은 입력이 짧고 출력이 중간 정도인 대화형 작업을, 생성 프로필은 출력이 긴 콘텐츠 생성 작업을, 요약 프로필은 입력 대비 출력 비율이 높은 문서 요약 작업을 대상으로 합니다. 사전 설정과 맞지 않는 경우에는 사용자 정의 프로필에서 평가용 데이터 세트, 동시 요청 수, 토큰 길이, 평가 데이터를 직접 지정할 수 있으며, 선택한 프로필이 벤치마크 매개변수를 결정합니다. 이어서 응답 시간을 중시하는 지연 시간 최소화, 초당 처리 토큰 수를 중시하는 처리량 최대화, 예상 트래픽에서 효율적인 구성을 찾는 비용 최소화 가운데 목표를 선택하며, 이 목표는 적용할 기법과 추천 결과의 순위 산정 방식에 모두 영향을 줍니다.

3. 다양한 모델 출처와 컴퓨팅 선택

사용자 인터페이스는 모델이 이미 저장되거나 관리되는 위치에 맞춰 여러 선택 경로를 제공합니다. 사전 학습 모델은 세이지메이커 점프스타트 카탈로그에서 가져올 수 있고, 자체 모델은 아마존 S3에 저장된 아티팩트의 이름과 경로를 입력해 선택할 수 있습니다. 또한 모델 레지스트리에 등록된 패키지를 재사용하거나 이전 배포 또는 훈련 작업에서 만든 기존 세이지메이커 모델을 선택할 수도 있습니다. 모델을 정한 뒤에는 호환 가능한 하드웨어를 서비스가 자동으로 고르게 하거나, 지연 시간 최소화와 처리량 최대화 작업에서 평가할 특정 인스턴스 유형을 지정할 수 있습니다. 비용 최소화 목표에서는 세이지메이커 AI가 권장 인스턴스를 선택하며, 예약 용량이 있다면 컴퓨팅 출처 목록에서 이를 확인할 수 있습니다.

4. 작업 생성과 실행 전 준비 사항

콘솔 실행을 위해서는 세이지메이커 AI 스튜디오 도메인이 있는 계정과 추론 최적화 작업에 필요한 신원 및 접근 관리 권한이 요구됩니다. 실행 역할은 아마존 S3에 있는 모델 아티팩트에 접근할 수 있어야 하며, 추천 생성 자체에는 추가 비용이 없지만 최적화 작업과 벤치마크 중 생성되는 엔드포인트에는 표준 컴퓨팅 비용이 적용됩니다. 사용자는 스튜디오 왼쪽 탐색 영역에서 작업과 추론 최적화를 차례로 열고 새 작업을 만든 다음 워크로드 프로필과 최적화 목표를 지정합니다. 사용자 정의 프로필을 선택하면 제이슨 라인 형식 평가 데이터 세트의 S3 경로, 동시에 시뮬레이션할 요청 수, 최대 출력 토큰 길이를 추가로 입력합니다. 이후 모델과 필요한 컴퓨팅 후보를 선택하면 벤치마크 실행에 필요한 구성이 완성됩니다.

5. 최적화 작업 실행과 상태 모니터링

구성을 마친 사용자가 최적화를 선택하면 작업이 제출되고 상세 페이지에서 실행 중부터 완료까지 상태 변화를 확인할 수 있습니다. 상호작용 같은 사전 설정 워크로드는 미리 검증된 구성과 연결되므로 비교적 빠르게 추천을 반환할 수 있지만, 사용자 정의 벤치마크의 소요 시간은 모델 크기와 인스턴스 유형, 데이터 세트에 따라 달라집니다. 실행 중인 작업은 작업 메뉴에서 중지할 수 있으며, 개요 탭에는 완료 후 성능 지표와 함께 순위가 매겨진 추천 결과가 표시됩니다. 설정 탭에서는 제출한 사용 사례, 목표, 컴퓨팅 선택을 다시 확인하고, 세부 정보 탭에서는 작업 메타데이터와 시각 정보, 출력 아티팩트를 살펴볼 수 있습니다. 따라서 사용자는 같은 화면에서 실행 상태뿐 아니라 입력 구성과 생성 결과까지 단계별로 추적할 수 있습니다.

6. 추천 결과 비교와 엔드포인트 배포

작업이 완료되면 개요 탭에 최적화된 추론 패키지가 순위별로 표시되며 각 패키지는 구성과 주요 성능 지표를 함께 제공합니다. 비교 지표에는 첫 토큰이 반환되기까지 걸리는 시간, 연속 토큰 사이의 지연 시간, 처리량, 비용이 포함되므로 사용자는 선택한 목표와 실제 수치를 함께 검토할 수 있습니다. 원하는 패키지에서 배포를 선택하면 엔드포인트 이름과 인스턴스 유형이 미리 채워지고, 새 엔드포인트를 만들거나 기존 엔드포인트를 갱신할 수 있습니다. 이후 세이지메이커 AI는 최적화된 모델 등록, 엔드포인트 구성 설정, 엔드포인트 프로비저닝을 순서대로 수행합니다. 엔드포인트 상태가 서비스 중으로 바뀌면 즉시 호출할 수 있어 벤치마크 결과를 별도의 수작업 변환 없이 실제 배포로 연결할 수 있습니다.

7. 추천과 벤치마크의 내부 작동 방식

콘솔 사용자 인터페이스와 응용 프로그램 인터페이스는 서로 다른 추천 엔진이 아니라 동일한 추천 및 벤치마킹 기반 구조를 사용합니다. 세이지메이커 AI는 먼저 모델 구조와 메모리 요구 사항을 분석해 탐색할 구성 공간을 줄이고 실행 가능한 후보를 식별합니다. 이어서 선택한 목표에 따라 처리량에는 추측 디코딩, 지연 시간에는 커널 조정과 같은 최적화 기법을 적용합니다. 각 구성은 엔비디아 에이아이퍼프를 이용해 실제 그래픽 처리 장치 기반 환경에서 여러 차례 실행되며, 결과에는 반복 측정에 따른 신뢰 구간이 반영됩니다. 마지막으로 측정 결과를 사용자의 최적화 목표에 맞춰 평가하고 운영 환경에 사용할 수 있는 구성들을 가장 적합한 순서부터 반환합니다.

8. 목표별 실행 차이와 작업 관리

비용 최소화 작업에서는 서비스가 권장한 인스턴스 유형으로 엔드포인트를 만든 다음 해당 환경을 대상으로 벤치마크 작업을 실행합니다. 지연 시간 최소화 작업은 모델 구조와 인스턴스 유형이 지원할 경우 세부 조정된 커널 기반 배포를 사용하고, 그렇지 않으면 인스턴스 유형별 표준 엔드포인트를 만든 뒤 각 조합을 훈련 작업 형태로 시험합니다. 처리량 최대화에서는 지원 조건이 충족될 경우 엔드포인트 배포 전에 초안 모델을 훈련하는 작업을 먼저 수행한 후 각 조합의 벤치마크를 진행합니다. 사용자는 배포와 엔드포인트 화면에서 서비스 상태를 확인하고 훈련 작업과 로그를 통해 진행 상황이나 문제를 점검할 수 있으며, 최적화가 끝나면 작업이 생성했던 엔드포인트는 자동으로 삭제됩니다. 추론 최적화 작업 목록에서는 이름 검색, 실행 중지, 완료 또는 실패 작업 삭제, 개요·설정·세부 정보 재확인도 중앙에서 처리할 수 있습니다.

9. 재실행이 필요한 시점과 운영 원칙

추천 결과는 한 번 생성한 뒤 영구적으로 고정해 사용하는 구성이 아니라 모델과 실행 환경의 변화에 맞춰 다시 검증해야 하는 결과로 제시됩니다. 모델을 미세 조정하거나 갱신한 경우에는 구조나 동작 특성이 달라질 수 있으므로 최적화 작업을 다시 실행하는 것이 권장됩니다. 사용 중인 리전에 새로운 인스턴스 유형이 제공되거나 실제 트래픽 패턴이 크게 바뀐 경우에도 기존 추천을 그대로 유지하지 말고 다시 비교해야 합니다. 서빙 컨테이너나 프레임워크를 업그레이드한 뒤에도 재실행이 필요하며, 특별한 변경이 없더라도 몇 주 단위처럼 일정한 주기로 최적화 결과를 갱신하는 방식이 권장됩니다. 이 원칙은 추천 구성의 판단 근거를 현재 모델, 현재 트래픽, 현재 실행 환경에 맞춰 유지하려는 운영 절차입니다.

🧾 핵심 주장 / 시사점

• 새 사용자 인터페이스는 응용 프로그램 인터페이스의 기능을 별도로 대체하는 것이 아니라 동일한 추천·벤치마크 기반 구조 위에서 매개변수 설정, 결과 해석, 배포 절차를 안내형으로 제공하며, 세밀한 제어가 필요한 사용자는 기존 인터페이스를 계속 사용할 수 있습니다.
• 워크로드 프로필은 벤치마크 입력 조건을 정하고 최적화 목표는 적용 기법과 결과 순위를 정하므로, 추천의 품질을 판단할 때는 모델뿐 아니라 실제 트래픽 특성과 지연 시간·처리량·비용 중 무엇을 우선했는지를 함께 확인해야 합니다.
• 추천 결과가 실제 그래픽 처리 장치 환경의 반복 벤치마크를 기반으로 하더라도 모델, 트래픽, 인스턴스, 서빙 소프트웨어가 바뀌면 조건도 달라지므로 중요한 변경 이후와 정기적인 시점에 작업을 재실행하는 것이 운영 절차의 일부입니다.

✅ 액션 아이템

• 세이지메이커 AI 스튜디오 추론 추천 UI로 인스턴스 유형, 서빙 컨테이너, 최적화 조합을 반복 시험해 목표별(비용/지연/처리량) 최적 구성을 정한다.
• 점프스타트, Amazon S3 자체 모델 아티팩트, 모델 레지스트리 패키지, 기존 SageMaker 모델을 동일 조건에서 비교해 컴퓨팅 유형 지정 항목을 함께 반영한 후보군을 확정한다.
• 완료 구성은 첫 토큰 시간, 토큰 간 지연, 처리량, 비용으로 순위화하고 선택안의 새 엔드포인트 배포와 기존 엔드포인트 배포 운영 가능성을 분기별로 점검한다.

❓ 열린 질문

• 목표 최적화가 비용 최소화·지연 최소화·처리량 최대화로 분기될 때 후보 축소 규칙은 어느 시점에서 달라져야 하는가?
• 모델 구조와 메모리 요구사항 기반 후보 축소가 실제 GPU 반복 벤치마크에서 과도하게 편향되지 않게 하려면 어떤 예외 규칙이 필요한가?
• 첫 토큰 시간, 토큰 간 지연, 처리량, 비용 지표로 새 엔드포인트와 기존 엔드포인트 배포안을 비교할 때, 운영 가능성 판단 임계값은 어떻게 정할 것인가?