Articleaws.amazon.com·2026년 11월 20일·0

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters

Quick Summary

Amazon SageMaker HyperPod Global Inference Gateway는 여러 클러스터와 AWS 리전의 추론 요청을 단일 엔드포인트로 받아, 부하 기반 라우팅과 자동 장애 전환을 제공하는 SageMaker 관리형 서비스다.

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters 관련 대표 이미지

🖼️ 인포그래픽

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters의 핵심 내용을 4단계로 요약한 인포그래픽
Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Amazon SageMaker HyperPod Global Inference Gateway는 여러 클러스터와 AWS 리전의 추론 요청을 단일 엔드포인트로 받아, 부하 기반 라우팅과 자동 장애 전환을 제공하는 SageMaker 관리형 서비스다.

📌 핵심 요약

  • AWS는 클러스터 내부의 모델 pod를 선택하는 기존 Inference Gateway 위에 Global Inference Gateway를 추가해 클러스터 간 라우팅을 제공한다고 발표했다. 2개 리전의 5개 클러스터에서 4개 모델을 제공하는 예시에서, 모델·클러스터별 엔드포인트 20개는 기존 Gateway로 5개가 되고 Global Inference Gateway로 하나로 통합된다.
  • Global Inference Gateway는 정상 상태인 클러스터를 평가해 요청을 보내며, 기본 가중치는 KVHeadroom 0.20, QueueDepth 0.25, RegionProximity 0.40, ErrorRate 0.15다. 가중치는 각각 0.0~1.0이며, 직접 지정할 때는 네 값을 모두 설정하고 합계를 1.0으로 맞춰야 한다.
  • AWS는 유휴 GPU 용량 활용, 클러스터 장애 시 자동 장애 전환, 별도 리전 간 네트워킹 운영 부담 감소를 주요 이점으로 제시한다. Bagelcode의 Jinhyung Park는 베타 테스트에서 단일 엔드포인트로 2개 AWS 리전에 요청을 분산하고, 한 클러스터가 모델을 제공하지 못할 때도 서비스를 계속했다고 밝혔다.
  • 요청은 SigV4와 IAM으로 인증·인가되며 AWS PrivateLink를 통해 클러스터에 도달한다. AWS는 Gateway가 프롬프트나 응답을 기록하거나 저장하지 않는다고 설명하며, JWT 검증은 같은 모델을 제공하는 모든 클러스터에서 일관되게 적용하거나 모두 비활성화해야 한다고 명시한다.
  • AWS는 단일 클러스터 사용자는 기존 Inference Gateway를 유지하고 두 번째 클러스터를 추가할 때 Global Inference Gateway로 전환하도록 안내한다. 클러스터를 분리하면 새 요청 전송을 중단하고 진행 중인 요청은 완료하도록 처리하지만, 제공된 원문은 분리 설명 도중 끊겨 이후 제약은 확인할 수 없다.

🧩 주요 포인트

  1. 클러스터 선택과 pod 선택을 두 계층으로 분리 → 클라이언트가 여러 클러스터를 직접 선택하던 부담을 줄이면서 기존 클러스터 내부 라우팅을 유지한다.
  2. RegionProximity가 기본 가중치에서 가장 큰 비중을 차지 → 기본 설정은 Gateway 리전과의 근접성을 우선하며, 장애 회복성을 더 중시하면 ErrorRate 비중을 조정할 수 있다.
  3. AWS가 라우팅과 연결 운영을 맡고 사용자가 클러스터 구성·가중치·접근 권한을 결정 → 운영 부담은 줄지만 설정 책임은 남으며, Bagelcode의 베타 경험만으로 정량적인 성능 개선 폭을 확정할 수는 없다.

🧠 상세 정리

1. 분산된 GPU 용량과 엔드포인트 관리 문제

원문은 트래픽이 몰린 HyperPod 클러스터에서는 요청이 대기하는 동안 다른 클러스터나 AWS 리전의 GPU는 유휴 상태일 수 있다는 문제에서 출발한다. 모델 규모가 커지고 필요한 GPU 용량을 확보하기 어려워지면서 여러 클러스터와 리전에 용량을 나누어 배치하지만, 이미 확보한 자원으로 요청을 보낼 경로가 충분하지 않다는 설명이다. 예시로 제시한 2개 리전·5개 클러스터·4개 모델 구성에서는 모델과 클러스터별 엔드포인트가 20개이며, 기존 Inference Gateway를 사용하면 클러스터당 하나씩 5개로 줄어든다. 그러나 이 경우에도 클라이언트가 클러스터를 직접 선택해야 하므로 부하 불균형, 장애 시 수동 설정 변경, 별도의 로드 밸런서·DNS·리전 간 네트워킹 관리 부담이 남는다고 AWS는 설명한다.

2. 클러스터와 pod를 나누어 선택하는 두 계층 구조

Global Inference Gateway는 등록된 여러 HyperPod 클러스터를 하나의 SageMaker 관리형 엔드포인트 뒤에 묶고, 각 요청을 처리할 클러스터를 선택하는 상위 계층으로 소개된다. 선택된 클러스터 안에서는 기존 Inference Gateway가 KV 캐시 사용률과 대기열 깊이 등의 실시간 신호를 바탕으로 모델 pod를 고르는 역할을 그대로 수행한다. AWS는 이 구조를 통해 포화된 클러스터의 요청을 같은 리전 또는 다른 리전의 가용 용량으로 넘기고, 장애 클러스터의 트래픽도 자동으로 다른 클러스터로 이동시킨다고 설명한다. 클라이언트는 하나의 엔드포인트를 계속 사용하므로 장애 전환을 위해 설정을 바꿀 필요가 없으며, AWS는 자체 로드 밸런서·DNS·리전 간 연결 계층을 구축하고 유지하는 부담도 줄어든다고 주장한다.

3. Bagelcode가 전한 베타 테스트 경험

고객 사례로 등장하는 Bagelcode는 게임팀을 포함한 사내 여러 조직의 업무에 AI를 활용하기 위해 AWS에서 자체 LLM 추론 서비스를 운영한다고 밝혔다. Bagelcode의 AI Platform 부문 VP인 Jinhyung Park는 베타 테스트에서 Global Inference Gateway의 단일 엔드포인트를 통해 2개 AWS 리전으로 요청을 라우팅했다고 설명했다. 또한 한 클러스터가 해당 모델을 더 이상 제공할 수 없게 되었을 때도 요청 처리가 계속되어, 소규모 플랫폼팀이 자체 라우팅 계층을 구축하거나 유지하지 않고 리전 간 장애 전환을 구현할 수 있었다고 평가했다. 이는 원문에 인용된 고객의 테스트 경험이며, 테스트의 트래픽 규모나 지연 시간, 장애 전환 소요 시간 같은 정량적 결과는 제시되지 않아 성능 개선 폭까지 확인해 주는 자료는 아니다.

4. 클러스터 공개와 AWS·사용자의 역할 분담

원문은 Gateway 구성을 어떤 클러스터를 라우팅 대상으로 공개할지와 어떤 클러스터들을 하나의 Gateway로 묶을지라는 두 가지 결정으로 설명한다. 여기서 공개는 인터넷 노출이 아니라 사용자 계정 안에서 클러스터를 비공개 연결 대상으로 제공한다는 의미이며, 컨트롤러가 Network Load Balancer와 VPC 엔드포인트 서비스를 구성하고 TLS 인증서를 지정된 버킷에 올리는 구조다. 공개되지 않은 클러스터를 Gateway에 등록하려는 요청은 실패하며, AWS는 수정할 내용을 오류 메시지로 안내한다고 설명한다. 사용자는 클러스터 구성과 라우팅 가중치를 결정하고, SageMaker는 TLS 종료·호출자 인증·클러스터 평가·요청 전달을 수행하는 라우팅 인프라와 클러스터별 비공개 엔드포인트를 운영한다. 서비스는 사용자가 만든 실행 역할로 연결 정보와 인증서를 읽어 검증하고, 클러스터별 지표 게시자는 별도 IAM 역할을 사용해 부하 정보를 전달한다.

5. 네 가지 신호와 라우팅 가중치

Gateway는 요청마다 정상 상태인 모든 클러스터를 네 가지 신호로 평가하고 가장 높은 점수를 받은 클러스터로 전달한다. 기본 가중치는 가용 KV 캐시와 GPU 메모리를 보는 KVHeadroom이 0.20, 대기 적체를 보는 QueueDepth가 0.25, Gateway 리전과의 거리를 보는 RegionProximity가 0.40, 최근 실패 요청을 보는 ErrorRate가 0.15다. 사용자가 가중치를 지정하면 네 값을 모두 설정해야 하며 각각은 0.0부터 1.0 사이이고 합계는 1.0이어야 하며, 0으로 둔 신호는 평가에서 제외된다. AWS는 기본 설정이 가까운 클러스터를 선호하면서 가용 용량이 있는 곳으로 요청을 보내고 실패가 발생하는 곳은 피하도록 설계됐다고 설명한다. 근접성보다 장애 회복성을 중시하는 경우의 예시로 ErrorRate를 0.7, 나머지 세 항목을 각각 0.1로 설정하며, 가중치는 Gateway 생성 시 지정하거나 이후 변경할 수 있다고 안내한다.

6. 현재 구성에 따른 도입 경로

AWS는 클러스터가 하나라면 해당 클러스터의 기존 Inference Gateway 엔드포인트를 계속 사용하고, 두 번째 클러스터를 추가할 때 Global Inference Gateway로 옮기도록 권한다. 이미 각 클러스터에서 Inference Gateway를 실행하는 환경은 애드온 업데이트와 클러스터 공개를 거쳐 통합 Gateway를 구성할 수 있으며, 클라이언트를 이전하는 동안 기존 클러스터별 엔드포인트도 계속 요청을 처리한다고 설명한다. HyperPod Inference 애드온은 있지만 Inference Gateway가 꺼져 있는 환경은 클러스터별 Gateway 설정과 모델별 스케줄러 구성이 선행되어야 한다. 아직 HyperPod Inference 환경이 없는 경우에는 각 리전의 클러스터와 애드온, 모델 배포 등 기본 구성을 먼저 갖추는 경로를 제시한다. 구성 후에는 SigV4로 서명한 OpenAI 호환 요청을 통합 엔드포인트로 보내며, 구체적인 역할과 정책 설정은 AWS 문서를 참조하도록 안내한다.

7. 인증·최소 권한·비공개 연결

모든 Gateway 요청은 SigV4 서명과 IAM 권한 검사를 거치며, 일반 호출과 스트리밍 호출에는 각각의 권한이 필요하다고 원문은 설명한다. 실행 역할에는 지정한 클러스터의 조회, 해당 Amazon EKS API 접근, 정해진 TLS 인증서 읽기 등으로 권한 범위를 제한하는 최소 권한 원칙이 적용된다. 클러스터가 JWT를 검증하는 경우에는 고객 신원 토큰도 서명의 보호 범위 안에 포함되며, 같은 모델을 제공하는 모든 클러스터에서 JWT 검증을 일관되게 적용하거나 모두 사용하지 않아야 한다고 안내한다. 이는 요청이 어느 클러스터로 전달되느냐에 따라 인증 결과가 달라지는 상황을 방지하기 위한 조건이다. AWS는 요청이 AWS PrivateLink와 AWS 백본을 통해 클러스터로 전달되고, Gateway가 프롬프트나 응답을 기록하거나 저장하지 않으며, 인증·권한·요청률 검사에서 실패한 요청은 클러스터에 도달하기 전에 거부된다고 설명한다.

8. 클러스터 추가·분리와 원문에서 확인 가능한 범위

운영 부분에서 AWS는 새로운 클러스터를 추가하면 Gateway가 구성을 검증하고 정상 상태가 확인된 뒤 해당 클러스터로 요청을 보내기 시작한다고 설명한다. 추가되는 클러스터가 다른 리전에 있더라도 Gateway가 위치한 리전을 기준으로 관리하며, 기존 엔드포인트와 다른 클러스터, 클라이언트에는 영향이 없다고 안내한다. 클러스터를 분리할 때는 그 클러스터로 새 요청을 보내는 일을 중단하고 이미 처리 중인 요청은 완료하도록 둔 다음 비공개 엔드포인트를 제거한다고 서술한다. 별도로 Gateway는 각 클러스터의 상태를 점검하고 장애가 발생한 클러스터에서 트래픽을 자동으로 옮기는 역할을 맡는다고 명시한다. 다만 제공된 원문은 클러스터 분리 설명 마지막의 문장이 완성되기 전에 끊겨 있으므로, Gateway에 남겨야 하는 클러스터 수 등의 후속 제약이나 추가 운영 조건은 이 자료만으로 확정할 수 없다.

🧾 핵심 주장 / 시사점

  • 엔드포인트가 20개에서 5개, 다시 하나로 줄어드는 예시는 모델·클러스터 수가 늘어날 때 클라이언트의 연결 대상 관리와 클러스터 선택 부담을 서비스 계층으로 옮기는 효과를 보여준다.
  • RegionProximity와 ErrorRate의 가중치를 바꿀 수 있다는 점은 가까운 리전 선호와 장애 회복성 사이의 우선순위를 사용자가 결정해야 한다는 의미다. 원문은 모든 환경에 공통으로 적용되는 최적 가중치를 제시하지 않는다.
  • 비공개 연결과 인증 처리를 AWS가 관리하더라도 접근 권한과 JWT 검증의 일관성은 사용자 설정에 달려 있다. Bagelcode 사례는 운영 부담 감소를 뒷받침하는 고객 진술이지만 정량적 성능 보장은 제공하지 않는다.

✅ 액션 아이템

  • 단일 클러스터는 기존 Inference Gateway를 유지하고, 두 번째 클러스터 추가 시 Global Inference Gateway 전환 필요성 검토.
  • RegionProximity 0.40과 ErrorRate 0.15를 포함한 기본 가중치를 기준으로 근접성과 장애 회복성의 우선순위 검토.
  • IAM 접근 권한과 같은 모델을 제공하는 모든 클러스터의 JWT 검증 적용 여부를 일관되게 확인.

❓ 열린 질문

  • Bagelcode의 베타 테스트에서 자동 장애 전환에 걸린 시간과 요청 처리 성능은 어느 정도였는가?
  • RegionProximity와 ErrorRate의 가중치를 바꿀 때 근접성과 장애 회복성 사이의 효과는 어떻게 달라지는가?
  • 제공된 원문이 끊긴 클러스터 분리 설명에는 어떤 추가 제약이 이어지는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.