How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
Quick Summary
Salesforce는 Amazon SageMaker AI의 리전 간 추론 라우터를 Internal Gateway에 통합해, 데이터 레지던시 요건이 있는 요청은 해당 리전에 고정하고 나머지 요청은 로컬 엔드포인트의 오류가 지속될 때 다른 리전의 기존 엔드포인트로 분산한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Salesforce는 Amazon SageMaker AI의 리전 간 추론 라우터를 Internal Gateway에 통합해, 데이터 레지던시 요건이 있는 요청은 해당 리전에 고정하고 나머지 요청은 로컬 엔드포인트의 오류가 지속될 때 다른 리전의 기존 엔드포인트로 분산한다.
📌 핵심 요약
- Salesforce의 Agentforce Foundation 팀은 30개 이상의 리전과 수백 개의 AWS 계정에서 Agentforce와 Salesforce Trust Layer 등에 모델을 제공한다. 고객별 피크가 겹치면 한 리전에 유휴 인스턴스가 있어도 다른 리전에서는 요청을 처리할 용량이 부족했다.
- 기존 Internal Gateway는 로컬과 원격 엔드포인트의 가용 용량을 파악하기 어려웠고, 리전 간 트래픽은 공개 AWS 네트워크를 거쳤다. Salesforce는 장애가 다음 리전으로 번질 위험 때문에 리전 간 트래픽 상한도 필요하다고 판단했다.
- Amazon SageMaker AI 라우터는 로컬 처리를 우선한다. 플랫폼 장애, 모델 컨테이너의 5xx 오류, 요청 제한, 시간 초과가 지속되면 대개 약 1분 안에 새 요청 일부를 정상 목적지로 보내기 시작한다. 트래픽이 적으면 전환 시작까지 수 분이 걸릴 수 있다.
- Internal Gateway는 데이터 레지던시 요건이 있는 요청을 로컬 엔드포인트만 포함한 라우팅 대상으로 보낸다. 각 응답의 InvokedRoutedResourceArn과 RoutingReason을 요청 ID 및 추적 ID와 함께 기록해 실제 처리 위치와 선택 사유를 추적한다.
- Salesforce는 us-west-2에서 로컬 처리를 확인한 뒤, 다른 계정이 소유한 us-east-2 엔드포인트를 등록하고 로컬 목적지를 제거해 계정과 리전을 모두 넘는 호출이 도달했음을 확인했다고 보고했다.
🧩 주요 포인트
- 모델별로 라우팅 대상을 분리해 한 모델의 장애가 다른 모델의 경로를 바꾸지 않게 했다. 라우터는 이미 배포한 용량에 요청을 배분하고, 인스턴스 증설은 각 엔드포인트의 자동 확장이 맡는다.
- 라우터는 최근 요청의 처리 결과를 전환 근거로 삼는다. 모델 응답 지연이나 잘못된 입력만으로는 트래픽을 옮기지 않으며, 복구 후에는 수 분에 걸쳐 더 천천히 로컬 비중을 높인다.
- 데이터 레지던시 검사는 호출 전에 허용 목적지를 제한하고, InvokedRoutedResourceArn과 RoutingReason은 호출 후 실제 처리 경로를 설명한다. Salesforce는 두 필드를 Amazon CloudWatch 지표와 대조한다.
🧠 상세 정리
1. 리전별 용량 부족이 가용성 문제로 이어진 배경
Salesforce의 Agentforce Foundation 팀은 30개 이상의 리전과 수백 개의 AWS 계정에서 자체 학습 모델과 오픈 소스 모델을 운영하며, Agentforce와 Salesforce Trust Layer 등 여러 제품의 요청을 처리한다. 팀은 고객 요청이 들어온 리전에서 서비스를 제공하고 고객별 트래픽에 맞춰 용량을 확보하지만, 고객마다 다른 피크 시간대가 서로 겹치는 경우가 많다. 겹치는 피크 전체를 감당할 용량을 상시 확보하는 데는 비용이 많이 들고, 고객이 짧은 예고만으로 새 사업부를 추가하면 인스턴스도 빠르게 늘려야 한다. 이렇게 리전마다 별도로 용량을 늘린 결과, 어떤 리전에는 유휴 인스턴스가 남아 있는 동안 다른 리전은 들어온 요청을 감당하지 못하는 상황이 생겼다.
2. 기존 Internal Gateway가 전환 시점을 판단하기 어려웠던 이유
Salesforce는 SageMaker AI 라우터를 도입하기 전에도 Internal Gateway에서 기본 상태 점검, 재시도, 리전 전환 로직을 직접 운영해 로컬 엔드포인트가 감당하지 못한 트래픽을 다른 리전으로 보냈다. 게이트웨이는 로컬과 원격 어느 쪽에서도 용량 신호를 받지 못했기 때문에 언제 요청을 옮겨야 하는지, 목적지에 추가 요청을 받을 여력이 있는지 판단하기 어려웠다. 리전 간 요청이 NAT 게이트웨이와 인터넷 게이트웨이를 통해 가상 사설 클라우드(VPC)를 벗어나 공개 AWS 네트워크를 거친다는 제약도 있었다. 설계 검토에서는 장애 중 이동한 트래픽이 다음 리전까지 과부하시킬 수 있다는 우려가 제기됐고, 팀은 리전 간 트래픽 상한과 여러 애플리케이션이 공통으로 사용할 수 있는 관리형 라우팅 경로가 필요하다고 보았다.
3. 모델별 라우팅 대상과 계정 간 권한
추론 라우터는 고객의 AWS 계정 안에서 특정 리전에 생성하는 SageMaker AI 리소스다. 애플리케이션은 기존 엔드포인트 이름 대신 라우터 이름과 모델에 대응하는 라우팅 대상 이름을 지정하고, 기존 요청 본문과 콘텐츠 유형을 그대로 보낸다. 예를 들어 유해성 분류 모델의 라우팅 대상에는 그 모델을 제공할 수 있는 단일 모델 엔드포인트와 추론 구성 요소를 함께 등록할 수 있다. 각 목적지는 리소스 전체 이름인 ARN으로 식별하므로 다른 리전이나 계정에 있어도 되며, 다른 계정의 엔드포인트 소유자는 리소스 기반 정책으로 지정한 라우터에 호출 권한을 부여한다. 모델마다 목적지 목록이 따로 있으므로 한 모델의 엔드포인트에 문제가 생겨도 같은 라우터를 사용하는 다른 모델의 트래픽은 그 영향으로 이동하지 않는다.
4. 최근 요청 결과를 바탕으로 한 전환과 복귀
라우터는 같은 리전의 목적지가 요청을 정상 처리하는 동안 로컬 경로를 유지하고, 최근 요청에서 플랫폼 장애, 모델 컨테이너의 5xx 오류, 요청 제한 또는 시간 초과가 이어지면 정상 목적지로 보내는 새 요청의 비율을 점차 높인다. 전환은 대개 약 1분 안에 시작하지만 요청이 적은 목적지에서는 상태를 판단할 결과가 쌓일 때까지 수 분이 걸릴 수 있다. 인스턴스 확장 진행 상황이나 시작 실패는 오류가 나타난 뒤 대응 속도에 영향을 주며, 그 신호만으로 전환을 시작하지는 않는다. 잘못된 입력은 다른 리전에서도 실패할 수 있고 모델 응답 지연은 입력이나 출력 길이에서 비롯될 수 있어 둘 다 전환 근거에서 제외한다. 목적지가 회복되면 경로가 반복해서 바뀌는 일을 줄이기 위해 트래픽을 옮길 때보다 천천히, 수 분에 걸쳐 로컬로 되돌린다.
5. 데이터 레지던시와 재시도를 반영한 게이트웨이 통합
Salesforce는 Internal Gateway가 데이터 레지던시를 검사한 뒤 응답을 처리하기 전에 직접 엔드포인트를 호출하던 자리에 라우터 호출을 넣었다. 레지던시 요건이 표시된 요청에는 로컬 엔드포인트 하나만 포함한 라우팅 대상을 지정하므로, 로컬 처리에 문제가 생겨도 해당 요청이 리전 경계를 넘지 않는다. 아키텍처 설명에 따르면 게이트웨이는 AWS PrivateLink의 VPC 엔드포인트를 이용하며, 리전 간 처리가 허용된 요청도 기존 요청 본문과 콘텐츠 유형, 응답 형식을 유지한다. 요청 제한처럼 목적지가 모델을 실행하기 전에 요청이 실패한 경우 라우터가 다른 목적지에서 한 번 재시도하므로, 게이트웨이에서는 장애 중 시도 횟수가 불어나지 않도록 별도로 재시도하지 않는다. 게이트웨이의 시간 제한에는 원격 리전에서 요청을 완료하는 데 필요한 왕복 지연도 반영했다.
6. 개별 요청의 처리 위치와 전환 사유 추적
Internal Gateway는 라우터가 응답에 담아 주는 InvokedRoutedResourceArn과 RoutingReason을 기존 요청 ID 및 추적 ID와 같은 구조화 로그 한 줄에 기록하고, 두 값을 애플리케이션 성능 모니터링 태그로도 남긴다. InvokedRoutedResourceArn에는 실제로 요청을 처리한 리전과 계정이 들어 있어, 요청 하나가 로컬에서 처리됐는지 다른 리전으로 건너갔는지 확인할 수 있다. RoutingReason은 해당 경로를 선택한 이유를 local-preferred, failover, capacity-available, only-healthy 등의 값으로 알려 준다. 팀은 트래픽 이동을 조사할 때 실제 목적지와 선택 사유를 라우터의 Amazon CloudWatch 지표와 대조해, 개별 요청에서 관찰한 변화가 전체 트래픽에서 언제 나타났는지 살펴본다.
7. 오리건과 오하이오에서 확인한 교차 계정 호출
Salesforce는 예시 검증에서 미국 서부 오리건 리전(us-west-2)에 라우터를 만들고 로컬 목적지가 요청을 받는지 먼저 확인했다. 이어 별도 계정이 소유한 미국 동부 오하이오 리전(us-east-2)의 엔드포인트를 등록하고 로컬 목적지를 제거해, 요청이 리전과 계정 경계를 모두 넘어 원격 엔드포인트에 도달하는지 확인했다. 원격 엔드포인트 소유자는 리소스 기반 정책으로 지정된 라우터에만 호출을 허용하며, 필요하면 그 권한을 철회할 수 있다. 목적지 상태에서 Routable은 SageMaker AI가 목적지를 조회했고 트래픽을 처리할 수 있음을, Unroutable은 조회했지만 현재 처리할 수 없음을 뜻한다. Unknown은 자격 증명이나 원격 계정의 조회 권한 등의 이유로 목적지를 확인하지 못했다는 의미이므로, 이 값만으로 엔드포인트의 장애를 단정할 수 없다.
🧾 핵심 주장 / 시사점
- 리전 간 라우팅으로 활용할 수 있는 여유 용량의 범위는 모델마다 다르다. 같은 모델을 제공할 수 있고 해당 라우터의 호출이 허용된 목적지가 있어야 다른 리전의 유휴 용량을 쓸 수 있다.
- 약 1분은 일반적인 조건에서 일부 새 요청의 경로가 바뀌기 시작하는 시간이다. 트래픽이 적으면 시작이 늦어질 수 있고, 복구 후 로컬 트래픽 비중이 회복되는 데도 별도의 시간이 든다.
- 오리건·오하이오 예시는 로컬 목적지를 제거한 조건에서 원격 호출 경로를 검증했다. 실제 과부하에서 자동 전환이 가용성이나 비용을 얼마나 개선했는지는 이 검증만으로 산정할 수 없다.
✅ 액션 아이템
- 데이터 레지던시 요건이 있는 요청은 로컬 엔드포인트만 포함한 라우팅 대상으로 제한한다.
- 트래픽 이동을 조사할 때 InvokedRoutedResourceArn과 RoutingReason을 Amazon CloudWatch 지표와 대조한다.
- 전환 시간을 해석할 때 약 1분이 새 요청 일부를 옮기기 시작하는 시점이며, 트래픽이 적은 목적지에서는 수 분이 걸릴 수 있음을 반영한다.
❓ 열린 질문
- Salesforce가 필요하다고 본 리전 간 트래픽 상한은 실제 구성에서 어떤 기준으로 정하고 적용했는가?
- 트래픽이 적은 목적지에서는 오류가 지속된 뒤 어느 정도의 요청 결과가 쌓여야 전환이 시작되는가?
- us-west-2의 로컬 목적지를 유지한 상태에서 용량 부족이 발생하면 us-east-2가 처리하는 새 요청의 비율은 시간에 따라 어떻게 달라지는가?