Articleaws.amazon.com·2026년 11월 13일·0

Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot

Quick Summary

AssemblyAI는 Amazon ECS 기반 GPU 인프라에서 Amazon EC2 Spot 다변화와 Amazon SQS 재시도를 결합해 SLA와 데이터 상주 요구를 유지하면서 온디맨드 요금 대비 추론 컴퓨팅 비용을 70% 절감했다.

Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot 관련 대표 이미지

🖼️ 인포그래픽

Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot의 핵심 내용을 4단계로 요약한 인포그래픽
Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

AssemblyAI는 Amazon ECS 기반 GPU 인프라에서 Amazon EC2 Spot 다변화와 Amazon SQS 재시도를 결합해 SLA와 데이터 상주 요구를 유지하면서 온디맨드 요금 대비 추론 컴퓨팅 비용을 70% 절감했다.

📌 핵심 요약

  • AssemblyAI의 음성 인식 추론은 음향 모델·언어 모델·후처리 단계에 NVIDIA GPU를 사용하며, GPU당 단일 추론 모델을 실행하는 수천 대의 인스턴스 규모로 운영된다. 컴퓨팅 수요는 전년 대비 약 4배로 증가했다.
  • Amazon ECS 용량 공급자는 온디맨드 인스턴스를 상시 기본 용량으로 유지하고, 여러 가용 영역과 g4dn·g5·g6 GPU 인스턴스 패밀리에 분산한 Amazon EC2 Spot으로 수요 증가에 대응한다.
  • 개별 추론 작업은 일반적으로 15초에서 수분이 걸린다. Spot의 2분 중단 예고 안에 완료할 수 있는 작업은 마치고, 시간이 더 필요한 작업은 Amazon SQS로 반환해 다른 정상 GPU 인스턴스에서 재시도한다.
  • 미국 서부 오리건(us-west-2)과 유럽 런던(eu-west-2)에 배포하며, 각 AWS 리전에 독립적인 큐·클러스터·용량 공급자·GPU 플릿을 운영해 의료·금융·법률 고객의 데이터 상주 요구를 지원한다.
  • 운영 결과 온디맨드 요금 대비 추론 컴퓨팅 비용을 70% 절감했다. 인스턴스 패밀리·크기 다변화, 큐 기반 재시도, 빠른 준비를 통해 Spot 중단을 흡수하고 SLA를 유지했으며, 중단 시 고객에게는 처리 시간이 소폭 늘어나는 영향이 발생한다.

🧩 주요 포인트

  1. 온디맨드 기본 용량과 g4dn·g5·g6의 독립적인 Spot 용량 풀 결합 → 특정 패밀리의 용량 부족에 대한 의존도를 낮추면서 비용과 가용성을 함께 관리한다.
  2. Amazon SQS로 작업 제출과 실행을 분리하고 2분 중단 예고에 맞춰 재시도 → 짧고 독립적으로 재시도 가능한 GPU 작업에서 처리 시간 증가를 감수하며 완료와 SLA를 유지하는 구조다.
  3. AWS 리전마다 추론 인프라를 독립 운영 → 데이터 상주 요구가 있는 고객을 지원하면서 리전 내부의 GPU 인스턴스 다변화를 활용한다.

🧠 상세 정리

1. GPU 추론의 비용과 서비스 보장 과제

음성 인식 추론은 각 오디오 파일마다 음향 모델, 언어 모델, 후처리 단계로 이어지는 딥러닝 파이프라인을 실행하며, 지연 시간 요구를 충족하기 위해 NVIDIA GPU를 사용한다. AssemblyAI는 이를 수천 대의 GPU 인스턴스 규모로 운영해야 하므로, 전체를 온디맨드 인스턴스로 구성하면 비용 부담이 지나치게 커지는 상황이었다. Spot은 상당한 절감 여지를 제공하지만 Amazon EC2가 용량을 회수할 때 2분 전에 예고하므로, 중단을 흡수하면서 가용성과 지연 시간에 관한 SLA를 지킬 설계가 필요했다. 의료·금융·법률 고객은 오디오 데이터를 특정 지리적 경계 안에 보관해야 한다는 추가 제약도 갖고 있었다. AWS Marketplace에서 제공되는 AssemblyAI API는 전사, 화자 감지, 감정 분석, 챕터 감지, 개인 식별 정보(PII) 삭제를 지원하며 기술·미디어·의료·금융 등 여러 산업의 대량 음성 처리에 사용된다.

2. Amazon ECS와 큐를 연결한 전체 구조

AssemblyAI의 추론 플랫폼은 Amazon ECS에서 실행되며, ECS 용량 공급자가 여러 NVIDIA GPU 인스턴스 패밀리의 Spot과 온디맨드 용량을 함께 관리한다. 각 GPU는 하나의 추론 모델을 실행하고, 여러 가용 영역에 걸친 VPC 내부의 ECS 클러스터에서 GPU 작업이 Amazon SQS 큐를 폴링해 추론 요청을 가져온다. 작업은 Amazon S3에서 오디오 파일을 읽고 완료된 전사 결과를 결과 저장소에 기록하며, AssemblyAI가 구성한 방식으로 최종 고객에게 전달된다. Spot 중단 알림이 발생하면 Amazon EventBridge가 AWS Lambda 기반 Spot Interruption Handler를 호출하고, 이 핸들러는 처리 중인 작업을 기본 SQS 큐로 반환한다. 재시도 횟수를 소진한 작업은 고객 설정에 따라 데드 레터 SQS 큐로 보내 조사하며, Amazon CloudWatch Metrics는 플릿 상태와 Spot 중단 이벤트를 관찰한다.

3. 용량 공급자와 GPU 인스턴스 다변화

각 ECS 클러스터는 하나의 용량 공급자 전략에 여러 공급자를 구성하며, 온디맨드 공급자는 상시 기본 용량을, Spot 공급자는 여러 GPU 패밀리와 가용 영역에 걸쳐 수요 급증에 대응하는 용량을 제공한다. 각 공급자는 Amazon EC2 Auto Scaling 그룹과 연결되고, ECS 관리형 조정은 공급자 가중치와 대기 중인 추론 작업에 따라 GPU 인스턴스 수를 늘리거나 수요 감소 시 점진적으로 줄인다. g4dn은 NVIDIA T4 GPU를 사용해 표준 음성 인식 모델에 비용 효율적인 기반을 제공하고, g5는 NVIDIA A10G GPU로 더 많은 처리가 필요한 모델의 처리량을 높인다. g6는 NVIDIA L4 GPU를 사용하며 대규모 언어 모델 기반 추론을 포함한 더 큰 모델에서 개선된 비용 대비 성능을 제공한다고 원문은 설명한다. 패밀리와 크기를 넓게 분산하면 활용 가능한 Spot 용량 풀이 커지며, price-capacity optimized 할당 전략은 가격과 가용 용량을 함께 고려해 인스턴스를 배치하고 중단 가능성을 줄인다.

4. 2분 중단 예고를 흡수하는 재시도

AssemblyAI는 Amazon SQS를 사용해 전사 요청 제출과 실제 GPU 실행을 분리하며, 개별 작업은 오디오 길이에 따라 보통 15초에서 수분이 걸린다. Spot 인스턴스가 2분 중단 예고를 받으면 그 시간 안에 끝낼 수 있는 작업은 정상적으로 완료하고, 더 오래 걸리는 작업은 큐로 반환해 다른 작업자가 즉시 가져갈 수 있게 한다. 정상 GPU 인스턴스는 다른 인스턴스 유형이나 다른 가용 영역에 있더라도 반환된 메시지를 받아 추론을 완료할 수 있다. 복구 시간을 줄이기 위해 AssemblyAI는 모델 아티팩트와 컨테이너 이미지를 포함하는 사용자 지정 Amazon Machine Image(AMI)를 약 2분 만에 생성한다. 원문에 따르면 이러한 중단은 최종 고객의 처리 시간을 소폭 늘리지만, 전사 자체는 성공적으로 완료되어 예상대로 전달된다.

5. 리전별 독립 운영과 데이터 상주

AssemblyAI는 미국 서부 오리건(us-west-2)과 유럽 런던(eu-west-2)에 추론 구조를 배포하며, 여러 AWS 리전 운영을 통해 규제 산업 고객의 데이터 상주 요구를 지원한다. 의료·금융·법률 서비스에서는 오디오 데이터가 특정 지리적 경계를 벗어나지 않아야 하므로, 각 리전이 자체 Amazon SQS 큐, Amazon ECS 클러스터, 용량 공급자, GPU 플릿을 갖춘 완전히 독립적인 추론 구조를 실행한다. 원문은 유럽 리전에서 g4dn·g5·g6 GPU 인스턴스 패밀리와 경쟁력 있는 Spot 가격을 활용할 수 있다고 설명한다. 이 구조는 데이터 상주 경계를 지키면서도 여러 GPU 패밀리의 용량을 활용해 Spot 기반 추론 서비스의 안정성을 뒷받침한다.

6. 절감 성과와 적용 가능한 작업 특성

AssemblyAI는 GPU 기반 Amazon EC2 Spot을 운영 환경에 적용해 온디맨드 요금 대비 추론 컴퓨팅 비용을 70% 절감했다고 보고했다. 컴퓨팅 수요가 전년 대비 약 4배로 증가하는 동안에도 이 구조를 통해 단위당 비용의 지속 가능성을 유지했다. 운영 경험상 Spot 중단률을 줄이는 데 가장 효과적인 수단은 인스턴스 패밀리와 크기의 다변화였으며, g4dn·g5·g6가 독립적인 용량 풀을 사용하므로 한 패밀리에 용량 압박이 생겨도 다른 패밀리를 활용할 수 있었다. 처음부터 큐 기반 재시도와 빠른 준비를 포함해 내결함성을 설계한 결과, Spot 중단을 일상적인 운영 이벤트로 흡수하면서 SLA를 유지할 수 있었다. 원문은 짧게 실행되고 독립적으로 재시도할 수 있는 GPU 작업으로 구성된 배치 또는 준실시간 AI 워크로드에 이 패턴을 적용할 수 있다고 제안한다.

🧾 핵심 주장 / 시사점

  • 70% 절감은 추론 컴퓨팅 비용을 온디맨드 요금과 비교한 결과이며, 이를 전체 서비스 비용의 절감률로 확대해 해석할 근거는 제시되지 않았다.
  • Spot 활용의 핵심은 저렴한 용량 확보와 함께 중단된 작업을 다른 GPU에서 완료할 수 있도록 실행 구조를 설계하는 데 있다. 이 사례에서는 소폭의 처리 시간 증가를 허용하며 완료와 SLA를 유지했다.
  • 데이터 상주 제약이 있어도 리전마다 독립적인 추론 구조를 운영하고 그 안에서 GPU 패밀리를 다변화하면, 지리적 경계와 Spot 용량 활용을 함께 고려할 수 있다.

✅ 액션 아이템

  • GPU 작업의 실행 시간과 독립적 재시도 가능성을 기준으로 Amazon SQS 및 2분 중단 예고를 활용하는 구조의 적용 가능성 검토.
  • 온디맨드 기본 용량과 g4dn·g5·g6 Spot 용량의 조합을 비용·가용성·SLA 관점에서 검토.
  • 의료·금융·법률 고객의 데이터 상주 요구에 맞춰 AWS 리전별 독립 추론 인프라의 적합성 확인.

❓ 열린 질문

  • 70%의 추론 컴퓨팅 비용 절감을 달성한 운영 환경에서 온디맨드 기본 용량과 Amazon EC2 Spot의 비중은 각각 얼마였는가?
  • Spot 중단에 따른 처리 시간의 소폭 증가는 구체적으로 어느 정도였으며, SLA의 지연 시간 기준은 무엇이었는가?
  • 미국 서부 오리건(us-west-2)과 유럽 런던(eu-west-2)에서 g4dn·g5·g6의 용량 가용성과 비용 절감 성과는 어떻게 달랐는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.