Building ultra-low-latency voice AI applications on AWS

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Cartesia는 상태 공간 모델(SSM) 기반 Sonic·Ink로 100ms 미만의 첫 바이트 지연을 지향하는 실시간 음성 AI를 제공하며, AWS에서 Sonic을 SageMaker AI 또는 EC2 GPU 인스턴스로 배포하는 방법을 제시한다.

📌 핵심 요약

• 컨택센터, 원격의료, 게임, 접근성 도구, 영업용 AI에서 자연스러운 대화를 구현하려면 사람의 발화 교대에 맞는 낮은 지연이 필요하며, 과도한 지연은 대화 흐름과 신뢰를 해칠 수 있다.
• 원문은 SSM이 고정 크기 내부 상태를 유지하며 입력을 순차 처리하므로, 트랜스포머의 시퀀스 처리 부담을 줄이고 긴 오디오의 정보 유지와 네이티브 스트리밍에 적합하다고 설명한다.
• Cartesia의 TTS 모델 Sonic은 첫 오디오 바이트까지 약 90ms, 44개가 넘는 언어, 10초 음성 샘플을 활용한 복제, 전체 텍스트 수신 전 오디오 생성 및 긴 구간의 어조 유지를 특징으로 제시한다.
• STT 모델 Ink는 별도 VAD나 발화 종료 판정 모델 없이 발화 교대와 문맥 기반 종료를 감지하고, 실시간 부분 전사·소음 대응·다중 화자를 지원한다. 원문은 Sonic과 Ink 모두 100ms 미만의 첫 바이트 지연에 최적화됐다고 설명한다.
• Sonic은 AWS Marketplace 모델 패키지를 통해 고객 AWS 계정의 VPC 내 SageMaker AI 엔드포인트에 배포하거나 EC2 GPU 인스턴스에서 직접 운영할 수 있다. Ink는 현재 Cartesia API로 제공되며 AWS Marketplace의 Cartesia Voice AI Platform 상품을 통해 구매할 수 있다.

🧩 주요 포인트

1. 고정 크기 상태와 토큰 단위 처리 → SSM은 음성 스트리밍에서 메모리 사용과 응답 지연을 관리하는 데 유리한 구조로 제시되며, 실제 응용에서는 대화 흐름을 유지하는 것이 핵심이다.
2. Sonic의 음성 생성과 Ink의 발화 종료 감지·부분 전사 결합 → 사용자의 발화가 끝나기 전에도 후속 LLM이 응답 구성을 시작할 수 있어, 생성 속도와 발화 교대 처리를 함께 고려할 필요가 있다.
3. Sonic의 SageMaker AI 배포와 EC2 직접 운영 선택 → 데이터 주권·지연 제어·규정 준수 요구와 런타임·확장·네트워크 통제 수준에 따라 운영 방식을 선택할 수 있으며, Ink의 현재 API 제공 범위는 별도로 고려해야 한다.

🧠 상세 정리

1. 자연스러운 음성 대화의 핵심 조건인 낮은 지연

원문은 가상 비서, AI 컨택센터, 실시간 번역, 접근성 도구 등에서 음성 중심 인터페이스가 확산하고 있지만, 사람처럼 자연스러운 응답을 제공하는 일은 여전히 어려운 AI 인프라 과제라고 설명한다. AI 음성이 사람의 발화 교대와 비슷한 시간 안에 도착해야 대화가 자연스럽게 느껴지며, 지연이 커지면 대화 흐름과 사용자의 신뢰가 손상될 수 있다는 문제의식이다. 수백만 건의 고객 상호작용을 처리하는 컨택센터와 원격 환자 상담뿐 아니라, 게임의 NPC·플레이어 상호작용과 시각장애인을 위한 화면 읽기 도구도 빠른 반응을 요구한다. 영업용 AI 역시 잠재 고객의 적합성을 판단하고 이견에 대응하는 과정에서 어색한 침묵을 줄여야 한다. 원문은 기존 트랜스포머 기반 TTS가 출력을 내기 전에 전체 시퀀스를 처리하기 때문에 스트리밍 지연에 어려움을 겪으며, 품질을 높일수록 지연도 증가하는 상충관계를 SSM이 해소한다고 주장한다.

2. SSM의 순차 처리와 고정 크기 상태

트랜스포머의 어텐션은 시퀀스의 각 요소를 다른 모든 요소와 비교하므로, 원문 설명에 따르면 시퀀스가 길어질수록 연산량이 제곱으로 증가한다. SSM은 시퀀스를 시간에 따라 변화하는 시스템으로 다루면서 단계별로 처리하고, 압축된 내부 상태를 다음 단계로 전달하는 방식을 사용한다. 이러한 계산은 컴퓨터가 효율적으로 처리하는 형태로 변환할 수 있어 특정 긴 시퀀스의 비용을 낮추며, 실시간 음성과 같은 스트리밍 데이터에 적합하다고 제시된다. 구조화된 SSM은 선형 순환 구조이지만 상태 매개변수화를 통해 긴 오디오의 정보를 유지하므로, LSTM을 비롯한 고전적 RNN의 장거리 신호 약화 문제를 피한다는 설명이다. 또한 이전 토큰 전체를 캐시하는 대신 고정 크기 은닉 상태를 유지하고 입력을 토큰 단위로 처리하므로, 별도 구조 변경 없이 네이티브 스트리밍을 지원한다.

3. Sonic의 음성 생성 성능과 사용 방식

Cartesia는 SSM 발전을 개척한 연구자들이 설립한 실시간 멀티모달 지능 기업으로 소개되며, 사람의 지각 경계에 가까운 속도의 스트리밍 추론을 목표로 음성 AI를 설계했다고 설명한다. 대표적인 스트리밍 TTS 모델 Sonic은 첫 오디오 바이트를 약 90ms에 제공하며, 원문은 이를 사용자가 거의 즉각적으로 응답을 듣는 수준으로 제시한다. 음성 품질 측면에서는 44개가 넘는 언어에서 자연스러운 운율, 감정, 표현력을 지원하고, 10초 오디오 샘플만으로 자연스러운 사용자 지정 음성을 만들 수 있다고 한다. 전체 텍스트 입력이 도착하기 전에 오디오 생성을 시작하는 구조와 긴 구간에 걸쳐 일관된 어조·스타일을 유지하는 문맥 인식 합성도 주요 특징이다. 원문은 운영 부담을 최소화하면서 빠르게 서비스를 구현하려는 팀에 Sonic을 권하며, API를 호출해 실시간 스트리밍 오디오를 받는 사용 방식을 제시한다.

4. Ink의 발화 교대 감지와 실시간 전사

Ink는 대화형 AI를 위해 설계된 Cartesia의 스트리밍 STT 모델로, 사용자가 말하는 동안 부분 전사 결과를 실시간으로 내보낸다. 이 결과를 활용하면 후속 LLM이 사용자의 발화가 끝나기 전부터 응답 구성을 시작할 수 있다는 점이 원문에서 강조된다. Ink는 화자가 자신의 차례를 마쳤는지 직접 감지하므로 별도의 음성 활동 감지인 VAD나 발화 종료 판정 모델 없이 어색한 대기 시간을 줄일 수 있다고 설명된다. 문장 중간의 잠깐 멈춤과 실제 대화 경계를 의미적 문맥으로 구분하며, 현실 환경에서 흔한 소음 속 정확도 유지와 겹치는 발화·화자 전환 처리도 지원한다고 제시한다. 원문은 Sonic과 Ink가 모두 100ms 미만의 첫 바이트 지연에 최적화됐다고 소개하지만, Sonic의 약 90ms와 같은 별도의 구체적인 Ink 측정값은 제시하지 않는다. 두 모델은 함께 사람처럼 느껴지는 대화형 에이전트를 구현하는 음성 AI 스택으로 설명된다.

5. AWS 배포 범위와 SageMaker AI 사전 조건

데이터 주권, 지연 제어 또는 규정 준수가 필요하면 Sonic을 고객의 AWS 계정에 직접 배포할 수 있으며, AWS Marketplace 모델 패키지로 제공되는 Sonic을 VPC 내 SageMaker AI 엔드포인트에서 실행하면 추론 데이터가 해당 계정을 벗어나지 않는다고 설명한다. 이 배포 설명의 대상은 Sonic이고, Ink는 현재 Cartesia API로 제공되며 AWS Marketplace의 Cartesia Voice AI Platform 상품을 통해 구매할 수 있다는 구분이 명시돼 있다. SageMaker AI 방식은 관리형 VPC 내부 엔드포인트를 만드는 가장 빠른 경로로 소개되며, 일회성 구독으로 AWS 리전별 모델 패키지 ARN에 접근한 뒤 콘솔이나 SageMaker·Boto3 SDK로 배포한다. 실행 환경은 SageMaker Notebook Instance 또는 SageMaker Studio이며, IAM 실행 역할에는 AmazonSageMakerFullAccess가 필요하고 구독에는 aws-marketplace:Subscribe, aws-marketplace:Unsubscribe, aws-marketplace:ViewSubscriptions 권한 또는 기존 계정 구독이 필요하다. 지원 인스턴스는 모델 패키지의 SupportedRealtimeInferenceInstanceTypes에서 확인해야 하며, 제시된 유형은 ml.g6e.xlarge 이상, ml.g7e.2xlarge 이상, ml.g7.2xlarge 이상, ml.p5.48xlarge, ml.p5en.48xlarge이다. 선택한 유형의 적용 할당량이 현재 사용량과 예정된 엔드포인트 인스턴스 수의 합보다 작으면 서비스 할당량 증설이 필요할 수 있다.

6. Sonic 3.6 구독부터 스트리밍 엔드포인트 호출까지

Sonic 3.6의 배포 절차는 SageMaker AI의 AWS Marketplace resources에서 All products를 열고 Sonic 3.6 SageMaker를 검색해 Cartesia 상품을 선택하는 단계로 시작한다. 이어 View purchase options에서 가격과 약관을 검토하고 구독하면 계정에 모델 패키지 접근 권한이 부여되지만, 구독 자체가 리소스를 배포하지는 않는다. 다음으로 Deployments & inference의 Deployable models에서 Create model을 선택하고 AWS Marketplace 모델 패키지 구독을 사용하는 옵션으로 Sonic 3.6 SageMaker와 실행 역할을 지정해 모델을 생성한다. 생성한 모델에서 ml.g6e.2xlarge 같은 지원 GPU 인스턴스를 사용해 실시간 엔드포인트를 만들고, 상태가 Creating에서 InService로 바뀐 뒤 호출해야 한다. 모델 패키지 ARN은 리전별로 다르며, 원문은 미국 동부 버지니아 북부 리전의 패키지를 describe-model-package로 조회해 상태·상품 ID·지원 인스턴스 유형을 확인하는 예를 제공한다. 엔드포인트가 준비되면 SageMaker Runtime의 InvokeEndpointWithResponseStream API를 호출하고 애플리케이션에서 반환되는 오디오 스트림을 처리한다.

7. EC2 GPU 직접 운영과 컨테이너 실행 구성

이미 GPU 인프라가 있거나 엄격한 네트워크 요구가 있고 다른 서비스와 Cartesia를 함께 배치해야 하는 팀에는 EC2 GPU 인스턴스에서 모델 컨테이너를 직접 실행하는 선택지가 제시된다. 이 방식은 런타임, 확장, 네트워크 경로를 직접 통제할 수 있으며, AWS Marketplace 모델 패키지 대신 Cartesia에서 받은 컨테이너 이미지를 사용한다. 먼저 Cartesia에 Sonic 이미지와 라이선스 조건을 요청하고 이미지를 자체 비공개 Amazon ECR 저장소에 복제해, 컴퓨팅 계층이 외부 레지스트리에 접근하는 대신 IAM으로 범위를 제한한 자격 증명으로 가져오도록 한다. Sonic은 NVIDIA GPU에서 실행되며, 원문은 실시간 TTS에 G6의 L4와 G6e의 L40S를 균형 잡힌 선택으로 제시하고 이전 G5의 A10G도 지원하며, 목표 동시 처리량에 맞춰 GPU 메모리와 vCPU를 선택하고 복제본당 단일 GPU 인스턴스를 선호하도록 권한다. ECS에서는 GPU 리소스 요구를 지정한 작업 정의를 등록하고 Application Load Balancer 뒤에서 서비스로 실행하며, EKS에서는 GPU 최적화 AMI 기반 노드 그룹 또는 Karpenter 프로비저너와 NVIDIA 장치 플러그인을 구성하고 Service/Ingress 앞단의 Deployment로 배포한다.

8. 낮은 지연을 위한 네트워크 배치와 자료의 끝

직접 운영 구성의 마지막 부분은 모델 실행 환경뿐 아니라 추론 요청과 이미지 전송이 지나는 네트워크 경로도 낮은 지연에 맞춰 구성하는 방법을 다룬다. 원문은 추론 노드를 클러스터 배치 그룹에 두어 노드 간 지연을 최소화하고, 가장 짧은 경로를 위해 복제본을 단일 가용 영역에 유지하도록 권한다. 컨테이너 이미지와 관련 데이터의 ECR·S3 가져오기에는 VPC 엔드포인트를 사용하도록 제시하며, 이는 앞서 설명한 자체 비공개 ECR 저장소 운영과 연결되는 구성이다. 하이브리드 또는 온프레미스 호출자의 경우에는 AWS Direct Connect나 비공개 Network Load Balancer를 통해 트래픽을 종단 처리해 퍼블릭 인터넷 경유를 피하도록 안내한다. 제공된 source_body는 이 네트워크 설정 설명 뒤의 미완성 문자열인 'Lo'에서 끝나므로, 이후에 이어졌을 운영 지침이나 결론은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 원문이 제시하는 대화 응답성은 TTS의 첫 오디오 생성 속도뿐 아니라, Ink의 부분 전사와 발화 종료 감지로 후속 LLM의 응답 준비를 앞당기는 흐름까지 포함한다.
• SSM의 고정 크기 상태와 순차 처리는 실시간 음성에 적합한 구조적 근거로 제시되지만, 제공된 자료에는 동시 처리량이나 부하 조건에 따른 지연 비교 결과가 없어 실제 배포 성능을 단정하기 어렵다.
• Sonic의 고객 계정 내 배포 선택지를 Ink에도 그대로 적용할 수는 없다. 원문은 Sonic의 SageMaker AI·EC2 배포와 Ink의 현재 Cartesia API 제공을 명확히 구분한다.

✅ 액션 아이템

• Sonic의 SageMaker AI 배포와 EC2 직접 운영을 데이터 주권·지연 제어·규정 준수 및 운영 통제 요구에 따라 비교.
• Sonic의 약 90ms 첫 오디오 바이트와 Ink의 발화 종료 감지·부분 전사를 함께 고려해 대화 응답성 평가.
• Ink의 현재 Cartesia API 제공 범위를 확인하고, Sonic과 결합할 때 데이터 주권 요구 충족 여부 검토.

❓ 열린 질문

• Sonic과 Ink의 100ms 미만 첫 바이트 지연은 어떤 조건에서 달성되는가?
• Ink의 현재 Cartesia API 제공 방식은 데이터 주권·지연 제어·규정 준수 요구를 어느 범위까지 충족하는가?
• Sonic의 SageMaker AI 배포와 EC2 직접 운영 중 필요한 런타임·확장·네트워크 통제 수준에 더 적합한 방식은 무엇인가?