PolyAI Dialog-RSN-1 is now on Amazon SageMaker JumpStart
Quick Summary
PolyAI의 실시간 음성 대화 모델 Dialog RSN 1이 AWS Marketplace와 Amazon SageMaker JumpStart에 출시돼 고객이 자체 AWS 계정에서 실시간 통화 추론을 실행할 수 있다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
PolyAI의 실시간 음성 대화 모델 Dialog-RSN-1이 AWS Marketplace와 Amazon SageMaker JumpStart에 출시돼 고객이 자체 AWS 계정에서 실시간 통화 추론을 실행할 수 있다.
📌 핵심 요약
- Dialog-RSN-1은 AWS Marketplace에 등록된 첫 PolyAI 모델이다. 고객은 AWS Marketplace에서 구독해 자체 계정의 SageMaker 엔드포인트에 배포하거나 Amazon SageMaker JumpStart에서 직접 배포할 수 있다.
- Dialog-RSN-1은 통화 음성을 직접 듣고 한 번의 처리 과정에서 발신자의 요구와 응답 시점을 판단한다. PolyAI에 따르면 이 모델은 이미 실제 고객 통화를 처리하고 있다.
- 기존 OpenAI Realtime 클라이언트는 기본 URL을 바꿔 PolyAI 브리지에 연결할 수 있다. 현재 영어만 지원하며 연결은 최대 30분이다. 입력은 16 또는 24kHz의 16비트 PCM 모노 음성이며 G.711과 Opus는 먼저 변환해야 한다.
- 추론은 고객 계정의 VPC에서 실행된다. 고객은 기존 IAM 역할과 Amazon CloudWatch를 사용하고, 통화 음성과 전사문을 자신이 통제하는 환경에 두면서 전화 시스템 연동과 업무 로직을 관리한다.
- Amazon SageMaker JumpStart는 지연 시간·처리량·비용·균형을 위한 네 가지 최적화 프로필과 배포 전 성능 지표를 제공한다. 배포 후에는 PolyAI 샘플 노트북으로 녹음된 통화에 대한 모델의 발화 시점 판단, 응답, 전사문을 확인할 수 있다.
🧩 주요 포인트
- 음성을 직접 추론하므로 전사문에서 사라지는 말투와 망설임까지 발화 시점 판단에 활용할 수 있다.
- 모델은 실시간 대화를 처리하고 고객은 오케스트레이션과 전화 시스템 연동을 맡으므로, 지원 언어와 연결 시간, 음성 형식이 도입 가능성을 좌우한다.
- P50 지연 시간, 첫 토큰까지 걸리는 시간, 처리량은 인프라 선택의 근거가 되고, 녹음된 통화는 실제 대화에서 응답이 적절한지 판단할 근거가 된다.
🧠 상세 정리
1. AWS Marketplace 출시와 배포 경로
Dialog-RSN-1은 실시간으로 복잡한 통화를 이해하고 응답하도록 PolyAI가 만든 추론 모델이며, AWS Marketplace를 통해 제공되는 첫 PolyAI 모델이다. AWS 고객은 Marketplace에서 모델을 구독한 뒤 자체 계정에 SageMaker 엔드포인트로 배포할 수 있다. Amazon SageMaker Studio에서도 JumpStart 카탈로그의 모델 카드를 열어 직접 배포할 수 있다. 엔드포인트는 고객의 기존 애플리케이션에서 호출할 수 있고 요금은 해당 AWS 계정으로 청구되므로, 고객 대화용 모델에도 기존 SageMaker 워크로드의 배포·과금 방식을 적용할 수 있다.
2. 기존 전화 시스템과 연결할 때의 조건
고객은 통화 흐름을 조율하는 오케스트레이션, 전화 시스템 연동, 업무 로직을 계속 관리하고, Dialog-RSN-1은 발신자의 음성을 이해해 실시간으로 응답하는 역할을 맡는다. 엔드포인트가 OpenAI Realtime 프로토콜을 지원하므로 기존 Realtime 클라이언트는 기본 URL을 변경해 PolyAI 브리지에 연결할 수 있다. 입력 음성은 샘플링 주파수가 16 또는 24kHz인 16비트 PCM 모노 형식이어야 한다. G.711이나 Opus를 사용하는 전화 시스템에서는 음성을 먼저 변환해야 한다. 현재 모델이 지원하는 언어는 영어이며 한 번의 연결은 최대 30분까지 유지된다.
3. 음성에서 직접 판단하는 응답 내용과 시점
PolyAI는 실시간 통화에서 응답 속도를 높이면 발화의 의미를 놓치기 쉽고, 추론에 시간이 걸리면 발신자가 답을 기다리게 된다는 문제를 제시한다. Dialog-RSN-1은 별도의 음성 인식 단계를 거치지 않고 통화 음성에서 말투와 망설임, 발화 간격을 읽어 무엇을 말할지와 언제 말할지를 함께 판단한다. PolyAI에 따르면 통화량이 급증해도 발신자가 모델의 응답 도중 끼어들 수 있고, 전사문도 실제 입력 음성에서 생성된다. 회사는 모델이 이미 실제 통화를 처리하고 있다고 밝히며, 속도와 이해도를 뒷받침하는 벤치마크 결과는 별도의 출시 글로 안내한다.
4. 녹음된 통화로 살펴보는 모델의 대화 판단
Amazon SageMaker AI의 모델 허브인 JumpStart는 Dialog-RSN-1의 개요와 샘플 노트북을 모델 카드에서 함께 제공한다. 팀은 인프라 비용을 지출하기 전에 카탈로그에서 모델의 기능과 평가 예제를 살펴볼 수 있다. 자체 통화로 모델의 동작을 확인하는 단계에서는 엔드포인트를 배포한 뒤 PolyAI 샘플 노트북을 실행해 녹음된 발신자 음성을 스트리밍한다. 노트북은 모델이 어느 시점에 응답하기로 판단했는지, 어떤 답을 내놓았는지, 통화를 어떻게 전사했는지를 출력하므로 같은 녹음에서 세 가지 결과를 함께 살펴볼 수 있다.
5. 네 가지 최적화 프로필과 배포 전 성능 지표
JumpStart 모델 카드에서 배포를 선택하면 사전 구성된 실행 환경으로 실시간 추론 엔드포인트가 생성된다. 지연 시간 최적화 프로필은 대화 중 첫 토큰이 나오기까지의 시간을 줄이고, 처리량 최적화 프로필은 통화량이 많을 때 초당 토큰 수를 높이는 데 초점을 둔다. 비용 최적화 프로필은 요청당 인프라 비용을 줄이며 균형 프로필은 범용 워크로드를 위해 성능과 비용을 절충한다. 배포 전에 표시되는 P50 지연 시간, 첫 토큰까지 걸리는 시간, 처리량을 보면 예상 트래픽에 맞는 인스턴스를 고를 수 있다. 같은 배포 과정은 SageMaker Python SDK로 자동화해 CI/CD에 통합할 수 있다.
6. 고객 계정 안에서의 데이터 통제와 감사
배포된 Dialog-RSN-1 엔드포인트는 고객 AWS 계정의 VPC에서 실행되며, 고객은 기존 IAM 역할로 접근 권한을 관리한다. 운영팀은 다른 워크로드에 사용하는 Amazon CloudWatch 로그와 지표로 실시간 추론 엔드포인트의 동작도 모니터링할 수 있다. 추론이 고객 계정 안에서 이뤄지므로 발신자의 통화 음성과 모델이 생성한 전사문은 고객이 통제하는 환경에 머문다. AWS는 실시간 고객 대화를 처리할 때 이러한 배치가 데이터가 머무는 위치에 관한 요건과 감사 요건을 충족하는 데 도움이 된다고 설명한다.
🧾 핵심 주장 / 시사점
- 실시간 통화의 품질에는 답변 내용과 발화 시점이 모두 관여한다. 샘플 노트북은 두 결과를 같은 통화에서 확인할 수 있게 한다.
- OpenAI Realtime 호환성은 기존 클라이언트의 연결 변경을 줄여 준다. 전화 시스템이 G.711이나 Opus를 쓰는 경우에는 별도로 음성 형식을 변환해야 한다.
- 대화 시작이 늦는 문제와 많은 통화를 처리하는 문제에는 서로 다른 지표가 대응한다. 전자는 첫 토큰까지 걸리는 시간으로, 후자는 초당 토큰 수로 살펴볼 수 있다.
✅ 액션 아이템
- 영어만 지원하는 조건과 연결당 최대 30분 제한, 16비트 PCM 모노 입력 요건이 대상 통화에 맞는지 확인한다.
- PolyAI 샘플 노트북에 녹음된 통화를 입력해 발화 시점 판단, 응답, 전사문을 함께 검토한다.
- P50 지연 시간, 첫 토큰까지 걸리는 시간, 처리량을 바탕으로 통화 특성과 비용에 맞는 Amazon SageMaker JumpStart 최적화 프로필을 선택한다.
❓ 열린 질문
- 도입 대상 통화 중 영어만 지원하는 조건과 연결당 최대 30분 제한을 모두 충족하는 통화는 어느 정도인가?
- 녹음된 통화에서 Dialog-RSN-1은 발신자의 망설임을 고려해 적절한 시점에 응답하는가?
- 예상 통화량에서 첫 토큰까지 걸리는 시간과 처리량을 함께 고려하면 네 가지 최적화 프로필 중 어느 것이 적합한가?