These execs think voice AI hasn't reached its ChatGPT moment yet

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

음성 AI는 풀듀플렉스 모델까지 발전했지만, PolyAI와 Otter 경영진은 자연스러운 대화와 신뢰할 수 있는 자동화를 위해 빠른 추론, 정확한 음성 인식, 감정 표현과 투명성이 더 필요하다고 본다.

📌 핵심 요약

• 음성 AI 스타트업에 수십억 달러의 투자가 유입되고 있지만, PolyAI CTO Shawn Wen은 듣는 동시에 말하는 풀듀플렉스 모델의 등장만으로는 아직 ‘ChatGPT 모멘트’에 도달하지 못했으며, 빠른 추론과 답변 검색이 다음 과제라고 말했다.
• Wen은 고객 서비스 AI가 기계적으로 들리지 않고 문제 해결에 대한 확신을 줘야 한다고 설명했다. 고객이 첫 두세 차례 대화에 참여하면서 신뢰를 쌓으면, AI가 문제를 해결할 수 있을 때 사람과 통화할 필요성을 덜 느낄 수 있다는 주장이다.
• Otter CMO Alex Gay는 화자 식별, 의도 파악, 조직 지식과의 연결을 자동화의 핵심 단계로 꼽았다. Otter는 회의에서 사람을 대신할 수도 있는 디지털 트윈을 개발 중이며, Gay는 인간과 대화할 때와 같은 감정 표현과 관계 형성이 중요하다고 말했다.
• Wen은 ASR(자동 음성 인식)이 중요한 키워드를 놓쳐 전체 맥락 파악에 문제가 생긴다고 지적했다. Gay도 부정확한 전사가 후속 행동의 오류와 신뢰 상실로 이어진다며, ASR 정확도와 언어 관련 성능을 계속 개선해야 한다고 강조했다.
• 녹음 여부와 AI와 대화하고 있다는 사실을 알리는 투명성도 주요 과제다. Otter는 회의 봇이 없는 경우에도 채팅으로 모든 참석자에게 녹음을 알리는 방식을 시도하려 하며, Wen은 기업 고객 통화에서 상대가 AI라는 사실을 명확히 해야 한다고 말했다.

🧩 주요 포인트

1. 풀듀플렉스 기능 확보 → 듣기와 말하기의 동시 수행을 넘어, 빠른 추론과 문제 해결 능력이 자연스러운 대화와 고객 신뢰를 좌우한다.
2. ASR 오류의 후속 행동 전파 → 전사 정확도는 기록 품질뿐 아니라 Otter의 자동화 결과와 플랫폼 신뢰를 결정하는 기반이다.
3. 디지털 트윈의 감정 표현과 AI·녹음 고지 → 음성 AI가 관계를 형성하고 신뢰를 얻으려면 대화 경험과 투명성을 함께 갖춰야 한다.

🧠 상세 정리

1. 투자 열기와 아직 오지 않은 ‘ChatGPT 모멘트’

음성이 차세대 주요 인터페이스가 될 것이라는 전망이 힘을 얻으면서, 음성 AI 스타트업에는 수십억 달러의 투자금이 유입되고 있다. 투자 대상은 모델 개발사부터 기업 고객 서비스 제공업체, 회의 기록 도구, AI 기반 받아쓰기까지 폭넓게 분포한다. 매주 사람처럼 들리고 대화할 수 있다고 주장하는 새 모델이나 도구가 나오지만, 기사는 실제 경험이 그런 주장에 미치지 못할 수 있다고 지적한다. PolyAI CTO Shawn Wen도 사용자의 말을 들으면서 동시에 말할 수 있는 풀듀플렉스 모델이 등장했음에도, 음성 AI가 아직 ‘ChatGPT 모멘트’를 맞지는 못했다고 평가했다.

2. 동시 발화 다음 과제는 빠른 추론

Wen은 지난달 HumanX 행사에서 풀듀플렉스 모델 개발이라는 이정표에는 도달했다고 설명했다. 그가 제시한 다음 과제는 추론을 매우 빠르게 만들어 모델이 답변을 신속하게 찾아오고, 대화가 자연스럽게 느껴지도록 하는 것이다. 이 설명은 듣기와 말하기를 동시에 수행하는 기능의 확보와 실제 대화의 자연스러움 사이에 여전히 과제가 남아 있다는 평가로 이어진다. 따라서 그의 주장은 풀듀플렉스의 성과를 인정하면서도, 그 기능만으로 음성 AI가 충분히 성숙했다고 보기는 어렵다는 방향이다. 기사에는 필요한 추론 속도의 구체적인 수치나 이를 달성할 일정은 제시되지 않았다.

3. 고객 서비스에서 신뢰가 형성되는 과정

Wen은 고객 서비스 AI 에이전트가 기계적으로 들려서는 안 되며, 전화를 건 고객에게 자신의 문제를 해결할 수 있다는 충분한 확신을 줘야 한다고 말했다. 그는 음성 품질이 충분히 좋아 고객이 첫 두세 차례 대화에 참여할 의향을 보이면, 그 과정에서 신뢰가 형성되기 시작한다고 설명했다. 이후 에이전트가 문제를 해결할 수 있다는 경험이 쌓이면 고객은 사람과 직접 통화할 필요가 없다고 느낄 수도 있다는 전망이다. 이는 고객이 처음부터 AI를 완전히 신뢰한다는 주장이 아니라, 대화 참여와 문제 해결 능력이 신뢰를 점진적으로 만든다는 설명이다.

4. Otter의 자동화와 디지털 트윈 구상

Otter CMO Alex Gay는 화자를 식별하고 의도를 파악한 뒤 이를 조직 지식과 연결하는 것이 자동화를 가능하게 하는 핵심 단계라고 말했다. Otter는 회의에서 사람을 대신할 수도 있는 디지털 트윈도 개발하고 있으며, Gay는 그 음성이 인간과 대화할 때와 같은 감정 표현을 전달하는 것이 매우 중요하다고 강조했다. 그는 좋은 회의 대화에는 토론과 전략적 논의뿐 아니라 이를 뒷받침하는 관계가 있다고 설명했다. 아바타와 그런 경험을 할 수 없다면 그저 질의응답 챗봇에 머문다는 지적이다. 디지털 트윈의 실제 활용 가능성은 개발 중인 구상으로 제시됐으며, 이미 구현된 성과로 단정되지 않았다.

5. 전사 오류가 자동화와 신뢰에 미치는 영향

음성 AI 모델이 개선됐어도, 비서가 사용자의 말을 이해하지 못하거나 회의 기록 도구가 잘못된 전사와 요약을 제공하는 문제는 남아 있다. Wen은 ASR이 중요한 키워드를 놓치는 경우가 많아 전체 맥락을 파악하는 데 문제가 생긴다고 설명했다. Gay도 이에 동의하며, Otter에서 전사는 최종 목적이 아니라 그 위에 생산성 향상을 구축하기 위한 기반이라고 말했다. 최초 전사가 충분히 정확하지 않으면 후속 행동에 오류가 생기고, 잘못된 행동이 실행되는 순간 플랫폼에 대한 신뢰를 잃을 수 있다는 것이다. 그는 이러한 후속 영향 때문에 ASR을 계속 개선하는 일이 중요하며, 언어 역시 음성 모델의 개선이 필요한 영역이라고 밝혔다.

6. 녹음과 AI 사용을 알리는 투명성

새로운 음성 도구의 확산은 대화가 녹음되고 있는지, 상대가 AI인지 사용자에게 알리는 투명성 문제도 제기한다. 기사는 도구가 고객에게 녹음 사실이나 AI와 대화 중이라는 사실을 밝혀야 한다고 설명한다. Otter는 회의 참석자의 신뢰를 얻기 위해, 회의 봇이 없는 상황에서도 채팅으로 모든 참석자에게 녹음 사실을 알리는 방식 등을 시도하려 한다고 밝혔다. 이는 해당 방식이 이미 모든 회의에 적용됐다는 설명이 아니라, 회사가 시도하려는 접근으로 제시됐다. Wen 역시 기업 고객 통화에서 사람들이 AI와 대화하고 있다는 사실을 명확히 하는 것이 중요하다고 강조했다.

🧾 핵심 주장 / 시사점

• 풀듀플렉스는 음성 AI의 중요한 기술적 진전이지만, Wen의 평가에서는 빠른 추론과 실제 문제 해결이 자연스러운 대화 경험을 완성하는 추가 조건이다.
• Otter가 전사를 자동화의 기반으로 보는 만큼, ASR 오류는 기록 단계에 머물지 않고 후속 행동과 플랫폼 신뢰에까지 영향을 미친다.
• 디지털 트윈의 감정 표현은 관계 형성에, AI와 녹음 사실의 고지는 투명성에 연결되며, 두 요소 모두 음성 AI에 대한 신뢰를 얻는 과제로 제시된다.

✅ 액션 아이템

• 음성 AI의 빠른 추론과 답변 검색 개선을 자연스러운 대화 및 고객 서비스 문제 해결과 연결해 검토.
• Otter의 후속 자동화 오류를 줄이기 위한 ASR 정확도와 언어 관련 성능 개선에 집중.
• 기업 고객 통화의 AI 고지와 회의 봇이 없는 상황의 녹음 안내 방식 검토.

❓ 열린 질문

• 풀듀플렉스 모델에 빠른 추론과 답변 검색이 더해지면 음성 AI가 ‘ChatGPT 모멘트’에 도달할 수 있을까?
• Otter의 ASR 정확도 개선은 후속 자동화 오류와 플랫폼 신뢰 상실을 얼마나 줄일 수 있을까?
• 회의 봇이 없는 상황에서 채팅으로 녹음을 알리는 방식은 참석자의 신뢰 형성에 얼마나 기여할 수 있을까?