Introducing next-generation audio models in the API

🖼️ 인포그래픽

Introducing next-generation audio models in the API 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 음성 에이전트 구축을 위해 더 정확한 음성-텍스트 모델과 조절 가능한 텍스트-음성 모델을 API에 출시했다.

📌 핵심 요약

OpenAI는 텍스트 기반 에이전트의 발전 이후, 자연스러운 음성 상호작용이 에이전트의 실용성을 높이는 핵심 요소라고 설명하며 새로운 오디오 모델 제품군을 공개했다.
새 음성-텍스트 모델인 gpt-4o-transcribe와 gpt-4o-mini-transcribe는 기존 Whisper 모델 대비 단어 오류율, 언어 인식, 전사 정확도를 개선했다고 밝혔다.
이 모델들은 억양, 소음이 있는 환경, 다양한 말하기 속도처럼 어려운 조건에서도 음성을 더 잘 포착하고 오인식을 줄여 고객센터, 회의록 작성 등 전사 활용 사례에 적합하다고 소개됐다.
새 텍스트-음성 모델 gpt-4o-mini-tts는 개발자가 말할 내용뿐 아니라 말하는 방식까지 지시할 수 있어, 공감적인 고객 응대 음성이나 창의적 스토리텔링 내레이션 같은 맞춤형 경험을 가능하게 한다.
OpenAI는 오디오 중심 데이터 사전학습, 향상된 증류, 강화학습 중심 접근을 기술적 기반으로 제시했으며, 향후 안전 기준에 맞는 맞춤형 음성과 영상 등 다른 모달리티도 계속 탐색하겠다고 밝혔다.

🧩 주요 포인트

OpenAI는 텍스트 기반 에이전트의 발전 이후, 자연스러운 음성 상호작용이 에이전트의 실용성을 높이는 핵심 요소라고 설명하며 새로운 오디오 모델 제품군을 공개했다.
새 음성-텍스트 모델인 gpt-4o-transcribe와 gpt-4o-mini-transcribe는 기존 Whisper 모델 대비 단어 오류율, 언어 인식, 전사 정확도를 개선했다고 밝혔다.
이 모델들은 억양, 소음이 있는 환경, 다양한 말하기 속도처럼 어려운 조건에서도 음성을 더 잘 포착하고 오인식을 줄여 고객센터, 회의록 작성 등 전사 활용 사례에 적합하다고 소개됐다.
새 텍스트-음성 모델 gpt-4o-mini-tts는 개발자가 말할 내용뿐 아니라 말하는 방식까지 지시할 수 있어, 공감적인 고객 응대 음성이나 창의적 스토리텔링 내레이션 같은 맞춤형 경험을 가능하게 한다.
OpenAI는 오디오 중심 데이터 사전학습, 향상된 증류, 강화학습 중심 접근을 기술적 기반으로 제시했으며, 향후 안전 기준에 맞는 맞춤형 음성과 영상 등 다른 모달리티도 계속 탐색하겠다고 밝혔다.

🧠 상세 정리

1. 음성 상호작용을 에이전트의 다음 단계로 제시

글은 먼저 OpenAI가 최근 몇 달 동안 Operator, Deep Research, Computer-Using Agents, Responses API와 같은 텍스트 기반 에이전트 역량을 발전시켜 왔다고 설명한다. 그러나 에이전트가 실제로 더 유용해지려면 사용자가 텍스트만이 아니라 자연스러운 말로 더 깊고 직관적으로 상호작용할 수 있어야 한다는 문제의식이 제시된다. 이번 발표는 그 흐름 속에서 음성 에이전트를 강화하기 위한 새 오디오 모델 제품군을 API로 제공한다는 내용이다. 즉, 중심 논점은 단순한 음성 기능 추가가 아니라 에이전트와 사람 사이의 상호작용 방식을 더 자연스럽게 만드는 데 있다.

2. 새 음성-텍스트 모델의 정확도와 신뢰성 개선

OpenAI는 gpt-4o-transcribe와 gpt-4o-mini-transcribe라는 새 음성-텍스트 모델을 소개하며, 기존 Whisper 모델과 비교해 단어 오류율과 언어 인식, 정확도가 개선됐다고 밝혔다. 특히 gpt-4o-transcribe는 여러 벤치마크에서 기존 Whisper 모델보다 나은 WER 성능을 보였다고 설명된다. 이러한 개선은 억양이 강한 발화, 소음이 있는 환경, 말하기 속도가 일정하지 않은 상황에서 더 안정적인 전사를 가능하게 하는 점이 강조된다. 글은 이 신뢰성 향상이 고객 콜센터, 회의 노트 전사 등 실제 업무 활용 사례에 중요하다고 연결한다.

3. WER와 다국어 벤치마크를 통한 성능 근거

원문은 음성 인식 모델의 정확도를 평가하는 지표로 단어 오류율, 즉 WER를 설명한다. WER는 기준 전사문과 비교해 잘못 전사된 단어의 비율을 계산하며, 값이 낮을수록 오류가 적고 성능이 좋다는 뜻이다. OpenAI는 최신 음성-텍스트 모델이 FLEURS와 같은 벤치마크에서 낮은 WER를 달성했다고 소개한다. FLEURS는 100개 이상의 언어를 포괄하는 다국어 음성 벤치마크로, 수동 전사된 오디오 샘플을 사용한다는 점에서 언어 범위와 전사 정확도를 함께 보여주는 근거로 제시된다.

4. 말하는 방식까지 지시할 수 있는 텍스트-음성 모델

새 텍스트-음성 모델인 gpt-4o-mini-tts의 핵심 특징은 더 나은 조종 가능성이다. 개발자는 모델에 무엇을 말할지뿐 아니라 어떻게 말할지도 지시할 수 있으며, 원문은 “공감적인 고객 서비스 상담원처럼 말하라”는 예시를 든다. 이 기능은 고객 서비스 음성을 더 공감적이고 역동적으로 만들거나, 창의적 스토리텔링에서 표현력 있는 내레이션을 구현하는 데 활용될 수 있다. 다만 원문은 이러한 텍스트-음성 모델이 인공적인 사전 설정 음성으로 제한되며, OpenAI가 해당 음성이 합성 프리셋과 일관되게 맞는지 모니터링한다고 명시한다.

5. 모델 성능을 뒷받침하는 기술적 방법

기술적 기반으로는 GPT-4o와 GPT-4o-mini 아키텍처 위에 구축된 오디오 모델이 오디오 중심의 특화 데이터셋으로 광범위하게 사전학습됐다는 점이 제시된다. OpenAI는 이러한 타깃 접근이 음성의 미묘한 차이를 더 잘 이해하고 오디오 관련 과제 성능을 높이는 데 중요했다고 설명한다. 또한 가장 큰 오디오 모델의 지식을 더 작고 효율적인 모델로 이전하기 위해 증류 기법을 강화했다고 밝힌다. 여기에 실제 사용자-어시스턴트 상호작용을 모사하는 자기대화 방식의 데이터와, 음성-텍스트 모델의 정확도 및 환각 감소를 위한 강화학습 중심 패러다임이 함께 언급된다.

6. API 제공 범위와 향후 방향

새 오디오 모델들은 모든 개발자에게 제공되며, 이미 텍스트 기반 대화형 경험을 만들고 있는 개발자는 음성-텍스트와 텍스트-음성 모델을 추가해 음성 에이전트를 구축할 수 있다고 설명된다. OpenAI는 Agents SDK와의 통합도 공개해 개발 과정을 단순화한다고 밝혔다. 낮은 지연시간의 음성-음성 경험을 만들려는 개발자에게는 Realtime API의 음성-음성 모델 사용을 권장하며, 업데이트 문구에서는 Realtime API의 일반 제공 발표도 언급된다. 향후에는 오디오 모델의 지능과 정확도를 계속 개선하고, 안전 기준에 맞는 방식으로 개발자가 맞춤형 음성을 가져올 수 있는 방법을 탐색하며, 합성 음성의 기회와 과제에 대해 정책입안자와 연구자, 개발자, 창작자와 대화를 이어가겠다고 밝힌다.

🧾 핵심 주장 / 시사점

이번 발표의 초점은 음성 기능을 별도 도구로 제공하는 데 그치지 않고, 에이전트가 사용자와 더 자연스럽게 상호작용하도록 API 수준에서 음성 입출력을 강화하는 데 있다.
음성-텍스트 모델의 개선은 단순 평균 정확도보다 억양, 소음, 말하기 속도처럼 실제 배포 환경에서 자주 발생하는 어려운 조건을 겨냥하고 있다는 점이 중요하다.
텍스트-음성 모델의 조종 가능성은 음성 에이전트의 개성을 넓히지만, 원문은 이를 인공적인 사전 설정 음성으로 제한하고 모니터링한다고 밝혀 표현력과 안전 통제의 균형을 함께 강조한다.

✅ 액션 아이템

gpt-4o-transcribe와 gpt-4o-mini-transcribe의 오류율·언어 인식·전사 정확도 개선 효과를 고객센터 및 회의록 시나리오에서 기존 Whisper 대비 비교한다.
gpt-4o-mini-tts의 억양·속도·감정 표현 제어 기능을 활용해 공감형 응대와 내레이션 톤에 맞는 음성 지시 방식의 규칙을 정의한다.
소음·억양·발화 속도와 같은 어려운 조건에서 전사 실패 패턴을 수집하고, 적용 가능한 서비스군과 배치 우선순위를 조정한다.