🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈AI는 음성을 단일 모델로 직접 처리하는 리얼타임 API를 정식 출시하고, 자연스러운 발화·지시 준수·도구 호출 능력을 강화한 지피티 리얼타임과 원격 엠시피, 이미지 입력, 전화 연결 등 프로덕션용 기능을 공개했다.

📌 핵심 요약

• 리얼타임 API는 음성 인식과 음성 합성을 여러 모델로 연결하는 대신 하나의 모델과 API에서 음성을 직접 처리해 지연을 줄이고 발화의 뉘앙스를 보존한다.
• 새 모델 지피티 리얼타임은 복잡한 지시 이행, 다국어 전환, 영숫자 식별, 비언어적 단서 이해, 자연스럽고 표현력 있는 음성 생성 능력이 향상됐다.
• 내부 평가에서 지피티 리얼타임은 오디오 추론 82.8%, 지시 준수 30.5%, 함수 호출 66.5%를 기록해 2024년 12월 이전 모델보다 높은 성능을 보였다.
• 리얼타임 API에는 원격 엠시피 서버 연결, 이미지·사진·스크린샷 입력, 세션 개시 프로토콜을 통한 전화 연결, 비동기 함수 호출과 대화 문맥 제어가 추가됐다.
• 서비스는 모든 개발자에게 제공되며 이전 미리보기 모델보다 가격이 20% 낮아졌고, 능동형 분류기·개발자 가드레일·인공지능 상호작용 고지·사전 설정 음성 등의 안전장치를 적용한다.

🧩 주요 포인트

1. 리얼타임 API는 음성 인식과 음성 합성을 여러 모델로 연결하는 대신 하나의 모델과 API에서 음성을 직접 처리해 지연을 줄이고 발화의 뉘앙스를 보존한다.
2. 새 모델 지피티 리얼타임은 복잡한 지시 이행, 다국어 전환, 영숫자 식별, 비언어적 단서 이해, 자연스럽고 표현력 있는 음성 생성 능력이 향상됐다.
3. 내부 평가에서 지피티 리얼타임은 오디오 추론 82.8%, 지시 준수 30.5%, 함수 호출 66.5%를 기록해 2024년 12월 이전 모델보다 높은 성능을 보였다.
4. 리얼타임 API에는 원격 엠시피 서버 연결, 이미지·사진·스크린샷 입력, 세션 개시 프로토콜을 통한 전화 연결, 비동기 함수 호출과 대화 문맥 제어가 추가됐다.
5. 서비스는 모든 개발자에게 제공되며 이전 미리보기 모델보다 가격이 20% 낮아졌고, 능동형 분류기·개발자 가드레일·인공지능 상호작용 고지·사전 설정 음성 등의 안전장치를 적용한다.

🧠 상세 정리

1. 프로덕션용 리얼타임 API의 정식 출시

오픈AI는 공개 베타 이후 수천 명의 개발자에게 받은 피드백을 반영해 리얼타임 API를 정식 출시했다. 이번 업데이트는 실제 서비스에 음성 에이전트를 배포할 때 필요한 신뢰성, 낮은 지연, 높은 응답 품질을 중심으로 구성됐다. 기존 방식은 음성 인식, 언어 처리, 음성 합성을 여러 모델과 단계로 연결하지만, 리얼타임 API는 하나의 모델과 API에서 오디오를 직접 이해하고 생성한다. 이에 따라 단계 사이의 지연을 줄이고 말투와 감정 같은 음성의 미묘한 정보를 더 잘 보존하며, 사용자에게 자연스럽고 표현력 있는 응답을 제공하도록 설계됐다. 원격 엠시피 서버, 이미지 입력, 세션 개시 프로토콜 기반 전화 연결도 지원해 에이전트가 활용할 수 있는 도구와 문맥의 범위를 넓혔다.

2. 지피티 리얼타임의 자연스러운 음성과 이해 능력

지피티 리얼타임은 고객 지원, 개인 비서, 교육처럼 실제 음성 에이전트가 수행하는 업무를 고려해 고객들과 긴밀히 협력하며 훈련한 프로덕션용 음성 대화 모델이다. 모델은 사람과 비슷한 억양, 감정, 속도를 표현하며 빠르고 전문적으로 말하거나 공감하는 태도와 특정 억양으로 말하라는 세밀한 지시도 따를 수 있다. 웃음 같은 비언어적 단서를 포착하고, 한 문장 안에서 언어를 전환하며, 상황에 따라 간결하고 전문적인 어조 또는 친절하고 공감적인 어조로 조정할 수 있다. 전화번호나 차량 식별 번호 같은 영숫자 배열도 스페인어, 중국어, 일본어, 프랑스어 등에서 이전보다 정확하게 감지한다. 자연스러운 발화 개선이 가장 크게 반영된 새 음성 마린과 세더가 리얼타임 API 전용으로 추가됐으며, 기존 여덟 개 음성도 같은 개선의 혜택을 받는다.

3. 추론과 지시 준수 성능의 향상

지피티 리얼타임은 오디오 입력을 직접 이해하면서 복잡한 추론과 세밀한 행동 지시를 수행하는 능력이 이전 모델보다 향상됐다. 고난도 추론 문제를 오디오 영역으로 옮긴 빅 벤치 오디오 평가에서 정확도 82.8%를 기록해 2024년 12월 모델의 65.6%를 넘어섰다. 또한 개발자가 지정한 말하기 방식, 특정 상황에서 말해야 할 내용, 수행하거나 피해야 할 행동과 같은 작은 지시도 더 강한 신호로 반영하도록 개선됐다. 다중 대화에서 지시 준수, 문맥 관리, 문맥 내 추론을 함께 평가하는 멀티챌린지 오디오에서는 30.5%를 기록했으며, 이전 모델의 20.6%보다 높았다. 이런 개선은 면책 문구를 정확히 읽거나 영숫자를 그대로 반복하고 문장 도중 언어를 자연스럽게 바꾸는 실제 업무 사례에 초점을 맞춘 결과다.

4. 정확하고 끊김 없는 도구 호출

프로덕션 음성 에이전트가 유용하게 작동하려면 대화를 잘하는 것뿐 아니라 필요한 순간에 올바른 도구를 정확한 인수로 호출해야 한다. 오픈AI는 관련 함수 선택, 적절한 호출 시점 판단, 올바른 인수 구성이라는 세 가지 측면에서 지피티 리얼타임의 함수 호출 능력을 개선했다. 다단계 호출, 제약 조건과 암시적 매개변수에 대한 추론, 매우 긴 입력 처리를 평가하는 컴플렉스 펑크 벤치 오디오에서 새 모델은 66.5%를 기록해 이전 모델의 49.7%를 상회했다. 장시간 실행되는 함수의 결과를 기다리는 동안에도 대화를 계속할 수 있도록 비동기 함수 호출 기능도 강화됐다. 이 기능은 모델에 기본으로 포함되므로 개발자가 별도로 코드를 변경하지 않아도 함수 실행이 세션의 대화 흐름을 중단하지 않는다.

5. 원격 엠시피와 이미지·전화 입력 확장

개발자는 세션 설정에 원격 엠시피 서버의 주소를 전달하는 방식으로 리얼타임 API에 외부 도구를 연결할 수 있다. 서버가 연결되면 API가 도구 호출을 자동으로 처리하므로 각 연동을 애플리케이션에서 일일이 직접 구성할 필요가 줄어든다. 다른 엠시피 서버를 지정하면 해당 서버의 도구를 곧바로 에이전트의 기능으로 활용할 수 있어 확장 방식도 단순해졌다. 이미지 입력 지원을 통해 음성이나 텍스트와 함께 사진, 이미지, 스크린샷을 세션에 추가하고 사용자가 보고 있는 장면이나 화면의 글자를 바탕으로 대화할 수 있다. 이미지는 실시간 영상처럼 지속적으로 전달되지 않고 대화에 사진 한 장을 추가하는 방식으로 취급되며, 애플리케이션이 어떤 이미지를 언제 공유할지 통제한다. 세션 개시 프로토콜을 통한 전화 연결도 추가돼 리얼타임 음성 에이전트를 전화 통화 환경에 연동할 수 있다.

6. 안전장치와 가격·이용 조건

리얼타임 API는 오용을 막기 위한 여러 단계의 보호 조치를 적용하며, 세션에 능동형 분류기를 사용해 유해 콘텐츠 지침을 위반한 것으로 감지된 일부 대화를 중단할 수 있다. 개발자는 에이전트 소프트웨어 개발 도구의 가드레일 기능을 이용해 서비스에 별도의 안전 규칙을 추가할 수 있다. 사용 정책은 스팸, 기만과 기타 유해한 목적으로 결과물을 재가공하거나 배포하는 행위를 금지하며, 문맥상 명백한 경우가 아니라면 사용자가 인공지능과 상호작용하고 있음을 알려야 한다. 타인 사칭 위험을 줄이기 위해 임의의 음성 복제 대신 사전 설정된 음성을 사용한다. 정식 리얼타임 API와 지피티 리얼타임은 모든 개발자에게 제공되며, 가격은 이전 미리보기 모델보다 20% 낮은 오디오 입력 토큰 100만 개당 32달러, 캐시 입력 토큰 100만 개당 0.40달러, 오디오 출력 토큰 100만 개당 64달러다. 개발자는 지능형 토큰 한도와 여러 대화 차례의 일괄 절단을 설정해 긴 세션의 문맥과 비용도 세밀하게 관리할 수 있다.

🧾 핵심 주장 / 시사점

• 이번 발표의 핵심은 음성 인식과 합성을 연결하는 다단계 구조를 단일 음성 대화 모델로 통합해 지연, 뉘앙스 보존, 자연스러운 발화를 함께 개선한 데 있다.
• 성능 개선은 단순한 음질 향상에 그치지 않고 복잡한 지시 준수, 다국어·영숫자 이해, 적절한 함수 선택과 인수 구성처럼 실제 업무 수행에 필요한 능력에 집중돼 있다.
• 원격 엠시피, 이미지 입력, 전화 연결, 비동기 함수 호출, 문맥 비용 제어와 안전장치가 함께 제공되면서 리얼타임 API는 시연용 대화 기능보다 실제 운영 가능한 음성 에이전트 구축에 초점을 맞췄다.

✅ 액션 아이템

• 단일 모델 기반 리얼타임 음성 처리로 기존 멀티모델 ASR/TTS 파이프라인 대체 후보를 정하고 지연·뉘앙스 보존 개선을 실측한다.
• 내부 평가지표(오디오 추론 82.8, 지시 준수 30.5, 함수 호출 66.5)와 2024년 12월 이전 대비 성능 향상을 바탕으로 적용 우선순위를 정한다.
• 원격 엠시피, 이미지 입력, 전화 연결, 비동기 함수 호출을 포함한 프로덕션 음성 에이전트 구성을 정립하고 가격 20% 인하와 안전장치 반영 범위를 정한다.

❓ 열린 질문

• 운영 환경에서 단일 모델 리얼타임 방식이 다국어 전환과 영숫자 식별까지 안정적으로 유지될 가능성은 어느 정도인가?
• 오디오 추론 82.8, 지시 준수 30.5, 함수 호출 66.5 수치로 복잡 지시 이행 시 신뢰 기준을 충족할 수 있다고 판단할 수 있는가?
• 비언어 단서 이해와 문맥 제어가 필요한 경우, 능동형 분류기·개발자 가드레일·AI 상호작용 고지는 어떤 사용자 흐름에 의무 적용할 것인가?