Building with GPT-Live and Image Generation

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

GPT Live로 자연스러운 음성 대화를 이어가면서 복잡한 작업과 이미지 생성을 백엔드에 위임하는 애플리케이션을 구축할 수 있다는 것이 이번 DevDay 시연의 핵심이다.

📌 핵심 요점

1. GPT Live는 오디오를 지속적으로 입출력하는 풀 듀플렉스 모델로 소개된다. 듣기와 말하기를 동시에 수행하며, 별도 음성 활동 감지 모델 없이 대화 개입 시점을 판단한다.
2. 음성 에이전트의 말투·억양·웃음·맞장구·끼어들기·침묵 여부를 프롬프트로 조절할 수 있다. 별도 세션에 사용자 역할과 목표를 부여하면 대화 흐름을 평가하는 상대역으로도 활용할 수 있다.
3. 음성 인터페이스와 작업 실행을 분리하면 백엔드가 그림을 그리거나 상태를 갱신하는 동안에도 대화를 이어갈 수 있다. 그림 맞히기 시연에서는 정답과 힌트를 음성 모델에 미리 제공해 매 추측마다 백엔드에 왕복하지 않도록 했다.
4. 백엔드 정보는 조용히 전달하는 문맥, 실제로 말할 내용, 행동을 바꾸는 지시로 구분한다. 위임 방식은 기존 시스템을 연결하는 client delegation과 OpenAI가 위임을 관리하는 Responses delegation으로 나뉜다.
5. 큰 배경음 속 대화와 마지막 12개 이미지 생성 요청까지 하나의 세션에서 진행했다. 제품 설계의 중심은 백엔드가 처리할 일, UI에 보여줄 내용, 음성 모델이 알고 말할 내용을 정하는 것이다.

🧩 배경과 문제 정의

발표는 GPT Live 1을 애플리케이션에 어떻게 통합할지 설명하는 개발자 시연이다. Alex와 Erika가 음성 에이전트 Marin을 공동 진행자로 참여시키고, 도표와 화면 전환까지 음성으로 제어한다. 구성은 모델의 성격과 대화 방식, 작업 위임, 턴에 종속되지 않는 구조의 세 축이다.

문제의 출발점은 사용자와 어시스턴트가 번갈아 말하는 구조에서 벗어나, 서로 말이 겹치거나 백엔드 작업이 진행되는 상황에서도 대화를 이어가는 것이다. 발표는 음성 모델·UI·백엔드의 역할을 분리하고 필요한 정보를 적절한 형태로 전달하는 방식을 제시한다. 이미지 생성은 이 구조로 연결할 수 있는 도구이자 마지막 시연의 결과물로 등장한다.

🕒 시간순 섹션별 상세정리

1. GPT Live와 음성 공동 진행자 소개

• Alex와 Erika는 GPT Live 1의 특징과 구축 방법을 설명하겠다고 소개하고, 음성 에이전트 Marin을 공동 진행자로 참여시킨다. [00:49]
• 듣기와 말하기를 동시에 수행하는 풀 듀플렉스와 백엔드 작업 중 대화 지속을 보여준다. 도표를 포함한 세션 진행도 음성으로 제어한다고 드러낸다. [01:14]
• 성격, 위임, 턴에 종속되지 않는 구조를 세 가지 시연으로 다루며, 지속적인 오디오 입출력이 기존 턴 중심 모델과 다른 점이라고 보여준다. [01:58]

2. 서로 다른 성격의 음성 에이전트 시연

• 별도 캐릭터 Colin을 불러 무뚝뚝한 영국식 목소리와 성격을 보여주고, Marin과 함께 문장을 이어가는 게임을 진행한다. [02:44]
• 이야기의 전개와 마무리 요청을 주고받으며 서로 다른 반응과 대화 개입을 보여준다. [03:36]
• 발표자는 상대가 말을 끝낼 때까지 기다리지 않고 웃거나 말을 겹치고 끼어들 수 있다는 점을 강조한다. [04:11]

3. 모델이 직접 판단하는 대화 개입과 독립 세션

• GPT Live는 오디오를 출력하면서 다음 행동을 판단하며, 별도 음성 활동 감지 모델 없이 말할 차례를 조절한다고 보여준다. [04:40]
• 짧은 반응과 맞장구, 개입과 기다림을 예로 들며 발화 종료를 추정하는 기존 휴리스틱을 줄일 수 있다고 주장한다. [04:55]
• Colin은 고유한 목소리와 지시를 가진 별도 GPT Live 세션이다. 도구 없는 대화만으로도 코치·튜터·브레인스토밍 상대를 만들 수 있으며, 이런 용도에는 별도 백엔드가 필요하지 않다고 보여준다. [05:22]

4. 별도 세션을 활용한 대화 평가

• 두 번째 세션에 실제 서비스 상황을 바탕으로 서로 다른 성격·목소리·목표를 부여해 애플리케이션의 대화 대응을 평가할 수 있다고 제안한다. [05:51]
• 발표 시연도 같은 방식으로 평가했으며, 상대역 세션은 대화의 자연스러움과 끼어들기의 원활함을 확인하는 리허설 파트너가 될 수 있다고 보여준다. [06:05]

5. 프롬프트로 설계하는 성격과 발화 방식

• 말투, 억양, 맞장구, 웃음, 개입 성향, 방해받았을 때의 인내심과 발화 여부까지 프롬프트로 조절할 수 있다고 보여준다. [06:36]
• 따뜻하고 적극적인 에이전트인지, 사용자의 말을 기다리는 에이전트인지, 특정 주제에서만 말할지 원하는 경험을 정하고 반복 개선하라고 권한다. [06:55]
• Marin에는 때로 공간을 내주고 때로 짧게 개입하도록 지시했다. 매 요청마다 긴 답을 하기보다 말하는 방식과 반응의 질감을 조절하는 것이 중요하다고 정리한다. [07:37]

6. 그림 맞히기 게임으로 보여주는 작업 위임

• 프런트엔드와 백엔드의 역할 분리를 소개하고, 지연과 성격이 잘 드러나는 평가 방식으로 그림 맞히기 게임을 제시한다. [08:10]
• Marin이 게임을 진행하는 동안 관객은 연날리기, 기린, 회전목마를 맞히며 대화에 참여한다. [09:25]
• 백엔드가 그림을 그리고 추측을 확인하는 동안 Marin이 어떻게 계속 대화했는지를 위임 구조로 설명하겠다고 전환한다. [09:35]

7. UI·음성 인터페이스·백엔드의 역할 분리

• 복잡한 요청은 더 강력한 모델이나 에이전트 하네스에 위임하고, 작업 결과를 음성 모델에 돌려줘 말하게 할 수 있다고 보여준다. [10:35]
• 게임은 그림을 보여주는 UI, 대화를 이어가는 음성 인터페이스, Astra 6와 코드 실행으로 그림을 만드는 백엔드로 구성된다. [11:03]
• 정답·힌트·공개 시점을 음성 모델에 제공해 매 추측마다 왕복하지 않도록 한다. 정답 기록과 그림 출력은 백그라운드에서 진행하고, 그림의 진행 정보도 음성 모델에 전달한다. [11:46]

8. 백엔드 정보를 전달하는 세 가지 스트림

• thinking stream에 조용한 문맥 갱신을 보내면 음성 모델이 진행 상황을 알고 있다가 추가 위임 없이 힌트나 상태 질문에 답할 수 있다. [12:15]
• commentary stream에는 실제로 말할 내용을 전달한다. 예시로 백엔드가 계산한 순위와 점수를 음성으로 안내하는 방식을 든다. [12:34]
• instructions stream은 간결하게 말하기나 특정 주제 회피처럼 행동을 바꾼다. 세 방식은 각각 알고 있는 내용, 말할 내용, 행동 방식을 조절한다. [13:07]

9. 진행 안내의 빈도는 제품 설계 문제

• Codex 음성 기능의 내부 사용 과정에서는 진행 안내가 너무 길고 잦다는 불만이 있었다고 보여준다. 긴 작업 중 도구 호출을 반복 설명하는 방식이 예시로 등장한다. [13:28]
• 상태는 백그라운드에서 계속 전달하되, 사용자가 질문하면 현재 상황을 답할 수 있도록 하라고 제안한다. 무엇을 알아야 하는지와 UI에서 이미 보이는 정보를 함께 고려해야 한다. [13:48]

10. 기존 시스템을 연결하는 client delegation

• API의 두 위임 방식 중 client delegation은 기존 에이전트 하네스·텍스트 워크플로·업무 로직을 활용하는 선택지이며, 이번 시연에서 사용한 방식이다. [14:29]
• 음성 인식·텍스트 에이전트·음성 합성으로 이어지는 기존 구성에도 음성 인터페이스로 연결할 수 있다. 원하는 백엔드 모델을 사용할 수 있고 Codex Voice도 이 방식으로 구축됐다고 보여준다. [14:59]
• 애플리케이션은 ID와 타임스탬프가 있는 위임 이벤트를 받고, 대화 기록과 앱 상태로 작업 요청을 구성한다. 결과는 문맥·발화할 내용·지시 중 적절한 형태로 돌려준다. [15:37]

11. 위임 관리를 맡기는 Responses delegation

• Responses API에서 실행할 모델·지시·도구를 설정하면 GPT Live가 대화 문맥을 공급하고 OpenAI가 위임을 관리하는 방식이라고 보여준다. [16:01]
• 함수 호출은 함수 이름과 인자를 받아 애플리케이션이 실행하고 결과를 반환하는 흐름이다. 웹 검색과 이미지 생성 같은 호스팅 도구도 사용할 수 있다. [16:30]
• 기존 모델·하네스·평가 체계를 유지하면서 음성 인터페이스를 추가할 수 있다는 유연성을 강조한다. Marin은 대화를 유지하며 위임하고 세 형태의 업데이트를 받는 구조로 요약한다. [17:15]

12. 큰 배경음 속에서 이어지는 대화

• 배경 오디오를 재생하고 볼륨을 50%로 높인 뒤, 1888년 왁스 실린더 녹음 같은 분위기로 바꾸라고 요청한다. [18:22]
• 큰 소리가 재생되는 동안에도 질문, 요청 변경, 대화 개입, 위임이 이어지는 모습을 보여주며 침묵 감지에 의존하는 방식과의 차이를 주장한다. [18:59]
• 시연을 마치며 배경음 볼륨을 15%로 낮춘다. 이 수치는 시연 내 볼륨 설정이며, 소음 성능의 정량 측정값은 아니다. [19:13]

13. 복잡한 조작을 말로 요청하는 제품 경험

• 사용자가 설정 위치를 몰라도 원하는 변화를 말로 요청할 수 있다는 점을 강조한다. 세부 음향 효과 같은 기능의 접근성을 높이는 사례로 보여준다. [19:46]
• 음성은 사용자의 의도를 풍부하게 전달할 수 있으며, 모델은 침묵을 기다리기보다 계속 들으면서 발화·청취·도구 호출을 판단한다고 보여준다. [20:11]
• 공항의 스피커폰, 제조 시설, 여러 사람이 말하는 차 안 같은 환경을 예로 든다. 음성 모델이 대화를 유지하는 동안 백엔드는 요청을 해석하고 제어 작업을 수행하는 구상이다. [20:34]

14. 이미지 생성과 전체 세션의 마무리

• Marin에게 세계를 여행하는 DevDay 캐릭터 이미지 12개를 요청하고, 이후 생성된 이미지 배열을 보여준다. 구체적인 이미지 모델 이름은 밝히지 않는다. [21:15]
• 하나의 세션에서 게임, 이미지 생성, 오디오 제어, 다른 음성 세션 참여를 진행했다고 돌아본다. 백엔드의 일, UI의 표시 내용, 음성 모델이 알고 말할 내용을 정하는 설계가 일관되게 필요했다고 정리한다. [21:38]
• Codex에서 OpenAI Developer plugin과 GPT Live Starter app을 활용해 구축을 시작하라고 안내하고, Marin과 발표자들의 인사로 마무리한다. [22:21]

🧾 결론

• 자연스러운 음성 경험은 응답 문장뿐 아니라 언제 말하고, 기다리고, 끼어들지를 설계하는 문제다.
• 대화와 작업 실행을 분리하면 복잡한 작업이 진행되는 동안에도 사용자와의 상호작용을 유지할 수 있다.
• 기존 에이전트와 평가 체계를 유지하면서 음성 인터페이스를 추가하는 경로가 제시됐다.
• 이미지 생성은 음성 대화에서 백엔드 도구를 호출하고 결과를 다시 대화로 연결하는 활용 사례로 등장한다.

📈 투자·시사 포인트

• 제품 관점에서는 음성 인터페이스가 복잡한 설정의 접근성을 높일 가능성이 있다. 사용자가 메뉴 위치를 몰라도 원하는 변화를 말로 요청하는 시연이 이를 보여준다.
• 도입 관점에서는 기존 모델·에이전트 하네스·평가 체계를 유지할 수 있는 연결 방식이 전환 부담을 줄이는 요소다. 실제 비용 절감 규모는 영상에서 제시하지 않는다.
• 경쟁력 평가에서는 음성의 자연스러움과 함께 문맥 전달, 작업 위임, UI 연동을 조율하는 애플리케이션 설계를 살펴볼 필요가 있다.
• 영상은 구현 방식과 시연을 중심으로 하며, 시장 규모·매출·가격·수익성 자료를 제공하지 않아 특정 투자 판단을 직접 뒷받침하지는 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 배경음에 흔들리지 않는다는 설명은 현장 시연에 근거한다. 소음 종류·음량·마이크 조건별 정량 평가나 다른 모델과의 비교 결과는 제시되지 않았다.
• 가장 빠르고 새로운 음성·이미지 모델이라는 발표 표현은 있지만, 지연시간 수치와 측정 조건은 제공되지 않았다.
• API 가격, 이용 가능 범위, 세션 제한, 동시 위임 수, 실패·취소·재시도 처리는 설명되지 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 적용할 서비스에서 음성 모델이 맡을 대화와 백엔드가 맡을 작업을 구분하고, UI에 표시할 상태를 함께 정리한다.
• 기존 에이전트 하네스를 연결할지, Responses API를 통해 위임을 관리할지 두 방식의 요구사항을 비교한다.
• 백엔드 이벤트를 문맥 갱신·발화할 내용·행동 지시로 나누고, 사용자에게 알릴 업데이트의 빈도와 길이를 정한다.
• 말투와 개입 성향이 다른 사용자 역할 세션을 만들어 끼어들기, 맞장구, 침묵, 작업 중 대화 흐름을 평가한다.

❓ 열린 질문

• 어떤 문맥을 미리 전달해야 음성 모델이 빠르게 답하면서도 작업 상태를 정확히 설명할 수 있을까?
• 사용자에게 유용한 진행 안내와 지나치게 잦은 개입을 가르는 기준은 무엇일까?
• 여러 위임 작업이 동시에 실행되거나 사용자가 요청을 바꿀 때 상태와 결과를 어떻게 조율해야 할까?