Design and replicate voices with Gemini 3.8 Flash TTS

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Gemini 3.8 Flash TTS는 설명으로 새 목소리를 설계하고 짧은 녹음으로 음성을 복제하며, 만든 목소리를 API와 다중 화자 콘텐츠 제작에 재사용하는 흐름을 제시한다.

📌 핵심 요점

1. 음성 설계와 복제가 핵심 변화다. 발표자는 Google AI Studio에서 약 20초의 녹음으로 자신의 목소리를 복제했다고 설명하고, 자연어 설명으로 새로운 목소리를 만드는 Voice Design을 시연한다.
2. 목소리의 특성을 구체적으로 지정할 수 있다. 나이대, 성별, 에너지, 지역 억양을 조합해 아르헨티나 팟캐스트 진행자 목소리를 만든다. 세 가지 샘플을 생성하는 과정에서 하나는 실패해 두 가지만 비교한다.
3. 설계한 억양은 다른 언어에도 이어질 수 있다. 아르헨티나 스페인어 억양으로 만든 목소리가 독일어를 읽을 때도 스페인어 계열 억양을 유지하는 사례를 보여준다.
4. 음성 제작부터 팟캐스트 생성까지 API로 연결한다. 계정의 설계·복제 음성과 사전 제작 음성을 조회하고, 주제 조사·두 진행자의 대본 작성·음성 생성을 묶은 도구로 더블린 역사 팟캐스트를 만든다.
5. 모델 선택과 연동 환경도 함께 소개한다. 영상은 Flash TTS를 표현력과 언어 지원 중심으로, Flash-Lite TTS를 대량 생성과 비용 효율 중심으로 설명하며 Agora·LiveKit·Pipecat·Vercel 연동을 언급한다.

🧩 배경과 문제 정의

영상은 기존 TTS가 소수의 사전 설정 음성 중 하나를 고르는 방식에 머물러 개인적인 목소리를 구현하기 어려웠다는 문제에서 출발한다. 이에 대한 변화로 Gemini의 음성 설계와 음성 복제를 소개한다.

시연의 중심 질문은 원하는 목소리를 어떻게 만들고, 다른 언어와 실제 콘텐츠 제작에 어떻게 재사용할 것인가다. Google AI Studio의 음성 생성에서 시작해 API 음성 조회, 사전 제작 음성 탐색, 두 진행자의 팟캐스트 생성으로 범위를 넓힌다. 마지막에는 표현력·언어 지원과 대량 생성 비용에 따른 모델 선택 및 파트너 연동을 설명한다.

🕒 시간순 섹션별 상세정리

1. 기존 TTS에서 음성 설계·복제로 확장

• 기존 TTS의 제한된 사전 설정 음성을 배경으로, Gemini의 주요 변화인 Voice Design과 Voice Replication을 보여준다. [00:23]
• 발표자는 앞서 들린 목소리를 Google AI Studio에서 약 20초의 녹음으로 복제했다고 보여준다. [00:35]
• AI Studio 안에서 자신의 목소리를 복제하거나 Voice Design으로 새로운 목소리를 생성하는 두 경로를 제시한다. [01:02]

2. 설명으로 아르헨티나 진행자 목소리 만들기

• 높은 에너지, 20대 중반 여성, 부에노스아이레스 지역의 강한 아르헨티나 스페인어 억양을 가진 진행자라는 조건을 입력한다. [01:35]
• 프롬프트를 더 상세하게 다듬은 뒤 음성과 예시 문장을 생성한다. 세 샘플 중 첫 번째 생성이 실패해 두 가지 결과를 비교한다. [02:16]
• 두 결과 모두 에너지가 높고, 두 번째는 말이 빠르다고 평가한다. 발표자는 스페인어 내용을 이해하지 못한다고 밝힌 뒤 사용할 목소리를 선택한다. [02:54]

3. 언어를 바꿔도 이어지는 억양 확인

• 아르헨티나 스페인어 억양으로 설계한 목소리에 독일어 시를 읽히며, 원래의 음성 조건이 다른 결과를 만들 수 있다고 보여준다. [03:15]
• 낭독 후 독일어에서도 스페인어 계열 억양이 들린다고 평가하며, 특정 억양으로 설계한 음성은 다른 언어에서도 그 특성을 유지할 수 있다고 강조한다. [03:55]
• 생성한 목소리를 API에서도 재사용하는 단계로 넘어간다. [04:02]

4. 개발 환경에서 계정 음성 조회하기

• Antigravity IDE로 이동해 Gemini API 개발 스킬 설치를 권한다. API와 음성 API 사용법, 프롬프트 작성 지침을 코딩 에이전트에 제공하는 용도로 보여준다. [04:52]
• 설계·복제 음성을 조회하는 Python 스크립트를 만들고, Google Gen AI Python 클라이언트와 .env 파일의 API 키를 준비한다. [06:21]
• uv를 이용한 실행 과정을 거쳐 음성 목록을 확인한다. 시연 계정에는 프롬프트로 만든 음성 22개와 복제 음성이 있다고 보여준다. [07:30]

5. 사전 제작 음성 탐색과 다중 화자 도구 구성

• 계정에서 만든 목소리를 확인한 뒤 확장 음성 라이브러리 조회 스크립트를 추가한다. 성별, 키워드, 일본어 음성 등으로 필터링하는 예를 보여준다. [08:24]
• 다중 화자 대화와 맞장구 기능을 소개하고, 주제를 받으면 Gemini 3.8 Flash로 조사하고 두 진행자의 대본을 쓰는 팟캐스트 생성 도구를 요청한다. [09:32]
• 영국 영어 여성과 아일랜드 남성 진행자를 지정한다. 코딩 에이전트가 API로 음성을 조회하고 필요한 작업을 수행해 생성 스크립트를 완성하는 흐름을 보여준다. [10:19]

6. 더블린 역사 팟캐스트 생성과 청취

• 완성된 도구에서 대본 미리보기, 특정 음성 지정, 대화 길이 설정을 소개하고 더블린 역사를 주제로 입력한다. [11:07]
• 모델이 주제를 조사하고 진행자별 대본과 구간별 스타일을 구성한 뒤 음성을 생성한다. 이어 더블린의 역사와 지명을 다루는 대화를 재생한다. [12:24]
• 약 3분 분량의 다중 화자 대화가 빠르게 만들어졌다고 평가한다. 다만 여성 진행자의 영국식 억양은 더 적절한 음성을 찾아볼 필요가 있다고 드러낸다. [12:51]

7. 모델 선택과 파트너 연동으로 마무리

• Gemini 3.8 Flash TTS는 표현력과 언어 지원을, Flash-Lite TTS는 대량 음성 생성과 비용 효율을 중심으로 보여준다. Lite는 지원 언어가 상대적으로 적다고 보여준다. [13:25]
• 벤치마크는 블로그에서 확인할 수 있다고 안내하고, Agora·LiveKit·Pipecat·Vercel 프레임워크 연동을 언급한다. [13:50]
• 이러한 연동이 모델 도입을 빠르게 돕는다고 설명하며 Gemini-TTS로 만들 결과물에 대한 기대와 함께 영상을 끝낸다. [14:04]

🧾 결론

• 영상이 보여주는 변화는 정해진 음성 선택지를 고르는 데서, 원하는 목소리를 설계하거나 복제해 재사용하는 방식으로의 확장이다.
• 음성의 개성은 언어를 바꿔도 이어질 수 있으므로, 목표 언어와 지역 억양을 함께 고려해야 한다.
• 실제 콘텐츠 제작에서는 음성 생성뿐 아니라 조사, 대본, 화자별 스타일 지정, 결과 청취를 연결하는 작업 흐름이 중요하다.
• 샘플 생성 실패와 영국식 억양 재선정 필요성이 드러난 만큼, 생성 결과를 듣고 수정하는 단계가 남는다.

📈 투자·시사 포인트

• 콘텐츠 제작 도구의 연결 범위가 넓어진다. 주제 입력에서 조사·대본·다중 화자 음성까지 이어지는 시연은 팟캐스트 제작 과정의 여러 단계를 한 도구로 묶는 활용 방향을 보여준다.
• 사용 목적에 따른 모델 선택이 중요해진다. 표현력·언어 지원과 대량 생성 비용 사이의 선택을 제시하지만, 영상에는 실제 가격이나 동일 조건의 비용 비교가 없다.
• 연동 편의성이 도입 판단 요소가 된다. 기존 프레임워크에서 음성 모델을 사용할 수 있다는 소개는 개발자가 현재 작업 환경에 기능을 연결하는 경로를 보여준다.
• 품질 검수가 운영 비용을 좌우할 수 있다. 생성 실패, 언어 간 억양 유지, 원하는 지역 억양과의 차이는 재생성 및 검수 시간을 함께 평가해야 할 이유다.

⚠️ 불확실하거나 확인이 필요한 부분

• 모델 명칭, 제공 범위, 지원 언어, 가격과 벤치마크는 영상의 설명만으로 확정하기 어렵다. 특히 Flash와 Flash-Lite의 차이는 정량 수치 없이 소개된다.
• 약 20초의 녹음으로 복제했다는 사례에는 녹음 환경, 입력 품질, 반복 실험 결과가 제시되지 않아 일반적인 복제 품질을 판단하기 어렵다.
• Voice Design 샘플 하나가 실패했지만 원인이나 실패 빈도는 설명되지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 목표 언어, 지역 억양, 말하기 속도, 에너지를 명시한 음성 설명을 만들고 생성된 샘플을 비교한다.
• 같은 목소리로 목표 언어별 문장을 읽혀 억양 유지가 콘텐츠 목적에 적합한지 확인한다.
• Google AI Studio에서 만든 음성이 API 목록에 나타나는지 확인하고, 설계·복제·사전 제작 음성을 구분해 조회한다.
• 다중 화자 콘텐츠는 대본을 먼저 검토한 뒤 화자별 목소리와 구간별 스타일을 지정하고 결과를 청취한다.

❓ 열린 질문

• 같은 목소리를 여러 언어로 사용할 때 지역 억양을 유지하거나 완화하는 정도를 얼마나 조절할 수 있을까?
• 녹음 길이와 품질이 달라지면 음성 복제의 유사성과 안정성은 어떻게 변할까?
• Flash-Lite의 비용 이점은 재생성 및 검수 시간을 포함해도 유지될까?