보이스클론을 잘하는 오픈소스 TTS 모델 5가지 비교 분석! (일관성 있는 음성을 생성하기 위한 꿀팁까지!)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

오픈소스 TTS 5종의 보이스클론 비교에서 발표자는 Fish Audio S2 Pro를 가장 선호했으며, 일관된 음성을 만드는 핵심으로 깨끗한 참조 음성·정확한 대본·모델에 맞는 입력 길이를 강조했다.

📌 핵심 요점

1. 제로샷 보이스클로닝은 짧은 실제 녹음을 바탕으로 별도 훈련 없이 새 문장을 생성하는 방식이다. 발표자는 참조 음성과 참조 대본을 함께 활용하는 인컨텍스트 러닝(ICL)을 우선 추천한다.
2. 입력 데이터는 조용한 환경, 고정된 마이크, 동일한 화자와 공간을 기준으로 준비한다. 실제 발화에 맞는 대본을 붙이고, 활용 분야의 표현·숫자·평소 말투를 포함하도록 권한다.
3. 참조 음성 길이는 결과에 큰 영향을 준다. 일부 모델에서는 18초보다 약 3분 입력을 더 좋게 평가했지만, 전사에서 ‘오디오 에잇’으로 불린 모델은 긴 입력에서 문장 생성이 무너졌다.
4. 발표자의 청취 선호는 Fish Audio S2 Pro가 가장 높았다. 다만 다른 참조 음성을 쓰면 순위가 바뀔 수 있으며, 음성 임베딩의 코사인 유사도는 참고 지표로만 보라고 강조한다.
5. 감정별 참조 음성을 따로 준비하거나, 생성 결과 중 직접 듣고 선별한 음성을 다시 참조 입력으로 활용하는 방법을 제안한다. LoRA 파인튜닝은 데이터와 GPU 부담이 큰 추가 선택지로 소개한다.

🧩 배경과 문제 정의

콘텐츠 자동화에서 보이스클론은 목소리가 비슷하다는 이유만으로 바로 활용하기 어렵다. 생성 문장의 발음이나 음색이 어색할 수 있고, 유료 서비스는 반복 생성 비용이 부담이 된다. 발표자는 자신의 녹음을 이용해 오픈소스 TTS 5종을 비교하면서, 모델 선택과 참조 데이터 준비가 결과에 미치는 영향을 설명한다.

비교의 중심은 별도 학습 없이 참조 음성으로 새 문장을 만드는 방식이다. 짧은 녹음과 긴 녹음, 참조 대본의 결합, 입력 모드 차이를 들어보고 마지막에는 감정별 자료 준비, 생성 음성 선별, 파인튜닝까지 확장한다. 다만 전사에는 모델명 표기와 입력 길이에 혼선이 있어, 비교 결과는 발표자의 조건부 청취 평가로 읽어야 한다.

🕒 시간순 섹션별 상세정리

1. 콘텐츠 자동화에서 보이스클론이 어려운 이유

• 내 목소리와 비슷해도 생성 문장의 발음과 음색이 어색하면 그대로 쓰기 어렵고, 유료 서비스는 반복 생성 비용이 부담이라고 문제를 제기한다. [00:17]
• 무료 오픈소스 모델 5개를 자신의 목소리로 시험하고 참조 음성과 데이터 준비 팁을 공유하겠다고 보여준다. [00:39]

2. 프리셋·보이스 디자인·제로샷의 구분

• 프리셋은 모델에 준비된 목소리를 고르는 방식이고, 보이스 디자인은 조건을 부여해 실제 인물과 다른 새 목소리를 만드는 방식으로 보여준다. [01:51]
• 제로샷 보이스클로닝은 실제 녹음을 짧게 제공하고 별도 훈련 없이 같은 사람처럼 새 문장을 말하게 하는 방식이다. [02:27]

3. 유료 서비스와 품질 중심의 선택

• 서비스 사례를 통해 짧은 오디오를 사용하는 인스턴트 클론과 더 많은 자료를 활용하는 프로페셔널 클론을 구분하고, 자신은 과거 8시간의 음성으로 서비스를 만들었다고 드러낸다. [03:35]
• 브랜드와 정체성에 품질 문제가 생기면 곤란한 경우에는 유료 서비스를 먼저 쓰는 선택을 권한 뒤, 오픈소스 활용으로 논의를 옮긴다. [04:04]

4. ICL을 우선 추천하는 이유와 준비 도구

• 스피커 임베딩·ICL·파인튜닝을 소개하고, 파인튜닝은 GPU와 수 시간의 데이터가 필요하며 한국어 로컬 작업도 어렵다는 경험을 들어 ICL을 추천한다. [04:51]
• 음성 전처리와 자르기에 FFmpeg를 활용하고, 음성 파일과 대본을 준비해 코딩 도구에 ICL 방식의 클론 작업을 요청하는 흐름을 보여준다. [05:33]

5. 세 가지 입력과 파인튜닝의 위치

• 참조 음성, 참조 대본, 새로 말할 문장이 함께 입력돼 클론 음성이 출력된다고 보여준다. [06:14]
• Qwen 계열의 SFT와 Vox CPM2의 LoRA 지원을 언급하고, 파인튜닝을 시도한다면 과거 경험을 근거로 Vox CPM 계열을 선호한다고 드러낸다. [07:29]

6. 일관된 녹음과 활용 분야에 맞는 대본

• 노이즈가 없고 마이크가 고정된 환경에서 일관되게 발화하며, 실제 발화에 맞는 대본을 준비해야 한다고 강조한다. [07:55]
• 자동화할 텍스트와 비슷한 표현, 평소 말투, 숫자를 참조 대본에 넣고, 감정 연기가 필요하면 감정별로 별도 녹음해 입력을 분기하라고 제안한다. [08:58]

7. 비교 음성과 모델별 입력 조건

• 과거 유튜브 영상에서 잘라낸 약 18초와 약 3분 음성을 참조 자료로 사용하고, 원래 발화의 텍스트도 함께 제공한다고 보여준다. [09:43]
• 5개 모델의 음성을 비교하되 입력 오디오 길이에 따라 품질이 크게 달라진다고 강조하고, 프리셋 전용이라고 설명한 모델은 비교에서 제외한다. [10:53]

8. 스피커 임베딩과 ICL 비교

• 같은 예문을 들려준 뒤 해당 비교에서는 스피커 임베딩 방식이 좋지 않았다고 평가하고, 참조 음성과 대본을 결합하는 ICL을 추천한다. [11:51]
• 실제 음성과의 코사인 유사도를 Microsoft의 음성 임베딩 모델로 계산했다고 설명하지만, 전사에는 정확한 모델명이나 점수가 제시되지 않는다. [12:05]

9. Vox CPM2의 참조 모드와 이어 말하기

• Vox CPM2에서 레퍼런스 모드와 이어 말하기 방식의 출력 차이를 시연한다. [13:13]
• 이어 말하기에는 무음을 제거한 참조 음성의 빠른 말속도가 반영된 것 같다고 보고, 자신의 음색과 음역대에는 레퍼런스 모드가 더 비슷했다고 평가한다. [13:49]

10. 18초와 약 3분 참조 음성의 차이

• 입력 오디오에 따른 편차가 크므로 유사도 숫자보다 직접 듣는 판단을 중시하라고 말하고, 18초와 180초 입력을 비교한다. [14:47]
• 앞선 모델과 Vox CPM2의 길이별 출력을 들려준 뒤 긴 음성을 넣었을 때 더 비슷하거나 듣기 편했다고 평가한다. [15:58]

11. 더 무거운 모델의 발화 특성

• 전사에서 ‘익스 TTS3’ 등으로 표기된 모델의 두 출력을 들려주고, 빠른 참조 음성에도 비교적 천천히 안정적으로 발화하는 느낌이라고 보여준다. [16:46]
• PC 자원과 청취 품질을 함께 고려하고, 음성 유사도 임베딩 결과를 절대적으로 믿지 말라고 다시 강조한다. [17:09]

12. 긴 입력에서 실패한 모델과 Fish Audio 평가

• ‘오디오 에잇’은 긴 참조 음성에서 새 문장 내용이 무너지는 사례를 보였으며, 발표자는 이를 짧은 컨텍스트 길이 때문이라고 설명하고 비교에서 탈락시킨다. [18:08]
• Fish Audio S2 계열을 가장 선호한다고 말하면서, S2 Pro는 큰 모델이고 2.1은 API로 제공되지만 오픈소스로 제공되지 않는다고 구분한다. [18:57]
• Fish Audio의 두 출력을 시연하기 직전에는 참조 길이를 18초와 30초라고 보여준다. [19:24]

13. 조건부 선호 순위와 길이 재시험

• S2 Pro를 첫 번째로 추천하지만 순위는 자신의 참조 음성 조건에 따른 것이며, 입력이 바뀌면 평가도 달라질 수 있다고 강조한다. [19:54]
• 약 3분을 중심으로 길이를 실험하되 더 긴 입력은 GPU를 더 사용할 수 있다고 설명하고, ‘오디오 에잇’의 30초 입력은 조금 나아졌어도 최종적으로 선호하지 않는다고 평가한다. [20:56]

14. 고품질 데이터와 감정별 참조 자료

• 음성의 양보다 고품질 데이터가 중요하다며, 화자가 섞이지 않고 같은 공간에서 녹음한 자료를 강조하고 자신의 최종 선호는 S2 Pro라고 정리한다. [21:39]
• 나레이션과 성우처럼 감정을 표현하는 자동화를 구분하고, 후자는 감정 태그별로 여러 참조 오디오를 만들어 실험하라고 권한다. [22:04]

15. 사람이 선별한 생성 음성을 다시 참조로 활용

• AI 생성 음성을 직접 듣고 만족스러운 결과만 모아 다시 참조 오디오로 넣는 방법을 제안한다. 예를 들어 10개 중 마음에 드는 7개만 선별해 활용하는 방식이다. [23:01]
• 생성 음성의 일관성을 재활용하면 안정적인 클론 운영에 도움이 될 수 있다는 자신의 활용 팁을 보여준다. [23:17]

16. LoRA의 조건과 마지막 실행 우선순위

• ICL이 만족스럽지 않으면 수 시간의 음성을 데이터셋으로 정리해 LoRA 파인튜닝을 시도할 수 있다고 보여준다. 지원 언어의 제약을 언급하며, 다른 언어로 작동시킨 경험과 과거 이슈 사례를 덧붙인다. [25:01]
• 마지막으로 녹음할 환경과 입력 데이터를 먼저 정하고, 음성을 사용할 분야와 자동화 목적을 결정하라고 정리한다. 여러 모델에서도 만족스럽지 않으면 선별한 생성 음성을 다시 입력하는 방법을 제안한다. [26:11]
• 기술적 질문은 댓글로 받겠다고 안내하고, 각자의 자동화 목적에 맞는 보이스클론 모델을 찾아 적용해 보라는 말로 마무리한다. [26:47]

🧾 결론

• 이 영상의 비교는 발표자 자신의 음성과 특정 예문을 사용한 실험이다. 선호 순위를 모든 화자와 콘텐츠에 적용하기보다 자신의 입력으로 다시 비교해야 한다.
• 음색 유사성뿐 아니라 발음, 말의 속도, 문장 전달력, 감정 표현을 함께 들어봐야 실제 콘텐츠에 쓸 수 있는지 판단할 수 있다.
• 모델을 바꾸기 전에 참조 녹음의 품질, 대본의 정합성, 입력 길이를 점검하는 것이 발표자가 제시한 우선순위다.
• ICL 결과가 만족스럽지 않으면 선별한 생성 음성의 재활용을 실험하고, 추가 데이터와 장비를 확보할 수 있을 때 파인튜닝을 검토한다.

📈 투자·시사 포인트

• 콘텐츠 자동화의 비용 판단에는 유료 서비스의 반복 생성 비용과 로컬 모델의 GPU·데이터 준비 부담을 함께 반영필요가 있다. 영상에는 이를 금액으로 비교한 자료는 없다.
• 발표자는 정리된 음성 데이터셋을 자산으로 본다. 동일한 조건의 녹음과 정확한 대본을 축적하는 작업이 이후 반복 생성과 파인튜닝의 기반이 된다.
• 브랜드 정체성과 음성 품질이 중요한 경우 발표자는 유료 서비스를 먼저 활용하는 선택도 권한다. 무료 사용 여부만으로 모델을 결정하지 않는 접근이다.
• 나레이션과 감정 연기는 필요한 참조 자료가 다르다. 자동화하려는 콘텐츠 분야를 먼저 정해야 녹음과 모델 비교의 기준도 명확해진다.

⚠️ 불확실하거나 확인이 필요한 부분

• 전사에서 모델명이 여러 형태로 흔들린다. 특히 ‘익스 TTS3’와 ‘오디오 에잇’의 정확한 공식 명칭·버전은 이 자료만으로 확정하기 어렵다.
• 참조 길이 설명이 일치하지 않는 구간이 있다. Fish Audio 시연 직전에는 18초와 30초를 언급하지만, 이후 선호 순위는 3분 음성 기준이라고 설명한다. 모델별 실제 입력 조건을 확인해야 한다.
• 음성 유사도 계산에 사용한 Microsoft 임베딩 모델의 정확한 이름, 수치, 평가 절차는 전사에 없다. 발표자의 청취 소감과 보편적인 성능 순위를 구분해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 자동화할 콘텐츠를 나레이션·분야별 설명·감정 연기 등으로 정하고, 실제 사용할 표현과 숫자를 포함한 비교 대본을 만든다.
• 조용한 동일 공간에서 마이크 위치를 고정하고 단일 화자의 참조 음성을 녹음한 뒤, 실제 발화와 맞는 대본을 준비한다.
• 같은 원본에서 짧은 참조 음성과 더 긴 참조 음성을 준비하고, 모델의 입력 한도 안에서 길이를 바꿔 결과와 GPU 사용량을 비교한다.
• 동일한 새 문장을 생성해 음색·발음·속도·문장 전달력을 직접 듣고 기록한다. 임베딩 유사도는 보조 자료로 사용한다.

❓ 열린 질문

• 다른 화자나 다른 분야의 대본에서도 Fish Audio S2 Pro에 대한 발표자의 선호가 유지될까?
• 모델별로 음성 품질 개선과 GPU 부담 사이에서 적절한 참조 길이는 얼마일까?
• 사람이 선별한 합성 음성을 반복해서 참조로 사용할 때 원래 화자의 음색과 발음은 얼마나 유지될까?