Testing Drama 3: Can a Local TTS Model Create the Perfect Voice Clone?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Drama 3는 로컬에서도 원음과 상당히 비슷한 목소리를 만들었지만, 완벽한 음성 복제보다는 참조 음성과 지시 태그를 조정하며 유사도를 높이는 도구로 확인됐다.

📌 핵심 요점

1. Fish Audio의 오픈 웨이트 TTS 모델 Drama 3를 DGX Spark에서 실행했다. 진행자는 전체 350억 파라미터, 토큰당 활성 30억 파라미터로 소개했으며, 비양자화 실행에 약 70GB를 사용한다고 설명했다.
2. 첫 기본 음성은 진행자의 목소리보다 활기찬 유튜브 내레이션에 가까웠다. 진행자는 비교적 자연스럽다고 평가했지만, 생성할 때마다 목소리가 달라지는 점도 지적했다.
3. 웃음·쉼·강조 등 일부 지시는 반영됐지만, 초기 시도에서는 약 4초 뒤 무음이 되는 실패도 있었다. 영어 문장에 일본어 태그를 붙이는 것만으로 번역되지는 않았고, 실제 일본어 텍스트를 넣었을 때 일본어 발화가 나왔다.
4. 복제에는 영상에서 추출한 약 10초의 음성과 정확한 전사문을 사용했다. 다른 구간과 새 영상을 참조로 바꾸며 비교한 결과, 진행자는 세 번째 복제가 가장 가깝다고 평가했다.
5. 기존 음성의 피치를 낮추는 후처리는 왜곡을 만들었지만, 더 낮은 목소리를 요청하는 지시 태그로 다시 생성한 결과는 긍정적으로 평가됐다. 최종적으로 감정 표현과 일본어가 포함된 인트로 및 복제 음성 아웃트로까지 시연했다.

🧩 배경과 문제 정의

이 영상은 Fish Audio의 Drama 3를 로컬에서 실행해, 자연스러운 감정 표현과 진행자 자신의 목소리 복제가 가능한지 살펴보는 실험이다. 진행자는 DGX Spark에서 Hermes 에이전트를 사용하고, 모델 카드가 권장한다고 소개한 SGLang Omni로 모델을 서빙한다.

첫 기본 음성은 자연스럽게 들리더라도 진행자의 목소리와는 차이가 있었다. 따라서 핵심 문제는 듣기 좋은 TTS를 만드는 데서 더 나아가, 참조 음성으로 화자의 특징을 재현하고 감정·속도·언어를 조절할 수 있는지 확인하는 것이다. 진행자는 AI 영상에서 클립마다 목소리가 달라지거나 장면의 감정과 맞지 않는 문제도 활용 배경으로 설명한다.

🕒 시간순 섹션별 상세정리

1. 첫 음성 시연과 복제 실험의 목표

• Drama 3로 만든 인트로를 먼저 들려주고, Fish Audio의 오픈 웨이트 모델을 DGX Spark에서 로컬로 실행 중이라고 보여준다. [00:46]
• 기본 음성은 자신의 목소리보다 에너지가 높은 유튜브 스타일이며, 완전히 자연스럽지는 않아도 첫 시도로는 괜찮다고 평가한다. 이어 자신의 목소리를 얼마나 가깝게 복제할 수 있는지 시험하겠다고 드러낸다. [01:25]

2. 프로젝트 홍보와 로컬 실행 구성

• Agent Wikis를 홍보하며 무료 위키와 월 19.99달러의 Pro 구독을 보여준다. 유료 항목으로 에이전트 관련 영상·스킬·뉴스레터·전문 프로필 등을 설명한 뒤 본론으로 돌아온다. [02:05]
• Fish Audio 웹사이트에서도 시험할 수 있다고 안내하고, 모델을 전체 350억 파라미터·토큰당 활성 30억 파라미터로 보여준다. DGX Spark에서 비양자화 전체 크기로 실행하며 약 70GB를 사용한다고 보여준다. [02:39]
• 약 14초짜리 인트로 생성에 약 15초가 걸렸으며, 모델 카드 권장 구성이라고 소개한 SGLang Omni로 서빙한다고 드러낸다. [02:54]

3. 주요 기능과 감정 표현 소개

• 음성 복제, 인라인 사운드 태그, 스트리밍 오디오, 빠른 설정을 살펴본다. 현재 로컬 실행에서는 일부 기능을 사용하지 못한다고 말하고 웹사이트의 다중 캐릭터 기능도 보여준다. [03:24]
• Uncle Roger 캐릭터 예시를 들으며 감정이 실린 음성을 강조한다. 이어 인라인 지시를 성우에게 주는 연기 메모처럼 설명하고, 이 시점에는 고정된 목록이 없다고 이해한다. [04:19]

4. 태그를 넣은 첫 생성과 실패

• 인트로에 한숨·쉼·웃음·강조·속도 지시와 일본어 태그를 넣는다. 장면에 맞는 감정 표현이 AI 영상 제작에 도움이 될 수 있다고 보여준다. [05:41]
• 몇 차례는 약 4초만 발화한 뒤 무음이 됐고, 세 번째 시도에서 재생 가능한 결과를 얻는다. 웃음·쉼·강조는 일부 반영됐다고 평가하지만 속도 변화는 뚜렷하지 않다고 드러낸다. [06:36]
• 영어를 일본어 태그로 감싸도 번역되지는 않았다고 확인한다. 일본어 발화를 얻으려면 실제 일본어 텍스트가 필요하다고 정리한다. [06:53]

5. 일본어 입력 수정과 태그 목록 확인

• 영어 대신 실제 일본어 문장을 넣고, 강조와 속도 지시도 바꿔 다시 생성한다. 이번에는 첫 시도에 성공한다. [07:57]
• 앞선 설명을 수정하며 strong emphasis와 very fast는 지원 목록에 없다고 드러낸다. 확인한 목록으로 whisper, emphasis, stress, soft, forceful, slow, fast를 제시한다. [08:09]
• 일본어 발화에서도 같은 목소리가 대체로 유지됐다고 평가한다. 다만 생성할 때마다 목소리가 달라지는 점을 짚고 본격적인 음성 복제로 넘어간다. [08:42]

6. 참조 음성과 정확한 전사문 준비

• 자신의 약 3분짜리 영상을 입력하고, 음성을 추출해 적절한 약 10초 구간을 고른 뒤 전사하도록 한다. Drama 3에는 정확한 전사문이 필요하며, 클립과 전사문을 재사용 가능한 음성 자료로 저장한다고 보여준다. [09:43]
• 깨끗한 참조 클립을 확보해 복제 인트로를 생성한다. 원래 목소리를 먼저 들려준 뒤 같은 소개 문장을 복제 음성으로 재생해 비교할 수 있게 한다. [10:53]

7. 첫 복제 평가와 참조 구간 교체

• 첫 결과는 비슷한 범위에 들어오지만 자신의 목소리만큼 낮지 않다고 평가한다. 발음이 더 정돈돼 들리는 점도 차이의 이유일 수 있다고 추정하며, 여전히 구별할 수 있을 것이라고 드러낸다. [11:50]
• 같은 영상의 다른 구간으로 다시 복제한다. 녹음 시간에 따라 자신의 목소리도 달라진다고 설명하고, 새 참조 음성이 빨라진 것 같다고 느낀다. [12:38]
• 두 결과를 나란히 비교한 뒤 첫 복제가 더 가깝다고 평가한다. 참조 음성이 빨라졌다는 의문을 다시 제기하지만 원인을 확인하지는 않는다. [13:29]

8. 새 영상으로 만든 세 번째 복제

• 다른 영상을 새로 제공해 참조 음성을 추출한다. 기존 두 클립을 함께 입력하는 방법도 대안으로 언급하지만, 여기서는 새 영상 기반 결과를 확인한다. [14:24]
• 세 번째 복제인 C를 듣고 지금까지 가장 가깝다고 평가한다. 다만 음높이가 조금 높게 느껴져 더 낮은 목소리로 조정해 보겠다고 한다. [15:22]

9. 피치 후처리와 지시 태그 비교

• 기존 복제 음성에 피치 시프트를 적용하는 방법과, 더 낮은 목소리를 지시해 새로 생성하는 방법을 비교한다. [15:43]
• 피치 시프트 결과는 심하게 왜곡됐다고 평가한다. 같은 음성에 지시 태그를 넣어 다시 생성한 결과는 자신의 목소리와 상당히 가깝다고 평가한다. [16:24]
• 선택한 복제 음성에 앞서 사용한 한숨·쉼·강조와 일본어 텍스트를 포함해 더 긴 인트로를 생성하기로 한다. [16:49]

10. 최종 인트로와 복제 음성 아웃트로

• 지시 태그를 조정 수단으로 강조하고, 이번 생성에는 약 15초가 걸렸다고 보여준다. 웃음과 일본어가 포함된 결과를 들으며 자신의 목소리와 닮았고 로봇처럼 들리지 않는다고 평가한다. [17:40]
• 진행자는 목표했던 목소리 복제를 상당 부분 얻었다고 판단한다. 앞으로 복제 음성을 쓰면 따로 알리겠다고 약속하고, 이번 영상의 마지막 인사는 복제 음성으로 하겠다고 드러낸다. [18:14]
• 복제 음성의 아웃트로를 재생하고 다시 확인한 뒤 영상을 마친다. [18:36]

🧾 결론

• 영상의 결과는 완벽한 복제의 입증보다, 여러 참조 음성과 생성 지시를 비교해 상당한 유사도에 도달한 사례에 가깝다.
• 참조 음성 선택과 발화 지시는 결과에 영향을 주는 조정 수단으로 나타났다. 단순한 피치 후처리는 이번 시도에서 음질을 떨어뜨렸다.
• 감정 표현을 포함한 내레이션 제작 가능성은 보여줬지만, 반복 생성의 일관성과 복제 정확도는 추가 검증이 필요하다.

📈 투자·시사 포인트

• 콘텐츠 제작 관점에서는 장면에 맞는 감정과 목소리를 조정할 수 있다는 점이 중요하다. 진행자는 영상마다 음성이 달라지거나 장면의 감정과 맞지 않는 문제를 활용 배경으로 제시했다.
• 로컬 도입을 판단할 때는 음질과 함께 장비 자원, 생성 시간, 재시도 부담을 살펴야 한다. 약 70GB 사용과 약 15초 생성 시간은 이 영상의 특정 실행 환경에서 제시된 관찰값이다.
• 음성 서비스의 가치를 평가할 때는 기본 음성의 자연스러움뿐 아니라 참조 음성 관리, 지시 반영, 생성 안정성도 함께 볼 필요가 있다.
• 영상에는 기업 실적이나 시장 규모, 가격 비교 자료가 없어 특정 기업의 투자 매력이나 수익성을 판단할 근거는 제공되지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 복제 유사도는 주로 진행자 자신의 청취 평가에 근거한다. 진행자도 자기 목소리를 판단하기 어렵다고 밝혔으며, 객관적인 유사도 수치나 독립 청취자 평가 결과는 제시되지 않았다.
• 태그 설명에는 수정이 있었다. 처음에는 고정 목록이 없다고 소개했지만, 이후에는 지원 목록을 확인하며 strong emphasis와 very fast가 목록에 없다고 설명했다. 자유로운 지시와 정해진 태그의 적용 범위는 별도 확인이 필요하다.
• 일부 생성이 약 4초 뒤 무음으로 끝난 원인은 밝혀지지 않았다. 진행자가 일부 기능을 로컬에서 사용할 수 없다고 말한 것도 모델 자체의 제한인지 당시 실행 구성의 제한인지 구분되지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 복제에 사용할 자신의 영상에서 깨끗한 약 10초 음성을 추출하고, 실제 발화와 일치하는 전사문을 준비한다.
• 서로 다른 구간과 영상에서 참조 음성을 골라 같은 문장을 생성하고, 원음과 나란히 들어 유사도와 자연스러움을 비교한다.
• 웃음·쉼·강조·속도 지시를 나누어 시험하고, 반영 여부와 중간 무음 발생 여부를 기록한다.
• 언어 전환을 시험할 때는 해당 언어의 실제 텍스트를 넣고, 언어가 바뀌어도 목소리가 유지되는지 확인한다.

❓ 열린 질문

• 참조 음성의 구간, 길이, 녹음 상태를 어떻게 선택해야 복제 유사도와 반복 생성의 일관성이 가장 좋아질까?
• 짧은 인트로에서 얻은 자연스러움이 긴 내레이션과 다양한 감정 표현에서도 유지될까?
• 초기 무음 실패와 로컬에서 사용하지 못한 기능은 실행 설정을 바꾸면 해결될까?