Claude Code''s Video Generation Went to The Next Level with ElevenLabs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Claude Code로 영상 장면을 코드로 만들고 ElevenLabs에서 복제 음성·자막·다국어 더빙을 더하는 제작 과정을 보여준다.

📌 핵심 요점

1. 코드로 영상 제작: 발표자는 Claude Code가 도형·움직임·프레임을 생성하고 이를 영상으로 변환했다고 설명한다. Remotion 스킬은 코드를 MP4로 만드는 도구로 소개된다.
2. 구체적인 제작 지시: 36초 분량, 코드에서 3D로 전개되는 콘셉트, 색상·폰트·스타일과 금지 표현을 프롬프트에 명시했다.
3. 장면별 자체 검토: 각 장면을 정지 이미지로 렌더링하고 10점 만점으로 평가해 9점 미만이면 다시 만들도록 지시했다.
4. 음성과 자막 결합: ElevenLabs에서 자신의 음성을 복제한 뒤 영상 프로젝트에 대본을 넣어 문장별 음성을 생성하고 자동 자막을 추가했다.
5. 다국어 버전 확장: 발음 사전과 출력 설정을 설명한 뒤 아랍어·독일어·힌디어 더빙을 시연하고 여러 결과물을 내려받았다.

🧩 배경과 문제 정의

이 영상은 코드로 만든 시각적 결과물에 내레이션과 자막을 붙이고 여러 언어로 확장하는 과정을 설명한다. 발표자는 Claude Code에서 장면과 움직임을 생성하고, Remotion 스킬로 영상 파일을 만든 뒤, ElevenLabs에서 음성 복제와 후속 작업을 진행한다.

제작 목표는 36초짜리 고급스러운 영상이다. 발표자는 원하는 시각적 스타일과 피할 표현을 직접 정하고, 장면별 자체 검토를 프롬프트에 포함한다. 이후 무음 영상에 자신의 복제 음성을 연결하고 자막·발음·출력 설정을 조정하며, 마지막에는 다국어 더빙을 시연한다. ElevenLabs가 영상의 협찬사라는 사실도 밝힌다.

🕒 시간순 섹션별 상세정리

1. 코드로 만든 영상과 프롬프트의 품질 기준

• 도입부에서 코드 한 줄로 시작해 도형과 움직임이 전개되는 영상을 보여준다. 발표자는 Claude가 프레임을 생성해 영상으로 변환했으며, 내레이션에는 ElevenLabs로 복제한 자신의 목소리를 사용했다고 보여준다. [00:41]
• 프롬프트에는 36초 분량, 코드에서 3D로 변하는 콘셉트, 색상·폰트·스타일을 지정했다. 따뜻한 흰색 배경과 주황색, 부드러운 3D 도형을 선택하고 네온·발광·보라색 그라데이션·단조로운 텍스트 등장은 금지했다. [01:44]
• 각 장면을 정지 이미지로 렌더링해 10점 만점으로 평가하고 9점 미만이면 다시 만들도록 지시했다. 발표자는 이 검토와 수정 과정을 거쳐 최종 영상을 받았다고 드러낸다. [02:05]

2. Remotion 준비와 ElevenLabs 음성 복제

• 정확한 프롬프트는 무료 커뮤니티에서 제공한다고 안내한다. 이어 Claude에 Remotion 스킬 플러그인을 추가해야 하며, 이 도구가 코드를 MP4 파일로 변환한다고 보여준다. [02:40]
• ElevenLabs가 협찬사임을 밝히고 Eleven Creative를 보여준다. 빠른 음성 복제를 선택해 자신의 오디오를 업로드하며, 10초 오디오가 필요하다고 설명하지만 실제 파일 길이는 19초다. [03:33]
• 배경 소음 제거 옵션을 선택하고 복제 음성을 재생한다. 발표자는 생성에 약 2~3초가 걸렸다고 말하며, 완성된 음성을 영상에 추가하는 단계로 넘어간다. [04:03]

3. 무음 영상에 대본과 복제 음성 연결

• Studio에서 새 영상 프로젝트를 만들고 Claude 작업 폴더에 저장된 영상을 업로드해 타임라인에 배치한다. 이 시점의 영상에는 오디오가 없다고 보여준다. [04:58]
• 대본 영역에서 복제한 목소리를 선택하고 발화할 텍스트를 입력한다. 자신의 목소리 대신 미리 제공되는 음성을 선택할 수도 있으며, 시연에서는 문장별로 음성을 생성한다. [05:58]
• Studio에서 추가 편집도 가능하다고 설명한 뒤, 코드로 만든 영상에 복제 음성이 결합된 결과 일부를 재생한다. [06:14]

4. 자막·발음 보정과 영상 출력

• 자막 메뉴에서 스타일을 선택해 자동 자막을 생성하고 화면상의 위치를 조정한다. [06:37]
• AI 음성은 브랜드명이나 핵심 단어의 발음을 틀릴 수 있다고 보여준다. Claude와 Opus 표기를 예로 들며 발음 사전에 단어별 발음 방식을 지정하는 방법을 보여준다. [07:13]
• 음성·자막·간단한 편집을 마친 뒤 출력 비율을 선택한다. 발표자는 YouTube 광고에 맞는 옵션과 고화질을 선택해 영상을 내보내고 소셜미디어에 올릴 수 있다고 보여준다. [07:45]

5. 다국어 더빙과 전체 제작 과정 마무리

• 내보낸 영상을 더빙 기능에 업로드하고 아랍어·독일어·힌디어를 선택한다. 화자 유사도 설정을 소개하고 시연에서는 기본값인 7을 사용한다. [08:40]
• 힌디어·아랍어·독일어 결과를 차례로 재생하며 목소리 유사성을 강조한다. 아랍어 내용은 이해하지 못한다고 말하고, 생성된 여러 영상을 한꺼번에 내려받는 기능을 보여준다. [09:42]
• 코드 기반 영상 제작에 ElevenLabs의 음성·자막·다국어 기능을 연결한 전체 과정을 정리한다. 설명란 링크를 통한 10,000 무료 크레딧 안내와 좋아요·구독 요청으로 마무리한다. [10:10]

🧾 결론

• 영상 제작은 Claude Code의 장면 생성과 ElevenLabs의 음성·자막·더빙 작업을 연결하는 방식으로 진행된다.
• 발표자가 강조하는 품질 관리 수단은 구체적인 디자인 지시, 금지 목록, 장면별 재작업 기준이다.
• 최종 결과물까지는 영상 업로드, 음성 선택, 대본 입력, 자막 배치, 출력 설정 등 사용자의 조작이 포함된다.
• 다국어 음성이 원래 화자의 목소리처럼 들리는지와 번역 내용이 정확한지는 별도로 검토해야 한다. 발표자도 아랍어 시연에서 내용을 이해하지 못한다고 말한다.

📈 투자·시사 포인트

• 제작 도구를 평가할 때 장면 생성 능력과 함께 음성·자막·다국어 출력까지 연결되는 작업 흐름을 살펴볼 만하다.
• 한 영상을 여러 언어로 확장하는 활용법이 제시된다. 실제 적용 여부는 대상 시청자의 언어와 더빙 결과의 정확성을 기준으로 판단할 수 있다.
• 프롬프트에 디자인 기준과 재작업 조건을 명시하는 방식은 반복 제작 과정의 품질 관리 항목으로 참고할 수 있다.
• 영상에는 ElevenLabs 협찬과 무료 크레딧 안내가 포함된다. 비용 절감이나 수익 증가를 판단할 실제 제작비·작업시간·성과 비교는 제시되지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 모델은 주로 ‘Claude Opus 5.5’로 소개되지만 말미 전사에는 다른 표기가 등장한다. 실제 사용 모델명과 버전은 전사만으로 확정하기 어렵다.
• 음성 생성 모델명은 전사에서 ‘before model’로 들리는 표현으로 기록되어 있어 정확한 제품명을 확인해야 한다.
• 9점 미만 장면을 재작업하도록 지시했지만, 구체적인 채점 기준과 전체 평가 기록은 제시되지 않는다. 자체 점수를 객관적인 품질 보증으로 해석하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 제작할 영상의 길이·콘셉트·색상·폰트·금지 표현을 정리하고, 장면별 검토 및 재작업 기준을 프롬프트에 명시한다.
• Claude Code에서 Remotion 스킬의 설치 여부를 확인하고, 짧은 장면으로 MP4 출력 과정을 시험한다.
• 자신의 음성 샘플을 준비해 복제를 시험하고, 배경 소음 제거 전후와 생성 음성을 직접 비교한다.
• 영상에 대본과 음성을 연결한 뒤 브랜드명·모델명 발음을 점검하고 필요한 단어를 발음 사전에 등록한다.

❓ 열린 질문

• 장면별 자체 평가에서 9점의 기준은 무엇이며, 사람이 평가해도 같은 품질 판단이 나오는가?
• 영상 생성부터 음성·자막·더빙까지 실제로 소요된 총시간과 비용은 얼마인가?
• 언어별로 번역 의미와 발음, 원래 화자의 목소리 특성이 얼마나 일관되게 유지되는가?