쇼츠 제작을 Claude Code로 100% 딸깍 자동화하는 방법 (전부 오픈소스 제공)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Claude Code와 공개된 오픈소스 코드로 준비된 셀카·아바타 영상의 쇼츠 제작을 자동화하고, 레퍼런스에서 추출한 취향을 반영해 결과를 개인화하는 방법을 보여준다.

📌 핵심 요점

1. 공개된 아바타 쇼츠 코드베이스에 샘플 영상을 넣고 자연어로 제작을 요청한다. 무음 정리, 자막, 효과음 등을 로컬에서 처리하며, 소개된 교육용 구성에는 외부 API 서비스를 연결하지 않았다.
2. 제작 과정에는 비롤 스토리보드, 모션 그래픽, 전사와 자막 교정이 포함된다. 전사 모델은 발화 타이밍을 잡고, 전사된 텍스트는 Claude가 교정하는 역할로 설명된다.
3. 발표자는 모델의 작업 강도를 높이는 것보다 입력하는 맥락과 어셋이 시각적 품질에 더 중요하다고 강조한다. 기본 실행만으로는 외부 이미지·어셋이 부족해 표현이 제한될 수 있다.
4. 참고 영상을 넣고 콘택트 시트를 추출한 뒤, 좋아하는 효과와 싫어하는 요소를 구체적으로 지정해 취향을 반영한다. 실습에서는 아바타 확대와 배경 변화 등이 적용된 결과를 확인한다.
5. 만족한 결과는 취향과 정책으로 나눠 스킬·문서에 반영하고, 커밋·푸시하며 다음 제작에 재사용한다. 공개 실습은 준비된 영상의 편집 자동화이며, 후반에 소개한 아바타·TTS·블로그·지식 관리까지의 자동화는 발표자의 별도 확장 사례다.

🧩 배경과 문제 정의

발표자는 Opus로 만든 모션 그래픽 영상의 유행을 릴스·쇼츠 제작에 응용해, 준비된 셀카·아바타 영상에서 토킹 헤드 쇼츠를 만드는 시스템을 소개한다. 무음 정리와 자막 등 반복 작업을 로컬에서 처리하고, Claude Code의 자연어 요청으로 제작을 시작하는 것이 출발점이다.

문제는 같은 시스템을 쓰면 결과도 비슷해질 수 있다는 점이다. 영상은 기본 제작 실습에 이어, 참고 영상에서 취향을 추출하고 원하는 효과를 선택해 반영한 뒤 그 기준을 스킬과 문서에 남기는 과정을 보여준다. 후반에는 발표자가 별도로 운영하는 더 넓은 자동화 사례와 강의 수요 조사도 소개한다.

🕒 시간순 섹션별 상세정리

1. 쇼츠 자동화 소개와 개인화 문제

• 셀카 영상 하나와 명령어 한 줄로 제작을 시작하는 사례를 제시하고, 무음 정리·자막·효과음의 로컬 처리와 외부 API 키가 필요 없는 구성을 보여준다. [00:19]
• 같은 시스템을 쓰는 사람들의 결과가 비슷해질 수 있다는 문제를 제기하며, 레퍼런스와 취향 파일로 결과를 바꾸는 과정을 예고한다. [00:34]
• 코드는 댓글 링크로 오픈소스 공개하고, 자세한 매뉴얼과 활용 레퍼런스는 리소스 신청 폼으로 제공한다고 안내한다. [00:44]

2. 코드베이스 준비와 기본 제작 실행

• 공개된 아바타 쇼츠 코드베이스를 클론하거나 다운로드하고, Claude Code에서 해당 폴더를 열어 샘플 영상을 넣은 뒤 쇼츠 제작을 요청한다. [01:58]
• 추가 코멘트, 맥락, 외부 어셋 링크를 제공하면 표현을 풍부하게 만들 수 있으며, 작업 강도보다 입력 자료와 맥락이 더 중요하다고 강조한다. [02:28]
• 필요한 실행 도구와 교육용 구성을 보여준다. 외부 아바타 API는 연결하지 않았으며, 브랜딩용 토킹 헤드 영상의 수정은 자연어로 요청할 수 있다고 안내한다. [03:47]

3. 제작 스킬과 첫 결과의 구성

• 비롤 스토리보드와 모션 그래픽 요소를 구성하고 전사를 진행한다. 전사 모델은 타이밍을 확보하고, 전사 텍스트의 오탈자와 고유명사 오류는 Claude가 교정한다고 보여준다. [04:44]
• 좋아하는 영상 레퍼런스를 Claude Code에 전달해 취향을 반영할 수 있다고 소개하며, 몇 분 뒤 생성된 스토리보드와 완성본을 확인한다. [05:23]
• 색 테마, 무음 구간, 장면 수가 자동으로 정해진 결과와 검수 영역을 보여주고, 취향 영역은 이어지는 실습에서 다룬다고 안내한다. [05:55]

4. 완성 영상과 브랜드 표현 기준

• 발표자의 이미지를 젊게 만든 립싱크 아바타를 사용한 첫 결과를 재생한다. 영상 속 설명은 톤앤매너를 색상, 폰트, 영상 소스의 세 기준으로 정리한다. [06:36]
• 비롤·화면 캡처·그래프·스티커 등 자주 사용할 소스를 정하고, 브랜드 계정에서는 품질을 높이기 전에 표현 기준을 맞추는 접근을 제안한다. [06:55]
• 기본 아바타에서 시각 요소가 추가된 결과를 확인하고, 참고한 인스타그램 영상 하나를 자신의 스타일로 바꾼 사례라고 보여준다. [07:19]

5. 레퍼런스 수집과 취향 분석 요청

• 모션 그래픽 레퍼런스 사이트로 지터와 세이브 마켓플레이스를 소개하고 참고 영상을 다운로드한다. 화려한 결과에는 다양한 어셋이 필요하므로 어셋 수집 자동화에도 별도로 집중할 수 있다고 제안한다. [08:47]
• 참고 영상 두 개를 Claude Code에 넣고 애니메이션 효과를 시스템에 반영하도록 요청한다. 장면 변화가 드러나는 캡처들을 모은 콘택트 시트로 참고 영상을 분석하는 방식을 보여준다. [09:48]
• 더 정확한 영상 해석을 위한 방법으로 Gemini 활용을 추천한다. 이어 특정 타이포그래피는 원하지 않지만 아바타 확대는 선호한다는 식으로 취향을 구체적으로 전달한다. [10:36]

6. 개인화 결과 확인과 기준 저장

• 수정된 영상을 재생해 아바타 확대와 배경 등 요청한 효과가 반영됐는지 확인한다. 남들과 다른 표현을 만들려면 레퍼런스 영상을 많이 관찰하라고 권한다. [11:43]
• 레퍼런스를 대량 수집하는 확장 방법으로 GPT 컴퓨터 유즈 활용을 제안하고, 결과가 마음에 들지 않을 때는 추가 피드백을 주는 반복 과정을 보여준다. [12:13]
• 만족한 버전을 기준으로 취향과 정책을 나눠 스킬·문서에 반영하도록 요청하고, 커밋·푸시하면서 취향을 계속 최적화하는 흐름을 보여준다. [12:43]

7. 전체 자동화 확장 사례와 마무리

• 공개 실습에는 직접 준비한 영상이 필요하다고 설명한 뒤, 자신의 별도 시스템에서는 아바타·TTS·자막·취향 반영뿐 아니라 블로그 생성과 지식 관리 시스템 연결까지 자동화하고 있다고 보여준다. [13:16]
• 해당 시스템을 다루는 오프라인 강의의 수요 조사를 예고하고, 댓글의 탈리폼 신청자에게 강의 개설 시 할인 혜택을 제공할 계획이라고 안내한다. [13:46]
• 공개 코드를 각자의 취향에 맞게 응용하라고 권하고, 저장소 스타와 영상 반응을 요청한 뒤 감사 인사와 음악으로 마무리한다. [14:16]

🧾 결론

• 한 줄 요청으로 제작을 시작할 수 있지만, 원하는 결과를 얻으려면 맥락 입력, 취향 피드백, 완성본 검수가 필요하다.
• 같은 코드베이스를 사용해도 레퍼런스와 취향 설정에 따라 표현을 달리할 수 있다. 자동화 이후의 차별화 과제로 개인화를 제시한다.
• 좋은 결과를 일회성 수정으로 끝내지 않고 스킬과 문서에 저장하는 것이 반복 제작을 위한 핵심 흐름이다.

📈 투자·시사 포인트

• 콘텐츠 제작에서는 자막·무음 처리 같은 반복 작업을 자동화하고, 기획·레퍼런스 선정·검수에 시간을 배분하는 운영 방식을 검토할 수 있다.
• 브랜딩 관점에서는 색상, 폰트, 영상 소스의 기준을 먼저 정하고 자동 제작에 반영하는 접근이 제시된다. 발표자는 이 기준을 맞추는 일이 품질 개선보다 먼저라고 설명한다.
• 어셋 수집과 취향 축적은 제작 자동화를 확장할 다음 과제로 제안된다. 다만 영상에는 제작비 절감액, 조회수 개선, 수익성 검증 자료가 없어 투자 성과로 연결해 판단하기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제목의 ‘100% 자동화’와 공개 실습의 범위를 구분해야 한다. 공개 실습은 미리 준비한 셀카·아바타 영상을 입력하며, 아바타와 TTS 생성까지 포함한 전체 자동화는 후반의 별도 사례로 소개된다.
• ‘무료·API 키 불필요’는 소개된 로컬 처리 구성에 관한 설명이다. Claude Code 이용 비용, 실행 환경별 비용과 성능, 선택적으로 외부 서비스를 연결했을 때의 조건은 구체적으로 제시되지 않는다.
• 몇 분 만에 완성된 데모는 나오지만, 정확한 하드웨어 사양, 처리 시간 측정, 반복 실행 시 성공률은 제공되지 않는다. 자막 교정과 자동 검수의 정확도도 별도로 확인해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 댓글·설명란의 공개 저장소를 확인하고, 설치 안내에서 실행 도구와 의존성을 점검한다.
• 준비된 짧은 셀카·아바타 영상으로 기본 제작을 실행하고, 무음 처리·자막·효과음·장면 구성을 검수한다.
• 색상, 폰트 역할, 주로 사용할 영상 소스를 정하고, 관련 맥락과 어셋을 제작 요청에 추가한다.
• 참고 영상 두 개 정도를 선정해 콘택트 시트를 추출하고, 유지할 효과와 제외할 표현을 구체적으로 피드백한다.

❓ 열린 질문

• 공개 코드가 제공하는 자동 검수는 어떤 항목을 확인하며, 사람이 반드시 확인해야 하는 오류는 무엇인가?
• 취향을 여러 차례 축적했을 때, 기존 브랜드 기준과 새 레퍼런스가 충돌하면 어떤 규칙으로 선택하는가?
• 발표자의 아바타·TTS·블로그·지식 관리 통합 사례 중 공개 코드에 포함된 부분과 별도로 구성해야 하는 부분은 어디까지인가?