대본만 쓰면 촬영부터 편집까지 AI가 다 하는 영상 제작 시스템을 공개합니다 (AI 엔지니어 샘호트만님)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

대본을 확정하면 AI가 녹화부터 음성·화면 제작과 편집까지 수행하고, 사람은 기획과 최종 품질을 검수하는 영상 제작 시스템이다.

📌 핵심 요점

1. 대본 확정이 제작 자동화의 출발점이다. AI가 만든 대본 후보를 사람이 다듬으면 자료 수집, 로컬 GPU 음성 생성, 코드 기반 B-roll·텍스트·애니메이션 제작이 이어진다. 쇼츠는 /REEL 명령으로 후속 제작을 실행한다.
2. 사람의 판단을 체크리스트와 스킬로 축적한다. 출연자는 AI가 작업의 약 90%를 맡는다고 설명하지만, 미감과 공개 여부는 직접 판단한다. 좋은 영상과 비교해 부족한 연출을 찾고, 반복되는 문제를 스킬로 정리해 다음 제작에 반영한다.
3. 자율 실행과 구간별 검수를 작업 길이에 맞춰 조합한다. 중간 개입을 줄여 한 번에 75~80점 수준의 결과를 얻는 데 집중한다. 장시간 강의는 사람이 커리큘럼을 정하고, AI가 실습 녹화와 후속 제작을 수행하며, 긴 편집은 챕터별 확인과 승인으로 일관성을 관리한다.
4. 장비 구매와 모델 최적화에는 투입 대비 효과를 따진다. 처음에는 API를 쓰고 제작량이 충분할 때 로컬 GPU를 검토하라고 권한다. 립싱크처럼 반복 최적화로 개선하기 어려운 문제는 더 나은 모델로 교체해 해결한 경험을 소개한다.
5. 최종 기준은 초보자가 이해하고 따라 할 수 있는지다. 실제로 이해하기 어려운 34분 분량을 본편에서 제외했다. 입문자는 무음·간투사 제거와 음량 조정부터 자동화하고, 편집자는 기획과 검수 역량을 강화하는 방향을 제안한다.

🧩 배경과 문제 정의

• 개인 업무 자동화를 대부분 마친 뒤, 영상 발행량을 늘리고 편집에 드는 자원을 줄이는 일이 새로운 자동화 과제가 됐다.
• 영상 생성 모델의 성능과 시청자의 기대 수준이 함께 높아지면서, 단순 제작 자동화를 넘어 미감과 학습 전달력까지 확보할 필요가 생겼다.
• AI가 제작 대부분을 맡더라도 대본의 개성, 시각적 완성도, 최종 공개 여부에는 사람의 판단이 필요하다. 반복되는 판단을 레퍼런스와 체크리스트로 축적하는 것이 시스템의 핵심이다.
• 로컬 제작 환경은 장비 비용과 모델 품질의 한계를 함께 고려해야 한다. API와의 비용 차이뿐 아니라 제작량, 보안, 통제권, 다른 작업에 활용할 가능성도 선택 기준이 된다.

🕒 시간순 섹션별 상세정리

1. 개인 업무 자동화에서 영상 제작 자동화로 확장

• 개인 업무 영역을 대부분 자동화한 뒤, 영상을 더 많이 올리고 편집 자원을 줄이기 위해 영상 제작으로 자동화 범위를 넓혔다 [02:28]
• Claude Opus의 성능 향상으로 미감과 질감을 개선할 가능성이 커졌다. 모델 발전과 함께 높아지는 시청자의 기대를 충족하는 방향으로 영상 자동화를 확장하고 있다 [02:52]

2. AI가 제작의 대부분을 맡고 사람은 시각적 품질을 검수

• 전체 작업에서 AI가 약 90%를 맡고, 사람은 약 10%에 해당하는 검수를 수행한다 [03:41]
• 사람의 검수는 정량 평가가 어려운 시각적 만족도에 집중한다. 화려하더라도 조악한 AI 결과물처럼 보이는지, 시각적 효과가 적절한지를 판단한다 [03:51]

3. 소재와 대본을 확정하면 자료 수집부터 화면 제작까지 자동 실행

• 별도로 만든 사이트에 자주 보는 국내외 채널을 모아 소재를 찾는다. AI가 대본 초안을 만들면 직접 다듬어 자신의 색깔을 넣는다 [05:28]
• 대본이 정해지면 AI가 로고와 서비스의 스톡 영상 등 필요한 자료를 수집하고, 집에 있는 로컬 GPU가 자신의 목소리로 음성을 생성한다 [05:46]

4. 취향 체크리스트와 구간별 피드백으로 품질을 개선

• 제작 결과에는 기술적 검토와 시각적 자기 평가를 적용한다. 싫어하는 표현이나 연출을 미리 넣어 AI가 조악한 결과를 걸러내도록 한다 [06:45]
• 마음에 들지 않았던 부분을 체크리스트로 정리하고, 기준을 충족하면 렌더링한다 [07:19]

5. 중간 개입을 줄이고 모델 발전에 맞춰 시스템을 가볍게 유지

• 사람이 중간에 개입할수록 병목이 생기므로, 가능한 한 개입 없이 한 번에 75~80점 수준의 결과를 만드는 데 초점을 둔다. 90점 이후에는 작은 점수 향상에도 큰 노력이 든다 [08:06]
• 더 좋은 모델이 나오면 기존에 만든 제약과 통제 장치의 의미가 줄어들 수 있다. 모델 교체 시 시스템을 수정하거나 일부를 걷어낼 가능성을 고려해 가볍게 유지한다 [08:32]

6. 슬라이드식 영상에서 장면 다양성과 시각적 평가를 갖춘 제작으로 발전

• 초기 Remotion 영상은 대본 한두 줄마다 화면이 넘어가고 적절한 B-roll 이미지가 붙는 슬라이드 형태였다. 반복되는 패턴이 쉽게 드러나는 구조였다 [10:02]
• 제작 경험과 모델 성능이 함께 쌓이면서 자료 수집과 미감 표현이 개선됐다. 과거 Claude는 시각적 세부 사항을 잘 잡지 못했지만, 최근에는 미흡한 부분을 더 잘 찾아낸다 [11:44]

7. 좋은 레퍼런스와 자신의 판단을 스킬로 축적

• AI가 만든 영상과 잘 만든 릴스·쇼츠를 나란히 비교해 부족한 점을 찾는다. 비교 기준을 높은 수준의 실제 결과물에 두어 개선할 부분을 구체화한다 [13:13]
• AI가 찾아낸 문제와 자신의 판단이 다르면 직접 의견을 추가한다. 같은 문제가 재발하지 않고 원하는 수준에 도달하려면 무엇을 해야 하는지 AI가 설명하게 한 뒤 스킬로 만든다 [13:43]

8. 대본 후보 선택과 명령 실행으로 쇼츠 제작 시작

• reel script 스킬에 소재나 GitHub 링크 등을 넣으면 대본 후보 세 개가 나온다. 마음에 드는 후보를 수정하거나, 모두 별로라면 다른 방향으로 다시 작성하도록 피드백한다 [15:45]
• 대본을 확정한 뒤 /REEL 명령을 실행하면 이후 제작 과정이 진행된다. 자기 전에 실행해 두는 방식으로도 활용한다 [16:17]

9. 초기에는 API를 쓰고 제작량에 따라 로컬 장비를 검토

• API는 택시, 로컬 실행은 자차에 비유할 수 있다. 텍스트 API는 저렴하지만 영상 생성은 예시로 약 2천~6천 원 수준의 비용이 들 수 있다 [17:16]
• 사용 중인 5090 GPU는 작년에 480만 원에 구입했으며, 촬영 시점 가격은 1천만 원을 넘는 수준이다 [17:51]

10. 립싱크 품질의 한계는 최적화보다 모델 교체로 해결

• 영상 생성에는 여러 종류의 모델이 있고 립싱크 전용 모델도 다양하다. 일부 모델은 입 모양이 뭉개지거나 프레임이 떨어졌으며, 반복 최적화로도 해결하기 어려운 한계가 있었다 [18:58]
• InfiniteTalk를 사용하다가 촬영 기준 약 한 달 전에 나온 알리바바의 오픈소스 립싱크 모델로 교체한 뒤 만족도가 높아졌다. 시연에서는 입 모양이 잘 맞았지만 치아가 더 하얗게 보이는 변화도 나타났다 [19:40]

11. 로컬 장비의 가치는 비용 절감과 통제권을 함께 평가

• GPU를 한 편당 30분 가동한다고 가정하면 전기요금은 약 50원, 넓게는 100원 안팎일 것으로 추정한다. API 비용은 약 2천~6천 원 수준으로 예상하지만, 이는 대략적인 계산이다 [22:23]
• 편당 몇천 원을 아끼는 정도라면 5090 구입비를 회수하는 데 천 편 넘게 제작해야 한다는 계산도 나온다. 장비 투자는 장기적인 관점이 필요하다 [22:44]

12. 장시간 강의는 사람이 기획하고 AI가 녹화와 후속 제작을 수행

• 약 2시간 45분에서 3시간 분량의 마스터 클래스는 사람이 전체 커리큘럼과 방향을 기획했다. 대본 작성·검수와 최종 미감 판단 등을 제외한 제작 작업은 AI가 맡았다 [23:47]
• AI가 익숙하게 수행하는 구글 관련 실습은 Codex Computer Use로 OBS를 조작해 녹화했다. 녹화 결과를 검수한 뒤 후시 녹음용 대본을 만들고, 그 대본이 통과하면 TTS를 생성했다 [24:47]

13. 익숙하지 않은 실습 화면은 리허설로 실패를 먼저 제거

• AI가 학습하지 않은 영역으로 판단한 Hermes 칸반 보드 UI는 본 녹화 전에 Codex로 리허설했다. 시청자가 쉽게 따라 할 수 있는지, 지식 전달이 매끄러운지를 녹화하며 확인했다 [25:38]
• 리허설 중 드러난 실수와 시행착오를 제외해 녹화 기획안을 만든다. 이후 기획안대로 녹화하고 후시 녹음 대본을 검수한 뒤 후속 작업을 진행한다 [26:10]

14. 장시간 자율 실행은 목표와 금지 조건을 미리 구체화

• 중간에 개입하지 않도록 시스템을 미리 다듬거나 /goal 명령을 사용한다. 달성 조건과 하면 안 되는 일을 지정한 뒤, 목표를 완수할 때까지 작업을 진행하도록 설정한다 [27:06]
• 잠들기 전 1시간에서 1시간 반 정도는 목표 실행용 프롬프트를 만드는 데 집중한다. AI와 대화하고 인터뷰하면서 목표와 조건을 구체화하고, 밤사이 문제가 생길 가능성을 줄이려 한다 [27:36]

15. 브랜드 색상과 질감을 고정해 긴 영상의 시각적 일관성 확보

• 장면마다 디자인이 무작위로 달라지는 것을 줄이기 위해 브랜드 톤을 정한다. 베이지색 종이 질감의 배경과 주황색·초록색 등의 색상을 기본 요소로 지정했다 [28:30]
• Cohere의 팔레트를 참고해 코랄과 딥그린을 기초 색상으로 삼았다. 영어와 한국어의 차이를 고려해 폰트도 설정했다 [29:03]

16. 장편 편집의 일관성은 구간별 승인으로 관리한다

• 디자인 품질은 사람이 승인하는 기준에 달려 있으며, 영상의 일관성도 미리 구성한 하네스 안에서 관리한다. [30:26]
• B-roll 코드가 길어질수록 뒤쪽 편집의 품질이 떨어지는 경험 때문에, 장편 전체를 한꺼번에 편집하기보다 챕터별로 확인하고 승인하는 방식을 택했다. [31:02]

17. 92억 토큰의 대부분은 캐시이며 실제 지출과 차이가 있다

• 실습보다 이론편에 더 많은 코드가 들어갔고, 정리되지 않은 하네스를 읽는 데 토큰을 많이 사용했다. 이론편의 토큰 소모가 상대적으로 컸다. [32:05]
• 전체 토큰의 98%는 캐시였다. 이미 읽은 내용을 다시 읽는 비용이 저렴하므로, 92억 토큰을 모두 일반 토큰 가격으로 계산하면 실제 비용을 과대평가하게 된다. [32:18]

18. 이론 영상은 AI에 맡기고 실습은 직접 보완한다

• 앞으로도 이론편은 AI에 맡기되, 실습은 직접 해줘야겠다는 생각을 밝혔다. [33:36]
• AI 영상은 군더더기 없이 또박또박 설명한다는 평가를 받았다. 깔끔한 대본을 넣으면 제작을 맡길 수 있어, 이런 유형의 영상은 처음부터 끝까지 AI로 만들 계획이다. [34:21]

19. 초보자의 이해 가능성은 사람이 끝까지 검수해야 한다

• AI가 만든 일부 내용은 제작자가 보기에도 어려웠고, 초보자가 따라 하기보다 AI의 능력을 과시하는 듯한 결과가 됐다. 해당 34분 분량은 본편에서 빼고 별도의 일부 공개 링크로 제공했으며, 렌더링 등에 쓴 6~7시간이 낭비됐다고 보았다. [36:15]
• AI는 처음 접하는 사람이 교육 내용을 따라올 수 있는지 충분히 판단하지 못했다고 평가했다. 설명을 보충하려면 리허설 범위 밖의 내용까지 필요해져, 커리큘럼의 본질을 쉽게 전달한다는 기준에 따라 해당 부분을 제외했다. [37:04]

20. 도구는 작업별 강점에 따라 나눠 쓴다

• 도구 선택에는 보수적인 편이며, Claude Code와 Codex를 작업별로 나눠 사용한다. macOS 자체를 다루는 Computer Use 작업은 개인적인 경험상 Codex·ChatGPT 쪽이 더 잘한다고 평가했다. [39:03]
• 애니메이션 작업도 Codex로 시도했지만, 예술적인 표현은 다소 부족하다고 느꼈다. [39:14]

21. 반복 편집부터 자동화하고 취향을 시스템에 쌓는다

• 처음에는 무음 구간, 간투사, 반복적인 말버릇을 제거하는 기본 편집과 음량 조정부터 AI에 맡기는 방식을 권했다. 지루하고 반복적인 작업을 줄이면 효과를 바로 체감할 수 있다. [40:18]
• 이후에는 자신의 취향을 한 줄씩 기록하고 메모리로 축적한 뒤, 스킬이나 시스템으로 정리해 개인의 색깔을 가진 영상 제작 환경을 만들 수 있다. [40:39]

22. 편집 경험과 세션 관리가 결과물의 품질을 좌우한다

• 직접 편집해본 경험은 자동화할 불편을 구체적으로 지정하는 자산이 된다. 기존 작업을 영상 파일 등으로 남겨 AI에 제공하면, 자신의 편집 스타일을 출발점으로 삼을 수 있다. [41:45]
• 편집 경험이 없다면 자연어로 편집을 지시하는 연습과 컨텍스트 관리가 중요하다. 개인적인 경험상 컨텍스트 윈도 사용량이 35~40%를 넘으면 품질, 도구 선택, 스킬 참조가 나빠지는 경향이 있다고 설명했다. [42:43]

23. 편집자의 역할은 기획과 검수 쪽으로 넓어질 수 있다

• 단순 편집의 비중은 줄고 기획과 검수의 영역은 커질 것으로 전망했다. 편집자가 더 많은 작업을 받아 처리량을 늘리는 방향도 가능하다고 보았다. [44:28]
• AI로 85~90점 수준의 결과물을 만들고, 전문가가 검수하면서 미감을 보완하는 방식을 제안했다. 이는 자신이 영상 편집자라면 택할 대응 전략이다. [45:03]

24. 다음 확장은 자동화 수요가 있는 해외 시장이다

• Hermes Agent로 영상 외에도 투자, 마케팅, 리드 관리, CRM을 자동화하고 있으며, 앞으로는 글로벌 진출을 위한 작업을 더 해볼 계획이다. [45:55]
• 국내의 치열한 경쟁을 고려해, AI 활용이 상대적으로 뒤처졌지만 자동화 수요가 있는 지역을 공략하려 한다. 대량 콜드 메일로 해외 고정 고객을 확보하면 지속적인 수익원이 될 수 있다고 기대했다. [46:40]

25. 교육과 시스템 공유를 확대하고 현재의 한계는 이후 모델에서 재시도한다

• 채널에서 SNS 자동화 오프라인 강의를 진행하고 있으며, 내년부터는 커뮤니티 모집을 더 적극적으로 하고 자동화 시스템 공유와 강의도 이어갈 계획이다. [47:25]
• 현재 잘되지 않거나 AI의 한계가 뚜렷한 작업에는 지나치게 매달리지 않고, 더 좋은 업데이트나 다음 모델이 나왔을 때 다시 시도하는 접근이 마무리의 핵심 조언이다. [48:09]

🧾 결론

• 제작 자동화의 완성도는 대본뿐 아니라 레퍼런스, 취향 체크리스트, 반복 피드백의 축적에 달려 있다.
• 사람은 커리큘럼과 표현 방향을 정하고, 완성본의 미감과 학습 전달력을 끝까지 확인해야 한다.
• 모델 발전에 따라 기존 제약을 수정하거나 제거할 수 있도록 시스템을 가볍게 유지하는 접근이 제시된다.
• 짧은 영상의 자율 제작과 긴 강의의 챕터별 승인은 작업 특성에 맞게 함께 활용할 수 있다.

📈 투자·시사 포인트

• GPU 투자는 제작량과 활용 범위를 함께 따져야 한다. 편당 비용 절감만으로 장비값을 회수하려면 많은 제작량이 필요하며, 보안·통제권·다른 작업에서의 활용 가치도 판단 요소다.
• 비용 비교에서는 추정치와 실제 지출을 구분해야 한다. 영상에서 제시한 API 비용과 전기요금은 대략적인 계산이며, 장비 가격도 촬영 시점의 사례다.
• 토큰 총량만으로 비용을 추산하면 왜곡될 수 있다. 출연자는 92억 토큰의 98%가 캐시였고 실제 작업은 200달러 구독 플랜으로 수행했다고 설명한다. API 환산액과 실제 결제액은 구분해서 읽어야 한다.
• 편집자의 역할은 기획·검수로 넓어질 수 있다. 반복 편집을 자동화하고 전문가가 미감과 전달력을 보완하면서 처리량을 늘리는 전략이 제안된다.

⚠️ 불확실하거나 확인이 필요한 부분

• AI 작업 비중 약 90%, 쇼츠 제작 약 두 시간, 강의 제작 기간 단축은 출연자의 사례다. 다른 제작 환경에서도 같은 성과가 나오는지는 확인되지 않았다.
• API 비용 약 2천~6천 원과 GPU 전기요금 약 50~100원은 추정치다. 장비 구입비 회수도 수백 편 또는 천 편 이상으로 설명돼, 적용하는 가격과 제작 조건을 구분해야 한다.
• 교체한 알리바바 립싱크 모델의 정확한 이름과 재현 가능한 설정은 제공된 자료에 없다. 시연에서도 치아 색상 변화가 관찰됐다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 기존 영상 한 편에서 무음·간투사 제거와 음량 조정부터 자동화하고, 반복 편집에 드는 부담이 얼마나 줄었는지 확인한다.
• 자신의 편집 영상과 우수 레퍼런스를 모아 선호하는 연출, 피하고 싶은 표현, 브랜드 색상·폰트를 체크리스트로 정리한다.
• 짧은 대본으로 자료 수집부터 렌더링까지 실행하고, 문제가 있는 구간만 지정해 수정한 뒤 재발 방지 기준을 스킬에 반영한다.
• 긴 강의는 커리큘럼을 먼저 확정하고 익숙하지 않은 실습을 리허설한다. 챕터별 검수와 초보자의 이해 가능성을 공개 기준에 포함한다.

❓ 열린 질문

• 사람의 검수 시간을 포함하면 영상 유형별로 실제 제작 시간과 편당 비용은 얼마나 줄어드는가?
• 초보자의 이해 가능성을 확인할 때 제작자의 판단을 보완할 검수 방식은 무엇인가?
• 제작량과 다른 GPU 활용도를 어느 수준으로 가정해야 로컬 장비 구매가 API 사용보다 유리해지는가?