Writing automation workshop with Mike Taylor at Every Think Week

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Writing automation workshop with Mike Taylor at Every Think Week를 중심으로, 자동화의 출발점은 저자의 실제 통찰이다. 마이크의 에이전시는 리드의 60%를 블로그에서 얻었지만 글 한 편에 하루가 필요했를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 자동화의 출발점은 저자의 실제 통찰이다. 마이크의 에이전시는 리드의 60%를 블로그에서 얻었지만 글 한 편에 하루가 필요했다. 자동화는 경험과 지식을 공개하는 부담을 줄이는 수단이며, 저자는 완성된 글의 내용을 이해하고 주장을 책임질 수 있어야 한다.
2. 문체 개선은 원문과의 상대 비교로 판단한다. 기존 글에서 사실·통계·인용을 남기고 표현 방식을 제거해 브리프를 만든다. 같은 브리프로 기존 스킬과 수정한 스킬이 각각 작성한 결과를 실제 원문과 비교해, 어느 쪽이 더 가까운지 판정한다.
3. 좋은 예시를 고르고 평가 자료를 분리해야 한다. 실제 구성은 학습용 105편, 튜닝용 26편, 최종 평가용 54편이었다. 약 10편으로 시작할 수 있다는 제안은 있지만, 평가용 두 편만으로는 충분한 검증이 어렵다. 시기와 매체에 따라 문체가 달라지므로 목표 형식에 맞는 자료를 선별해야 한다.
4. 반복 최적화는 문체 적합도와 편집 부담을 개선했다. 소개된 최적화 실험에서 비교 평가 승률은 약 50%에서 75%, 이후 약 90%로 높아졌고 토큰 비용은 약 50달러였다. 별도로 마이크는 스킬 개선 후 편집 시간이 두어 시간에서 약 20분으로 줄었다고 설명했으며, 당시 이 방식으로 발행한 글은 대략 여섯∼일곱 편이었다.
5. 문체 재현과 좋은 글쓰기는 별도로 판단해야 한다. 개인 문체 평가에서는 Sonnet이 Opus보다 좋은 결과를 냈지만, 마이크는 내용의 지적인 충실함을 고려해 실제 집필에는 Opus를 선택했다. 사람은 제목·도입부·개인적 일화와 독자의 관심을 보완하고, 중요한 발행물에는 편집자의 판단을 더한다.

🧩 배경과 문제 정의

• 마이크 테일러가 운영했던 마케팅 에이전시는 리드의 60%를 블로그에서 얻었다. 경험과 지식을 글로 공유하는 일은 고객 확보에 중요했지만, 수작업으로 글 한 편을 쓰는 데 하루가 걸렸다.
• 유용한 아이디어를 가진 사람도 시간 부족과 글쓰기 부담 때문에 지식을 널리 전달하지 못한다. 글쓰기 자동화의 목적은 이런 부담을 줄여 실제 경험에서 나온 통찰을 공개하도록 돕는 데 있다.
• 핵심 과제는 AI가 저자의 생각과 고유한 문체를 얼마나 충실하게 재현하는지 평가하는 것이다. 완전 자동화나 AI 탐지 회피보다, 저자가 내용을 이해하고 책임질 수 있는 글을 만드는 일이 우선한다.

🕒 시간순 섹션별 상세정리

1. 글 한 편에 하루가 걸리는 지식 공유의 병목

• 블로그는 에이전시 리드의 60%를 만들어냈지만, 유용한 경험을 동료나 지인에게 이야기하는 것과 이를 공개된 글로 만드는 것 사이에는 큰 간극이 있었다. 다른 업무를 하면서 하루 종일 글쓰기에 매달리기는 어려웠다 [02:09]
• 수작업으로 글을 쓸 때는 하루를 들이고도 마감 직전까지 완성 여부를 걱정했다. 자동화로 줄이려는 부담은 이런 불안과 노동이며, 좋은 아이디어가 있어도 자연스럽게 글을 쓰지 못하는 사람에게 특히 필요하다 [03:13]

2. 자동화의 전제는 저자가 가진 실제 통찰

• 이 방식은 콘텐츠 마케팅을 전부 자동화해 글을 쏟아내는 용도가 아니다. 다른 사람이 모르는 경험과 통찰이 먼저 있어야 하며, 공유할 아이디어가 없는 사람에게는 작동하지 않는다 [04:03]
• AI를 대필자로 활용하더라도 완성된 글이 자신의 생각과 일치하는지 읽고 확인하고, 그 주장을 스스로 방어할 수 있어야 한다는 기준을 둔다 [04:34]

3. 완전 자동화의 공허함과 AI 사용 공개

• GPT-4 무렵에는 링크드인과 글쓰기를 완전히 자동화했고, AI로 작성한 전자책도 고객이 직접 쓴 글과 구별하지 못했다. 그러나 독자가 칭찬하는 글의 내용을 정작 자신이 기억하지 못하는 상황은 만족감보다 정체성의 혼란을 만들었다 [04:53]
• “내 문체로 써 달라”는 요청만으로 실제 문체가 재현되지는 않는다. 모델은 이런 용도로 훈련되지 않았고, 사칭을 막는 훈련이 영향을 줄 가능성도 있다는 설명이며, 결과물에는 여전히 AI 특유의 흔적이 남을 수 있다 [05:44]

4. 절대 점수보다 실제 원문에 가까운 글을 고르는 평가

• 수많은 생성 글을 직접 읽으며 문체를 판단하는 대신, 자신의 글과 닮았는지 자동으로 검사하는 평가 지표를 만든 것이 핵심 돌파구였다 [06:46]
• 게시한 원문과 글 작성에 필요한 브리프를 준비하고, Claude가 기본적으로 만든 스킬의 결과와 개선한 스킬의 결과를 비교한다. 판정 질문은 두 결과 중 어느 쪽이 실제 원문에 더 가까운지다 [08:25]

5. 학습 자료와 별도로 남겨야 하는 평가 자료

• 글쓰기 자료가 거의 없는 초보자에게는 이 방식의 효용이 제한적이다. 출발점으로는 자신의 글 약 10편을 권하지만, 스킬을 만드는 데 쓸 예시와 별도로 평가용 자료를 남겨야 한다 [11:12]
• 실제 구성은 학습용 105편, 튜닝용 26편, 최종 평가용 54편이었다. 학습용 글은 Claude가 문체의 특징을 살피고 스킬 수정 가설을 만드는 데 사용한다 [11:33]

6. 원하는 출력 형식과 현재 문체에 맞는 데이터 선별

• 학습 자료는 원하는 결과물과 같은 형태여야 한다. 개인 블로그 Saxifrage의 글 58편, Latter의 글 34편, Every의 글 28편 등을 모았지만, 시간이 흐르며 문체가 달라져 자료 범위를 좁힐 필요가 있었다 [12:37]
• 서로 다른 시기의 글을 섞자 스킬이 Latter용 문체와 Every용 문체를 따로 구분했다. 트윗, 링크드인 게시물, 장문, 대본처럼 형식이 다르면 별도 스킬을 만드는 편이 적절하다 [13:00]

7. AI 흔적 제거와 고유 문체 재현을 구분하는 개선 루프

• 글을 인간적으로 보이게 만들거나 Pangram 검사를 통과하는 것과 특정 저자처럼 쓰는 것은 다른 목표다. 이 작업의 목표는 탐지 회피가 아니라 마이크 자신의 문체를 재현하는 데 있다 [14:59]
• Claude에 스킬을 계속 수정해 비교 평가를 통과하도록 목표를 주고, 같은 브리프를 기존 스킬과 새 스킬로 각각 작성하게 한다. 별도의 판정자가 실제 게시 글에 더 가까운 결과를 고른다 [15:31]

8. 평가를 통해 발견한 문체 규칙과 제목의 영향

• 스킬은 마케팅 에이전시 운영, 공동 집필, 제품 개발처럼 글에서 반복되는 이력뿐 아니라 문장의 어조와 구성도 추출했다. 진지하고 절제된 문단 중심의 설명, 중간 이상 길이의 문장, 일상적인 어휘, 제한적인 유머 등이 포함됐다 [17:17]
• 도입부, 개념 정의, 근거와 경험을 다루는 방식도 Claude가 구성했다. 사람이 읽기에 그럴듯한 스킬인지보다 실제 결과가 평가에서 나아지는지가 규칙의 채택 기준이다 [18:37]

9. 원문의 문체를 제거한 브리프로 재현 능력 시험

• 출발 자료는 자신이 만족하는 글이어야 한다. 초기 예시의 품질이 이후 스킬을 결정하므로, 부실한 자료가 많으면 결과물의 품질도 떨어질 수 있다 [19:47]
• 기존 글에서 문체를 걷어내고 작성에 필요했던 정보만 브리프로 남긴다. 통계, 실제 인용문, 핵심 사실 등은 보존하되 표현 방식은 제거해야 한다 [20:35]

10. 데이터 선별과 발행본 재학습으로 줄어드는 편집 부담

• 초기에는 데이터셋을 세심하게 만들고 결과가 나쁜 예시를 빼거나 새 예시를 추가해야 한다. 사람이 문체 규칙을 직접 추출하기보다 좋은 자료를 고르는 데 집중하고, 규칙의 작성과 시험은 AI에 맡기는 접근이다 [21:55]
• 스킬이 개선되면서 편집 시간은 두어 시간에서 약 20분으로 줄었다. 이 방식으로 발행한 글은 당시 대략 여섯∼일곱 편이었으며, 수정한 발행본을 추가해 새 평가를 통과하는지 다시 최적화할 수 있다 [22:49]

11. 소셜 대화에서 아이디어를 얻고 글쓰기 단계에 자동화 적용

• 과거에는 소셜 게시도 자동화했지만, 현재는 직접 참여한다. 대화에 참여하는 과정 자체가 무엇을 쓸지에 대한 영감을 주기 때문이다 [24:19]
• 좋은 아이디어가 생긴 뒤에 글쓰기 스킬을 사용한다. 목표는 탐지기를 속이는 일이 아니라 좋은 생각을 세상에 전달하는 것이며, 트위터와 슬랙에서 새로운 아이디어를 찾는 활동은 계속한다 [24:36]

12. 현재 문체를 넘어설지 여부는 ‘더 좋다’의 정의에 달림

• 현재 평가는 자신의 기존 글에 가까워지도록 최적화되어 있다. 따라서 이 방식이 저절로 기존 글보다 더 좋은 글을 만든다고 보장할 수는 없으며, 기본적으로 주어진 데이터셋을 향해 개선된다 [26:06]
• 이론적으로는 헤밍웨이 같은 다른 작가의 글을 모아 목표를 바꿀 수 있다. 다만 무엇을 더 좋은 글로 볼지 먼저 정하고, 그 기준을 데이터셋이나 새로운 평가 지표에 담아야 한다 [26:22]

13. 글이 부족할 때는 인터뷰 자막으로 목소리 수집

• 글쓰기 자료가 적다면 관심 주제에 관해 인터뷰를 받는 방법을 쓸 수 있다. 말하는 방식에 가깝게 쓰는 것을 선호하는 입장에서는 대화가 자신의 목소리를 담는 출발점이 된다 [27:21]
• 질문에 답하는 동안 자신도 미처 의식하지 못했던 관점이 드러나고, 자막에는 자주 쓰는 단어와 표현 방식이 남는다. 여러 주제로 몇 시간 인터뷰하면 상당한 분량의 자료를 얻을 수 있다는 제안이다 [27:38]

14. 새로운 통찰을 끌어내는 인간 인터뷰어의 가치

• AI도 인터뷰를 할 수 있지만, 마이크는 AI가 학습한 범위 안의 내용을 다루는 데 강하고 새로운 아이디어를 만드는 데는 상대적으로 약하다고 본다. 이미 정리된 생각을 글로 옮기는 일은 AI에 맡길 수 있다는 구분이다 [28:34]
• 실제 사람과, 특히 같은 공간에서 대화할 때 더 좋은 통찰을 얻었다는 경험을 제시한다. 상대의 질문과 반응이 자신 안의 맥락을 끌어내므로 인간 인터뷰어의 가치를 높게 평가한다 [29:00]

15. 스킬 반복 개선을 오토리서치와 연결

• Claude에 스킬을 계속 개선하도록 맡기는 반복 최적화 방식은 ‘오토리서치’로 연결된다. 카파시가 다룬 접근으로 언급하며, AI를 루프 안에서 실행하는 설명으로 계속된다 [29:43]

16. 반복 최적화로 문체 평가 승률을 높인다

• 해당 실험에서는 DSPy의 일부인 Jipa가 비교 대상보다 몇 퍼센트 정도 더 좋은 결과를 냈다. 차이가 크지는 않아 반드시 Jipa를 써야 하는 수준은 아니었다 [30:16]
• 최적화 과정에서 새 Claude 스킬의 비교 평가 승률은 약 50%에서 75%, 이후 약 90%까지 높아졌다. 이 실험의 최적화에는 토큰 비용으로 약 50달러가 들었다 [31:01]

17. 문체를 잘 맞추는 모델과 좋은 글을 쓰는 모델은 다를 수 있다

• Opus를 글쓰기와 최적화에 사용했으며, Fable은 해당 평가에서 조금 낮은 성과를 보였다. 개인 문체를 맞추는 평가에서는 Sonnet이 Opus보다 더 좋은 결과를 냈다 [31:22]
• 실제 집필에는 여전히 Opus를 선택했다. Sonnet이 문체 지시에 더 잘 맞춰질 가능성은 있지만, 글에는 문체 외에도 지적인 내용이 필요하다는 판단이다 [31:48]

18. 사람의 개입을 아이디어 준비와 결과 검토에 집중한다

• 글을 쓰면서 생각을 발전시키고 문단 연결을 다듬는 협업 방식과 달리, 이 자동화 방식은 초안 작성 중 사람의 개입을 줄이는 데 초점을 둔다 [33:22]
• 사람은 처음에 아이디어를 만들고 인터뷰와 전사문을 제공하며, Claude가 초안을 작성한 뒤 결과를 읽는다. 결과를 보고서야 빠뜨린 정보나 미처 생각하지 못한 부분을 발견하기도 한다 [33:43]

19. 전사문과 참고 자료로 초안을 만들고 매체 기준에 맞춰 수정한다

• 글쓰기 자동화 과정을 설명하는 글 자체도 자동화 스킬로 작성했다. Monologue로 전사한 설명과 참고 링크, 실험을 정리한 자료를 브리프에 넣어 글의 근거와 작성 경위를 남겼다 [35:00]
• Google Docs의 prompt 탭에 구술한 내용을 Claude에 전달해 첫 초안을 만들었다. 첫 결과는 괜찮았지만 너무 길어 피드백을 줬고, 두 번째 초안에는 이미지를 넣도록 요청했다 [35:48]

20. 사람이 보완하는 핵심은 도입부와 독자의 관심이다

• 수정 전후를 Claude로 비교했을 때, 새 도입부의 차이는 독자에게 읽어야 할 이유를 준다는 점이었다. 직접 편집하는 시간은 주로 제목과 도입부에 쓰며, 개인적 일화로 시작하는 부분은 AI가 아직 잘 처리하기 어려운 영역으로 본다. 결론이 밋밋할 때도 손질한다 [37:31]
• 비교 결과에서는 초안 문장의 52%가 완전히 그대로 유지됐다. 모델이 좋아지면 편집 격차가 줄어들 것으로 전망하지만, 현재는 개인적 일화나 더 강한 표현을 더해 독자가 관심을 가질 이유를 보완해야 한다 [38:38]

21. 스킬 공개와 개인 목소리를 반영하는 협업 기능으로 확장한다

• 최적화에는 약 한 시간이 걸려 현장 실습이 원활할지는 불확실했다. 스킬은 곧 공개할 예정이었으며, 관련 글은 당시 사람 편집자의 검토를 기다리고 있었다 [40:40]
• 방송 전사문을 에이전트에 주면 설명을 바탕으로 평가 지표를 구현할 수 있다는 제안이 나왔다. Compound Writing에도 이 기능을 선택지로 넣겠다는 계획이 있었다 [41:27]

🧾 결론

• 이 방식의 중심은 저자의 글과 닮았는지 확인하는 평가를 만들고, 그 결과에 따라 스킬을 수정하는 과정이다.
• 사람에게 남는 핵심 역할은 공유할 통찰을 만들고, 좋은 자료와 개선 기준을 정하며, 최종 글이 의도를 정확히 담았는지 확인하는 일이다.
• 기존 문체와의 유사성을 높였다고 기존 글보다 더 좋은 글이 보장되지는 않는다. 독자에게 주는 가치까지 개선하려면 그에 맞는 기준이 필요하다.
• 개인 문체를 반영한 스킬은 초안 전체를 작성하는 용도뿐 아니라, 직접 집필할 때 문단 연결 등을 제안받는 데도 활용할 수 있다.

📈 투자·시사 포인트

• 콘텐츠 제작의 생산성을 평가할 때 초안 생성뿐 아니라 자료 준비, 최적화, 최종 편집에 드는 시간을 함께 살펴볼 필요가 있다. 발표된 약 20분은 편집 시간에 관한 수치다.
• 이 사례에서는 저자가 승인한 발행본과 분리된 평가 자료가 스킬 개선의 기반이 된다. 콘텐츠를 축적할 때 목표 매체와 현재 문체에 맞게 선별하는 일이 중요해진다.
• 글쓰기 자동화 도구의 가치는 문체 평가 점수와 실제 집필 성과를 함께 봐야 판단할 수 있다. 모델별 문체 적합도 순위가 실제 집필 모델 선택으로 그대로 이어지지는 않았다.
• 초안 작성 부담이 줄어들수록 인터뷰로 통찰을 끌어내는 일과 독자의 관심을 판단하는 편집 역할에 사람이 집중할 여지가 생긴다.

⚠️ 불확실하거나 확인이 필요한 부분

• 비교 평가 승률은 해당 데이터와 판정 방식에서의 결과다. 제공된 설명만으로는 판정자의 편향, 반복 실행 시 결과의 안정성, 다른 저자에 대한 일반화 수준을 확인하기 어렵다.
• 평가용 브리프에는 핵심 정보가 이미 들어 있다. 따라서 높은 문체 점수가 주제만 받아 의도를 이해하고 내용을 구성하는 실제 집필 능력 전체를 입증하지는 않는다.
• 편집 시간 감소는 당시 대략 여섯∼일곱 편을 발행한 경험에 기반한다. 약 50달러의 토큰 비용과 약 한 시간의 최적화 시간도 모든 사용자에게 적용되는 고정 수치로 볼 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 자신이 만족하는 글을 모으고, 목표 매체·형식·현재 문체에 맞는 예시를 선별한다. 약 10편으로 시작하더라도 평가 자료가 적다는 한계를 기록한다.
• 스킬 작성용, 튜닝용, 최종 평가용 자료를 구분하고, 최종 평가 자료를 스킬 수정에 반복 사용하지 않도록 관리한다.
• 평가할 원문에서 통계·인용·핵심 사실은 보존하고 문체 표현은 제거한 브리프를 만든다.
• 같은 브리프로 기존 스킬과 수정한 스킬의 결과를 비교하고, 원문에 더 가까운 결과를 고르는 평가를 반복한다.

❓ 열린 질문

• 원문과의 문체 유사성 외에 내용의 충실함과 독자가 읽을 이유를 어떻게 평가 기준에 담을 것인가?
• 글이 부족한 저자가 인터뷰 전사문으로 시작할 때, 말하는 목소리가 원하는 글의 문체로 얼마나 잘 이어지는가?
• 승인된 발행본을 계속 추가하면서 현재 문체를 반영하고, 특정 자료에만 맞춰지는 현상을 어떻게 확인할 것인가?