Recreating Karpathy''s HackerTube: Real Human Recs, Not Algos

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Karpathy의 HackerTube를 재현한 이 영상은 Discord와 Reddit에 쌓인 실제 사람들의 영상 추천을 모아 에이전트로 나만의 YouTube형 사이트를 만드는 과정을 보여준다.

📌 핵심 요점

1. HackerTube의 핵심은 커뮤니티에서 반복 추천된 영상을 선별하는 것이다. 진행자는 플랫폼이 제공하는 추천 대신 직접 고른 데이터와 기준으로 영상을 탐색하는 방식을 재현한다.
2. 첫 실험은 Hermes agent와 영상에서 ‘Claude Opus 5.5’라고 소개한 모델을 사용한다. News Research Discord 아카이브에서 고유 영상 895개를 추출하고, 서로 다른 두 명 이상이 공유한 영상 61개를 선정한다.
3. 완성된 로컬 사이트 NewsTube는 영상 탐색·재생과 함께 추천 근거가 되는 Discord 메시지를 보여준다. 진행자는 이 구현에 약 10분이 걸렸다고 설명한다.
4. 두 번째 실험은 머신러닝 Reddit의 최근 3개월 데이터를 활용한다. 에이전트는 Arctic Shift 아카이브를 선택해 MLTube를 만들지만, 수집 속도 제한과 부족한 데이터 때문에 첫 실험과 동일한 반복 추천 조건을 적용하기 어려웠다.
5. 진행자가 강조하는 핵심 조건은 적절하고 정돈된 데이터다. 사이트 제작이 빨라도 추천의 범위·최신성·검증 가능성은 원본 커뮤니티와 아카이브 상태에 달려 있다.

🧩 배경과 문제 정의

진행자는 YouTube 추천에 불만을 느낀 Karpathy가 Claude로 HackerTube를 만들었다는 사례를 소개한다. 영상 설명에 따르면 이 프로젝트는 약 20년간의 Hacker News 댓글 4,300만 개에서 영상 6,000개 이상을 찾아낸 작업이다. 진행자가 재현하려는 핵심은 대규모 서비스의 추천을 그대로 따르는 대신, 사람들이 커뮤니티에서 추천한 기록으로 자신에게 맞는 영상 탐색 환경을 구성하는 것이다.

이를 위해 먼저 Technium이 관리하던 News Research Discord 아카이브를 사용하고, 이어 머신러닝 Reddit으로 데이터 출처를 바꿔 본다. 두 실험 모두 YouTube형 화면을 만드는 데서 출발하지만, 실제 활용도를 가르는 문제는 추천 기록의 확보, 반복 추천의 정의, 데이터 최신성, 원문 근거의 보존이다. 구현은 로컬에서 진행하며, 장기 운영이나 추천 성능의 정량 비교까지 다루지는 않는다.

🕒 시간순 섹션별 상세정리

1. HackerTube의 발상과 재현 목표

• Karpathy가 YouTube 추천에 불만을 느껴 Claude로 별도 사이트를 만들었다는 사례를 보여준다. 진행자는 Hacker News의 약 20년치 댓글 4,300만 개에서 영상 6,000개 이상을 추렸다고 보여준다. [00:35]
• 플랫폼의 추천에만 의존하지 않고 에이전트로 개인용 추천 환경을 만들 수 있다는 관점을 제시한다. Hacker News에서 여러 차례 추천된 영상으로 YouTube형 사이트를 만들라는 요청을 자신의 데이터에 적용하려 한다. [01:38]
• Agent Wikis의 지식베이스와 유료 상품을 소개하는 홍보 구간을 거친 뒤 제작 시연으로 돌아온다. [02:18]

2. Discord 데이터 선택과 제작 요청

• Hermes agent와 ‘Claude Opus 5.5’를 사용한다고 드러낸다. Technium의 News Research Discord 아카이브를 고른 이유는 사람들이 주제별 영상을 묻고 추천하는 기록이 있기 때문이다. [03:16]
• 해당 아카이브에서 반복 추천된 영상으로 YouTube형 사이트를 만들도록 요청한다. 화면 구성과 추천 목록을 실제 사람들의 추천 기록에 맞추는 것이 목표다. [03:52]
• 진행자는 YouTube 연결에 Google Cloud에서 발급하는 API 키가 필요할 것으로 예상한다. 별도 VPS 배포 대신 로컬 실행으로 범위를 정한다. [04:18]

3. NewsTube 완성과 데이터 품질의 중요성

• 에이전트가 Python 추출 스크립트로 고유 영상 895개를 찾고, 반복 추천 후보 61개를 선정한다. 추천 항목에서 원본 메시지로 이동하도록 Discord 채널 ID를 추가한 뒤 사이트를 구성한다. [05:09]
• 로컬에서 실행된 NewsTube에는 서로 다른 두 명 이상이 공유한 영상 61개가 담긴다. 진행자는 영상 재생과 Discord 메시지 표시를 확인하고, API 키를 새로 입력하지 않았지만 기존 설정이 있었을 가능성을 언급한다. [06:23]
• 진행자는 제작에 10분이 채 걸리지 않았다고 보여준다. 아카이브의 갱신 시점은 아쉬운 점으로 꼽고, 정돈된 Discord 데이터를 확보한 것이 성공의 핵심이었다고 강조한다. [06:56]

4. Reddit으로 확장한 MLTube 실험

• 머신러닝 Reddit을 두 번째 출처로 선택한다. Reddit API와 Arctic Shift 중 후자를 사용하지만 수집 속도 제한이 있어, 가능성을 확인하는 용도로 3개월치 데이터만 다룬다. [07:50]
• 데이터가 적어 추천 기준에 관한 설명이 달라진다. 완성된 MLTube에서는 영상별 공유 횟수와 상위 채널을 살펴보며, 일부 영상이 두 번 이상 공유된 기록도 확인한다. [08:42]
• 추천 근거를 따라가던 중 Reddit에서 삭제된 게시물을 발견한다. 일부 사용자 댓글은 확인할 수 있지만, 아카이브의 기록과 현재 원문 접근 상태가 다를 수 있음을 보여준다. [09:05]

5. 두 실험의 정리와 개인화 소프트웨어의 가능성

• 진행자는 적절한 출처가 있으면 여러 데이터를 함께 모을 수도 있다고 드러낸다. 특히 Discord 기반 결과를 긍정적으로 평가하며, 공개와 최신 추천 갱신을 검토할 뜻을 드러낸다. [09:23]
• Discord와 Reddit을 활용해 실제 사람의 추천에 기반한 영상 플랫폼 두 개를 만들었다고 정리한다. 각 실험이 약 10분 수준이었다며 관심사에 맞는 소프트웨어를 빠르게 만드는 가능성을 강조한다. [09:59]
• 시청자에게 어떤 맞춤형 YouTube를 만들고 싶은지 의견을 요청하며 영상을 마친다. [10:13]

🧾 결론

• 사람들의 추천 이력을 재료로 삼으면 관심 커뮤니티에 맞춘 영상 탐색 사이트를 직접 구성할 수 있다.
• 이번 시연에서는 Discord와 Reddit을 각각 활용한 두 사이트를 만들었다. 다만 두 결과의 선별 조건과 데이터 충실도는 같지 않다.
• 빠른 구현은 시연됐지만, 추천 품질의 우월성이나 지속 운영의 안정성을 검증하는 비교 실험은 제시되지 않았다.
• 실용성을 유지하려면 데이터 갱신과 원문 연결 상태를 관리하고, 반복 공유가 실제 추천을 의미하는지 확인해야 한다.

📈 투자·시사 포인트

• 개인화 소프트웨어의 제작 문턱이 낮아지는 사례다. 진행자는 자신의 관심사에 맞춘 영상 플랫폼 두 개를 각각 짧은 시간에 구현했다고 설명한다.
• 커뮤니티 데이터의 활용 가치가 드러난다. 정돈된 아카이브와 추천 맥락을 확보하면 별도의 탐색 서비스를 만드는 재료로 사용할 수 있다.
• 플랫폼 추천을 그대로 소비하는 대신, 사용자가 데이터 출처와 선별 기준을 정하는 선택지가 제시된다. 다만 영상 재생과 원문 접근은 여전히 외부 서비스에 연결된다.
• 영상은 제작 시연에 집중하며 수익성·운영 비용·사용자 유지율 자료를 제공하지 않는다. 이를 특정 기업이나 서비스의 투자 성과로 연결할 근거는 부족하다.

⚠️ 불확실하거나 확인이 필요한 부분

• Discord 아카이브의 마지막 갱신 시점이 일관되지 않다. 초반에는 8월 중순이라고 설명하지만 후반에는 4월 중순 또는 8월 중순이라고 말한다.
• YouTube API 키의 필요 여부가 확정되지 않았다. 처음에는 필요하다고 예상했지만, 실행 후에는 새로 입력하지 않았으며 기존 키가 있었을 가능성도 언급한다.
• Reddit 실험의 ‘추천 하나’라는 설명은 의미가 모호하다. 이후 여러 영상과 반복 공유 횟수를 보여주므로, 최종 영상 수가 한 개였다고 단정할 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 관심 커뮤니티에서 영상 추천이 자주 등장하는 데이터 출처를 고르고, 수집 가능한 기간과 마지막 갱신 시점을 확인한다.
• 영상 URL 중복을 정리하고, 전체 고유 영상 수와 서로 다른 추천자 수를 구분해 집계한다.
• ‘서로 다른 두 명 이상이 공유한 영상’처럼 선별 기준을 명시하고, 결과 일부를 원문 메시지와 대조한다.
• 추천 근거 메시지와 원문 링크를 사이트에 함께 표시하고, 삭제된 게시물에서도 어떤 정보가 남는지 점검한다.

❓ 열린 질문

• 반복 공유 횟수와 추천자의 다양성 중 어떤 기준이 자신의 관심사에 맞는 영상을 더 잘 골라낼까?
• 오래된 아카이브의 추천 가치와 최신 영상의 발견 가능성을 어떻게 함께 반영할 수 있을까?
• Discord와 Reddit처럼 성격이 다른 출처를 합칠 때 추천 빈도와 선별 조건을 어떻게 맞출까?