YouTubeChase AI·2026년 11월 17일·0

STOP Using These Claude Code Plugins (You''re Nerfing Yourself)

Quick Summary

발표자가 인기 Claude Code 플러그인 5종을 시험한 결과, 다섯 도구 모두 기본 설정보다 비용이나 시간이 더 들었고, 그 부담을 상쇄할 만큼 뚜렷한 품질 향상은 관찰되지 않았다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

STOP Using These Claude Code Plugins (You''re Nerfing Yourself) 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

STOP Using These Claude Code Plugins (You''re Nerfing Yourself)의 핵심 내용을 4단계로 요약한 인포그래픽
STOP Using These Claude Code Plugins (You''re Nerfing Yourself) 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

발표자가 인기 Claude Code 플러그인 5종을 시험한 결과, 다섯 도구 모두 기본 설정보다 비용이나 시간이 더 들었고, 그 부담을 상쇄할 만큼 뚜렷한 품질 향상은 관찰되지 않았다.

📌 핵심 요점

  1. Superpowers는 두 번째 코딩 과제를 기본 설정보다 2분 30초 빨리 끝냈지만 비용은 32센트에서 37센트로 늘었다. 숙소 예약 웹앱을 만들 때는 비용이 약 두 배였고, 발표자가 보기에 두 결과물은 거의 같았다.
  2. Caveman을 쓴 개발 질의응답은 단어 수가 5% 줄었지만 답변당 비용은 8% 늘었다. 답변 점수도 기본 설정 94.3점, Caveman 94.1점으로 비슷했다. 발표자는 간결한 답변을 유도하는 지침 자체가 입력 토큰을 쓴다는 점을 이유로 들었다.
  3. Graphify는 코드베이스를 지식 그래프로 만들어 탐색을 돕는 도구다. Textual 실험에서 질문당 읽은 토큰은 기본 설정 25만 8천 개, Graphify 28만 8천 개였다. 세션 비용은 24% 늘었고 답변 점수는 93점에서 89.1점으로 낮아졌다.
  4. Claude Mem과 기본 내장 메모리는 첫 세션에서 알려 준 규칙을 세 번째 세션에서 활용하는 세 가지 시나리오에서 같은 점수를 받았다. Claude Mem의 비용은 4센트 더 들었다.
  5. ECC를 쓰자 작업을 요청하기 전부터 차지하는 컨텍스트가 2만 3,800토큰에서 5만 3,000토큰으로 늘었다. 첫 코딩 과제에서는 두 설정이 같은 테스트를 통과했지만, ECC는 2.93달러와 13.7분을 사용했다.

🧩 배경과 문제 정의

Superpowers와 ECC는 개발 절차를 더하고, Caveman은 답변을 줄이며, Graphify와 Claude Mem은 각각 코드 탐색과 세션 간 기억을 돕는다. 발표자는 서로 다른 기능을 하나의 시험으로 순위 매기는 대신, 각 도구가 내세운 효용을 플러그인 없는 Claude Code와 비교했다. 질문은 간단하다. 기본 모델도 같은 일을 해낼 때, 플러그인이 추가로 쓰는 토큰과 시간만큼 결과가 좋아지는가?

🕒 시간순 섹션별 상세정리

1. 인기 플러그인 다섯 개를 다시 시험한 이유

  • 발표자는 다섯 플러그인의 GitHub 별 수를 합치면 100만 개가 넘지만, 자신의 비교에서는 모두 비용이나 시간이 더 들었다고 드러낸다. 한 과제에서는 같은 결과를 얻는 데 비용이 약 다섯 배 들었다고 보여준다. [00:36]

2. 도구마다 약속한 기능에 맞춘 과제

  • 코딩 도구에는 응답에 요청 ID를 붙이는 기능 추가, HTTPX의 보안 결함 수정, Textual 터미널 재고 가져오기 앱 제작을 맡겼다. [03:25]
  • Caveman은 개발 질의응답으로, Graphify는 대규모 저장소 탐색으로, Claude Mem은 세션 간 규칙 회상으로 평가했다. 웹앱 제작 과제도 별도로 포함했다. [04:05]

3. Superpowers가 시간을 줄인 예외

  • 두 번째 코딩 과제에서는 기본 설정보다 2분 30초 빨랐고 비용은 5센트 더 들었다. 세 번째 과제에서는 실행 시간이 4.7분에서 14.5분으로 늘었다. [05:41]
  • 숙소 예약 웹앱은 기본 설정에서 2.84달러와 14분이 들었다. Superpowers는 비용이 약 두 배였고 시간도 거의 두 배 걸렸지만, 발표자는 화면을 나란히 보고 차이가 거의 없다고 평가했다. [06:23]

4. Caveman의 짧은 답변에 든 비용

  • 개발 질문 20개에 각각 두 번씩 답하게 했다. Caveman의 답변당 비용은 기본 설정보다 8% 높았다. 간결한 응답을 선호하도록 설정한 별도 비교군은 토큰을 23% 줄였지만 점수도 90.1점으로 낮아졌다. [07:35]
  • 기본 설정과 Caveman의 점수는 각각 94.3점과 94.1점이었다. Caveman의 답변은 단어 수가 5% 적었고, 발표자는 스킬 지침을 읽는 데 들어간 토큰이 절감 효과를 상쇄했다고 설명했다. [07:57]

5. Graphify의 지식 그래프와 기본 탐색 비교

  • 약 1,500개 파일이 있는 Textual에서 어려운 질문 12개와 코딩 과제 2개를 설정별로 두 번씩 수행했다. 질문당 읽은 토큰은 기본 설정 25만 8천 개, Graphify 28만 8천 개였다. [09:10]
  • 블라인드 채점에서 기본 설정은 93점, Graphify는 89.1점이었다. 발표자 집계로 Graphify의 세션 비용은 24% 높았고 실행 시간은 30% 길었다. [09:41]

6. Claude Mem과 내장 메모리의 회상 성적

  • 첫 세션에서 알려 준 규칙을 세 번째 세션에서 필요할 때 꺼내 쓰는지 세 가지 시나리오로 살폈다. 기본 내장 메모리와 Claude Mem의 점수는 같았고 비용 차이는 4센트였다. [12:01]

7. ECC가 작업 시작 전에 차지한 컨텍스트

  • 첫 코딩 과제에서 ECC는 기본 설정과 같은 테스트를 통과하는 데 2.93달러와 13.7분을 썼다. 두 번째 과제는 약 1분 빨랐지만 비용은 약 네 배였다. [12:57]
  • 여러 에이전트와 스킬을 포함한 ECC를 쓰면 시작 컨텍스트가 2만 3,800토큰에서 5만 3,000토큰으로 늘었다. 발표자는 터미널 앱과 웹앱의 결과물에서도 뚜렷한 개선을 보지 못했다고 말했다. [13:44]

8. 모델이 발전하면 달라지는 개발 절차

  • 발표자는 모델이 복잡한 작업을 처리하는 능력이 향상되면서, 과거에 유용했던 상세 지침과 브레인스토밍 절차의 이점이 줄었다고 해석했다. [14:47]

9. 설치 목록 점검과 재검증

  • 현재 설정을 점검해 최근 3개월간 쓰지 않은 항목을 추리고, 계속 쓰는 플러그인도 대표 작업에서 비용·속도·출력을 기본 설정과 나란히 비교하라고 권했다. [16:37]
  • 발표자는 자신도 해당 도구들을 여러 프로젝트에서 사용했다고 돌아봤다. 모델이 바뀌면 오픈소스 플러그인을 용도에 맞게 수정할 수 있으며, 과거의 성과가 지금도 이어지는지 판단할 기준은 사용자가 실제로 쓰는 시간과 비용이라고 마무리했다. [17:57]

🧾 결론

  • 기본 Claude Code만으로도 코딩 과제를 완료하고 세션 간 규칙을 기억했다. 플러그인의 기여를 판단하려면 기본 설정이 이미 해내는 일부터 확인해야 한다.
  • 평가 지표에 따라 판단이 달라진다. Superpowers는 일부 작업에서 시간을 줄였고, Caveman은 답변을 짧게 만들었다. 어느 쪽도 해당 실험에서 비용 절감으로 이어지지는 않았다.
  • 발표자도 과거 여러 프로젝트에서 이 도구들을 사용했다. 그의 결론은 모델이 바뀔 때마다 익숙한 플러그인이 여전히 제값을 하는지 다시 측정하자는 것이다.

📈 투자·시사 포인트

  • 개발 도구 예산을 검토할 때는 같은 테스트를 통과한 결과물 한 건에 얼마를 썼고 얼마나 기다렸는지 비교할 수 있다. ECC 사례에서는 두 지표 모두 차이가 컸다.
  • 토큰 절감을 내세우는 제품은 출력 길이와 전체 사용량을 함께 봐야 한다. Caveman 사례처럼 답변이 짧아져도 지침을 읽는 데 드는 비용 때문에 총비용은 늘 수 있다.
  • GitHub 별 수는 도구에 대한 관심을 보여 준다. 도입 효과를 추정할 때는 저장소에 게시된 수치의 측정 조건이 팀의 모델, 코드베이스, 작업 유형과 얼마나 비슷한지도 살펴야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 수치는 발표자가 선택한 저장소와 과제에서 얻은 결과다. Graphify 비교는 각 설정을 두 번 실행했으며, 다른 규모의 저장소나 더 긴 사용 기간에서도 같은 차이가 나는지는 확인되지 않았다.
  • 코딩 과제의 테스트 통과, 모델이 블라인드로 채점한 답변 점수, 웹앱을 나란히 본 발표자의 평가는 서로 다른 품질 지표다. 특히 웹앱이 거의 같았다는 평가는 장기 유지보수성까지 검증한 결과로 읽기 어렵다.
  • 첫 코딩 과제의 기본 실행 시간은 전사 앞부분과 뒤쪽 ECC 비교에서 다르게 언급된다. 이 과제의 정확한 시간 배수는 확정하기 어렵다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 최근 3개월간 사용한 스킬과 플러그인을 살펴보고, 사용 기록이 없는 항목을 정리 후보로 표시한다.
  • 자주 하는 코딩·탐색·기억 과제 중 하나를 골라 기본 설정과 플러그인 설정으로 각각 실행한다. 같은 완료 기준을 적용하고 비용, 소요 시간, 결과 품질을 함께 기록한다.
  • 토큰 절감 도구를 평가할 때는 답변 길이뿐 아니라 시작 시점의 컨텍스트와 작업 전체의 토큰 사용량을 확인한다.
  • 모델을 바꾼 뒤에는 이전에 효과가 컸던 플러그인부터 같은 과제로 다시 비교한다.

❓ 열린 질문

  • 어떤 유형의 코딩 과제에서 Superpowers가 보인 시간 단축이 반복되며, 그때 절약한 시간은 추가 비용만큼 가치가 있는가?
  • 같은 저장소를 장기간 탐색하거나 세션 사이의 간격과 기억할 규칙 수가 늘어나면 Graphify와 Claude Mem의 결과는 어떻게 달라질까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.