STOP Using These Claude Code Plugins (You''re Nerfing Yourself)
Quick Summary
발표자가 인기 Claude Code 플러그인 5종을 시험한 결과, 다섯 도구 모두 기본 설정보다 비용이나 시간이 더 들었고, 그 부담을 상쇄할 만큼 뚜렷한 품질 향상은 관찰되지 않았다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
발표자가 인기 Claude Code 플러그인 5종을 시험한 결과, 다섯 도구 모두 기본 설정보다 비용이나 시간이 더 들었고, 그 부담을 상쇄할 만큼 뚜렷한 품질 향상은 관찰되지 않았다.
📌 핵심 요점
- Superpowers는 두 번째 코딩 과제를 기본 설정보다 2분 30초 빨리 끝냈지만 비용은 32센트에서 37센트로 늘었다. 숙소 예약 웹앱을 만들 때는 비용이 약 두 배였고, 발표자가 보기에 두 결과물은 거의 같았다.
- Caveman을 쓴 개발 질의응답은 단어 수가 5% 줄었지만 답변당 비용은 8% 늘었다. 답변 점수도 기본 설정 94.3점, Caveman 94.1점으로 비슷했다. 발표자는 간결한 답변을 유도하는 지침 자체가 입력 토큰을 쓴다는 점을 이유로 들었다.
- Graphify는 코드베이스를 지식 그래프로 만들어 탐색을 돕는 도구다. Textual 실험에서 질문당 읽은 토큰은 기본 설정 25만 8천 개, Graphify 28만 8천 개였다. 세션 비용은 24% 늘었고 답변 점수는 93점에서 89.1점으로 낮아졌다.
- Claude Mem과 기본 내장 메모리는 첫 세션에서 알려 준 규칙을 세 번째 세션에서 활용하는 세 가지 시나리오에서 같은 점수를 받았다. Claude Mem의 비용은 4센트 더 들었다.
- ECC를 쓰자 작업을 요청하기 전부터 차지하는 컨텍스트가 2만 3,800토큰에서 5만 3,000토큰으로 늘었다. 첫 코딩 과제에서는 두 설정이 같은 테스트를 통과했지만, ECC는 2.93달러와 13.7분을 사용했다.
🧩 배경과 문제 정의
Superpowers와 ECC는 개발 절차를 더하고, Caveman은 답변을 줄이며, Graphify와 Claude Mem은 각각 코드 탐색과 세션 간 기억을 돕는다. 발표자는 서로 다른 기능을 하나의 시험으로 순위 매기는 대신, 각 도구가 내세운 효용을 플러그인 없는 Claude Code와 비교했다. 질문은 간단하다. 기본 모델도 같은 일을 해낼 때, 플러그인이 추가로 쓰는 토큰과 시간만큼 결과가 좋아지는가?
🕒 시간순 섹션별 상세정리
1. 인기 플러그인 다섯 개를 다시 시험한 이유
- 발표자는 다섯 플러그인의 GitHub 별 수를 합치면 100만 개가 넘지만, 자신의 비교에서는 모두 비용이나 시간이 더 들었다고 드러낸다. 한 과제에서는 같은 결과를 얻는 데 비용이 약 다섯 배 들었다고 보여준다. [00:36]
2. 도구마다 약속한 기능에 맞춘 과제
- 코딩 도구에는 응답에 요청 ID를 붙이는 기능 추가, HTTPX의 보안 결함 수정, Textual 터미널 재고 가져오기 앱 제작을 맡겼다. [03:25]
- Caveman은 개발 질의응답으로, Graphify는 대규모 저장소 탐색으로, Claude Mem은 세션 간 규칙 회상으로 평가했다. 웹앱 제작 과제도 별도로 포함했다. [04:05]
3. Superpowers가 시간을 줄인 예외
- 두 번째 코딩 과제에서는 기본 설정보다 2분 30초 빨랐고 비용은 5센트 더 들었다. 세 번째 과제에서는 실행 시간이 4.7분에서 14.5분으로 늘었다. [05:41]
- 숙소 예약 웹앱은 기본 설정에서 2.84달러와 14분이 들었다. Superpowers는 비용이 약 두 배였고 시간도 거의 두 배 걸렸지만, 발표자는 화면을 나란히 보고 차이가 거의 없다고 평가했다. [06:23]
4. Caveman의 짧은 답변에 든 비용
- 개발 질문 20개에 각각 두 번씩 답하게 했다. Caveman의 답변당 비용은 기본 설정보다 8% 높았다. 간결한 응답을 선호하도록 설정한 별도 비교군은 토큰을 23% 줄였지만 점수도 90.1점으로 낮아졌다. [07:35]
- 기본 설정과 Caveman의 점수는 각각 94.3점과 94.1점이었다. Caveman의 답변은 단어 수가 5% 적었고, 발표자는 스킬 지침을 읽는 데 들어간 토큰이 절감 효과를 상쇄했다고 설명했다. [07:57]
5. Graphify의 지식 그래프와 기본 탐색 비교
- 약 1,500개 파일이 있는 Textual에서 어려운 질문 12개와 코딩 과제 2개를 설정별로 두 번씩 수행했다. 질문당 읽은 토큰은 기본 설정 25만 8천 개, Graphify 28만 8천 개였다. [09:10]
- 블라인드 채점에서 기본 설정은 93점, Graphify는 89.1점이었다. 발표자 집계로 Graphify의 세션 비용은 24% 높았고 실행 시간은 30% 길었다. [09:41]
6. Claude Mem과 내장 메모리의 회상 성적
- 첫 세션에서 알려 준 규칙을 세 번째 세션에서 필요할 때 꺼내 쓰는지 세 가지 시나리오로 살폈다. 기본 내장 메모리와 Claude Mem의 점수는 같았고 비용 차이는 4센트였다. [12:01]
7. ECC가 작업 시작 전에 차지한 컨텍스트
- 첫 코딩 과제에서 ECC는 기본 설정과 같은 테스트를 통과하는 데 2.93달러와 13.7분을 썼다. 두 번째 과제는 약 1분 빨랐지만 비용은 약 네 배였다. [12:57]
- 여러 에이전트와 스킬을 포함한 ECC를 쓰면 시작 컨텍스트가 2만 3,800토큰에서 5만 3,000토큰으로 늘었다. 발표자는 터미널 앱과 웹앱의 결과물에서도 뚜렷한 개선을 보지 못했다고 말했다. [13:44]
8. 모델이 발전하면 달라지는 개발 절차
- 발표자는 모델이 복잡한 작업을 처리하는 능력이 향상되면서, 과거에 유용했던 상세 지침과 브레인스토밍 절차의 이점이 줄었다고 해석했다. [14:47]
9. 설치 목록 점검과 재검증
- 현재 설정을 점검해 최근 3개월간 쓰지 않은 항목을 추리고, 계속 쓰는 플러그인도 대표 작업에서 비용·속도·출력을 기본 설정과 나란히 비교하라고 권했다. [16:37]
- 발표자는 자신도 해당 도구들을 여러 프로젝트에서 사용했다고 돌아봤다. 모델이 바뀌면 오픈소스 플러그인을 용도에 맞게 수정할 수 있으며, 과거의 성과가 지금도 이어지는지 판단할 기준은 사용자가 실제로 쓰는 시간과 비용이라고 마무리했다. [17:57]
🧾 결론
- 기본 Claude Code만으로도 코딩 과제를 완료하고 세션 간 규칙을 기억했다. 플러그인의 기여를 판단하려면 기본 설정이 이미 해내는 일부터 확인해야 한다.
- 평가 지표에 따라 판단이 달라진다. Superpowers는 일부 작업에서 시간을 줄였고, Caveman은 답변을 짧게 만들었다. 어느 쪽도 해당 실험에서 비용 절감으로 이어지지는 않았다.
- 발표자도 과거 여러 프로젝트에서 이 도구들을 사용했다. 그의 결론은 모델이 바뀔 때마다 익숙한 플러그인이 여전히 제값을 하는지 다시 측정하자는 것이다.
📈 투자·시사 포인트
- 개발 도구 예산을 검토할 때는 같은 테스트를 통과한 결과물 한 건에 얼마를 썼고 얼마나 기다렸는지 비교할 수 있다. ECC 사례에서는 두 지표 모두 차이가 컸다.
- 토큰 절감을 내세우는 제품은 출력 길이와 전체 사용량을 함께 봐야 한다. Caveman 사례처럼 답변이 짧아져도 지침을 읽는 데 드는 비용 때문에 총비용은 늘 수 있다.
- GitHub 별 수는 도구에 대한 관심을 보여 준다. 도입 효과를 추정할 때는 저장소에 게시된 수치의 측정 조건이 팀의 모델, 코드베이스, 작업 유형과 얼마나 비슷한지도 살펴야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 수치는 발표자가 선택한 저장소와 과제에서 얻은 결과다. Graphify 비교는 각 설정을 두 번 실행했으며, 다른 규모의 저장소나 더 긴 사용 기간에서도 같은 차이가 나는지는 확인되지 않았다.
- 코딩 과제의 테스트 통과, 모델이 블라인드로 채점한 답변 점수, 웹앱을 나란히 본 발표자의 평가는 서로 다른 품질 지표다. 특히 웹앱이 거의 같았다는 평가는 장기 유지보수성까지 검증한 결과로 읽기 어렵다.
- 첫 코딩 과제의 기본 실행 시간은 전사 앞부분과 뒤쪽 ECC 비교에서 다르게 언급된다. 이 과제의 정확한 시간 배수는 확정하기 어렵다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 최근 3개월간 사용한 스킬과 플러그인을 살펴보고, 사용 기록이 없는 항목을 정리 후보로 표시한다.
- 자주 하는 코딩·탐색·기억 과제 중 하나를 골라 기본 설정과 플러그인 설정으로 각각 실행한다. 같은 완료 기준을 적용하고 비용, 소요 시간, 결과 품질을 함께 기록한다.
- 토큰 절감 도구를 평가할 때는 답변 길이뿐 아니라 시작 시점의 컨텍스트와 작업 전체의 토큰 사용량을 확인한다.
- 모델을 바꾼 뒤에는 이전에 효과가 컸던 플러그인부터 같은 과제로 다시 비교한다.
❓ 열린 질문
- 어떤 유형의 코딩 과제에서 Superpowers가 보인 시간 단축이 반복되며, 그때 절약한 시간은 추가 비용만큼 가치가 있는가?
- 같은 저장소를 장기간 탐색하거나 세션 사이의 간격과 기억할 규칙 수가 늘어나면 Graphify와 Claude Mem의 결과는 어떻게 달라질까?