🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Pi Agent + DeepSeek AI는 이번 단일 벤치마크에서 높은 통과율과 실행 효율을 보였지만, Claude Code를 전반적으로 이겼다고 단정할 수는 없다.

📌 핵심 요점

1. 동일한 DeepSeek V4 Flash 모델로 30개 과제를 수행했음에도 하네스별 성공률은 47%에서 67%까지 벌어졌다. 이는 모델뿐 아니라 계획, 도구 사용, 오류 처리, 종료 조건을 통제하는 하네스가 실제 성능을 크게 좌우한다는 결과다.
2. Pi Agent는 30개 과제 중 20개를 통과하고 작업 완료 시간 중앙값 132초를 기록했다. 비교 대상으로 언급된 Hermes는 15개·175초, Deep Agents는 16개·187초, Prime Agent는 유효한 24개 실행 중 15개·242초였다.
3. Claude Code와 OpenCode는 Pi Agent보다 빠르게 작업했지만, 영상은 통과율과 실행 효율을 함께 고려하면 Pi Agent가 더 유리했다고 평가한다. 따라서 속도만으로 Claude Code와의 우열을 판단해서는 안 된다.
4. 가장 좋은 결과를 낸 Pi Agent 구성은 기본 설치와 외부 도구 연결용 MCP 서버 플러그인만 사용했다. 반면 무거운 구성은 더 많은 토큰과 도구 호출을 소비하고도 성공률 향상으로 이어지지 않아, 복잡성이 반드시 성능을 높이지는 않는다는 점을 보여줬다.
5. 실무에서는 모델과 지시문을 고정한 채 하네스만 바꾸고, 실제 반복 업무의 완수 여부·소요 시간·사후 수정량을 측정해야 한다. 새 모델이나 하네스 버전이 출시될 때마다 같은 과제로 재검증하는 체계도 필요하다.

🧩 배경과 문제 정의

• 영상은 AI 에이전트의 실제 성능이 모델 자체의 지능뿐 아니라 계획 수립, 도구 사용, 오류 처리, 종료 조건을 관리하는 에이전트 하네스에 크게 좌우된다는 문제를 제기한다.
• 소개된 벤치마크에서는 동일한 DeepSeek Flash 모델로 같은 30개 과제를 수행했는데도 하네스에 따라 성공률이 20%p 차이 났다. 따라서 모델명이나 단일 순위만으로 실제 업무 성능을 판단하기 어렵다는 것이 핵심 배경이다.
• 복잡한 플러그인과 대규모 컨텍스트가 항상 더 좋은 결과를 보장하는 것은 아니며, 가벼운 기본 구성에 실제 업무를 반영한 반복 테스트가 신뢰성과 효율을 높일 수 있다는 관점을 제시한다.
• 다만 이 결과는 특정 모델과 30개 과제에서 나온 단일 벤치마크이므로, 다른 모델·과제·환경에서도 같은 순위가 재현되는지는 별도의 검증이 필요하다.

🕒 시간순 섹션별 상세정리

1. 동일 모델의 결과를 가른 에이전트 하네스

• 공개 벤치마크는 하나의 DeepSeek V4 Flash 모델을 8개 하네스에 연결하고, 도구 사용과 자율적인 작업 완수가 필요한 30개 에이전트 과제를 수행시켰다. [00:46]
• 모델이 엔진이라면 하네스는 그 엔진을 담는 자동차에 해당한다. Pi Agent·Claude Code·Hermes는 같은 모델을 사용하더라도 계획 방식, 도구 사용, 오류 처리, 종료 시점을 서로 다르게 통제한다. [01:09]

2. 최상위 모델과 복잡한 설정에 관한 세 가지 오해

• 최고급 모델이 반드시 필요하다는 믿음과 달리, 모델을 고정한 상태에서도 하네스에 따라 성공률이 47%에서 67%까지 달라졌다. 영상은 이를 실행 설정이 원시 모델 성능만큼 중요한 변수가 될 수 있다는 근거로 제시한다. [06:51]
• 비개발자는 고장 난 구성을 직접 수정하기 어려워 하네스 선택의 영향을 더 크게 받을 수 있다. 잘못된 선택이 유지되면 낮은 완수율과 긴 처리 시간이 반복될 수 있다는 설명이다. [07:22]

3. 실제 업무로 모델·하네스 조합을 시험하는 방법

• 모델의 과제 통과율만 보여주는 순위표는 하네스에 따른 20%p의 변동을 드러내지 못한다. 새로운 벤치마크를 평가할 때는 모델명뿐 아니라 어떤 하네스를 사용했는지도 먼저 확인해야 한다. [08:31]
• 첫 단계로 리드 분류, 주간 이메일 초안 작성, 스프레드시트 정보 정리처럼 사용자가 매주 직접 처리하는 실제 업무 세 가지를 시험 과제로 정하라고 제안한다. [09:04]

4. 단일 벤치마크의 한계와 최종 판단

• 이번 결과는 하나의 DeepSeek V4 Flash 모델과 30개 과제에 한정돼 있으므로, Pi Agent가 모든 모델과 환경에서 우세하다고 단정할 수는 없다. 영상에 따르면 Claude Code는 전체 속도가 더 빨랐고 Hermes는 더 폭넓은 에이전트 업무를 지원했지만, 이러한 비교 역시 다른 조건에서 재검증필요가 있다. [10:25]
• 결론은 모든 사용자가 Pi Agent로 전환해야 한다는 것이 아니다. 특정 모델과 하네스가 이루는 조합 전체를 하나의 제품처럼 보고, 자신의 실제 업무를 기준으로 시험해야 한다는 것이다. [10:43]

5. 벤치마크 결과를 바꾼 인간의 선택

• 최고 결과와 최저 결과 사이에서 사용된 AI 모델의 지능은 달라지지 않았으며, 달라진 것은 그 주변의 인간이 선택한 실행 환경이었다. [12:07]
• 어떤 하네스와 설정을 선택했는지, 그리고 성능을 어떤 방식으로 측정했는지가 동일 모델의 결과 차이를 만들었다는 논지로 정리한다. [12:10]

6. 동일 모델의 성능 격차와 통제 가능한 병목

• 한 설정은 약 3분의 2에 해당하는 성공률을 기록한 반면, 다른 설정은 절반 이상의 과제에서 실패했고 처리 속도도 약 두 배 느렸다. [12:16]
• 영상은 최종적으로 성능 병목이 모델의 지능 자체가 아니라 통제 가능한 실행 설정에 있었다고 결론짓는다. 잘못된 구성은 성공률과 속도를 동시에 악화시킬 수 있으므로, 모델 교체에 앞서 하네스와 설정을 실제 업무로 검증해야 한다. [12:21]

🧾 결론

• 이번 결과의 핵심은 최고급 모델을 선택하는 것보다 모델과 하네스의 조합을 하나의 제품처럼 평가해야 한다는 점이다.
• Pi Agent는 해당 조건에서 가장 많은 과제를 통과하면서 짧은 완료 시간을 기록했지만, Claude Code는 속도 측면에서 더 나은 결과를 보였다.
• 모든 사용자가 Pi Agent로 전환해야 한다는 결론은 아니다. 업무 유형과 수정 비용까지 포함해 각자의 환경에서 가장 적합한 조합을 찾아야 한다.
• 검증 필요: 벤치마크가 하나의 DeepSeek V4 Flash 모델과 30개 과제에 한정됐으므로, 다른 모델·업무·데이터에서도 Pi Agent의 우위가 유지되는지는 별도 시험이 필요하다.

📈 투자·시사 포인트

• AI 에이전트 시장에서는 기반 모델의 성능뿐 아니라 하네스의 신뢰성, 도구 연결 방식, 오류 복구 능력, 운영 효율이 제품 경쟁력을 가르는 요소가 될 수 있다.
• 플러그인과 대규모 컨텍스트를 계속 추가하는 전략보다 단순한 기본 구성으로 완수율과 비용을 최적화하는 제품이 실무 도입에서 유리할 가능성이 있다.
• 기업의 경쟁력은 특정 AI 모델에 대한 접근성보다 실제 업무를 이용한 반복 평가 체계에서 갈릴 수 있다. 완수율·처리 시간·수정량을 축적하는 조직은 모델이나 하네스 교체 판단도 더 빠르게 내릴 수 있다.
• 비개발자 시장에서는 복잡한 설정을 직접 고치는 능력보다 검증된 기본 구성과 안정적인 유지 관리가 중요하므로, 설치·측정·재검증을 단순화하는 서비스에 기회가 있을 수 있다.
• 검증 필요: 영상의 벤치마크 방법론, 과제별 난이도, 실패 판정 기준, 누락된 실행이 전체 순위에 미친 영향은 원자료를 통해 확인해야 하며, 이 결과만으로 특정 기업이나 제품의 장기 경쟁력을 판단해서는 안 된다.

⚠️ 불확실하거나 확인이 필요한 부분

• 영상에서 인용한 벤치마크의 원문, 30개 과제의 구성, 채점 기준과 전체 실행 로그가 제공되지 않아 성공률과 중앙 실행 시간을 독립적으로 검증필요가 있다.
• Prime Agent는 6개 실행이 채점 불가 또는 기록 누락으로 제외됐다고 설명된다. 다른 하네스와 분모가 달라질 수 있으므로 성공률을 직접 비교하기 전에 누락 처리 기준을 확인해야 한다.
• Pi Agent의 우위는 영상에서 다룬 단일 모델과 30개 과제에 한정된 결과다. 다른 모델·업무·도구 환경에서도 같은 순위가 유지된다고 일반화할 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 리드 분류, 이메일 초안, 스프레드시트 정리처럼 반복 수행하는 실제 업무 세 가지를 평가 과제로 선정한다.
• 모델·프롬프트·입력 데이터·도구 권한을 고정하고 하네스만 하나씩 바꾸어 비교 실행한다.
• 각 실행의 완수 여부, 총소요 시간, 도구 호출 수, 토큰 사용량과 사후 수정 시간을 동일한 양식으로 기록한다.
• 결과물이 완성됐더라도 사람이 장시간 수정해야 했다면 실패 또는 부분 성공으로 분리하는 판정 기준을 미리 정한다.

❓ 열린 질문

• 30개 과제는 어떤 업무 영역과 난이도로 구성됐으며, 특정 하네스에 유리한 도구나 과제가 포함되지는 않았는가?
• 과제 통과 여부는 자동 채점, 인간 평가 또는 두 방식을 결합해 판정했는가?
• Prime Agent의 누락된 6개 실행을 실패로 처리하면 다른 하네스와의 성공률 및 순위가 어떻게 달라지는가?