Open Models have crossed a threshold

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Deep Agents의 초기 평가에서 GLM-5와 MiniMax M2.7은 파일 작업·도구 사용 등 핵심 에이전트 작업에서 폐쇄형 프런티어 모델에 근접한 성능을 보여, 비용과 지연 시간을 고려한 대체·병행 선택지로 제시됐다.

📌 핵심 요약

• GLM-5와 MiniMax M2.7은 Deep Agents의 초기 평가에서 파일 작업·도구 사용·지시 이행에 실용적인 성능을 보였다. 원문 표의 전체 Correctness는 GLM-5 0.64, MiniMax M2.7 0.57, Claude Opus 4.6 0.68, Gemini 3.1 Pro Preview 0.65, GPT-5.4 0.61이다.
• 가격표의 출력 100만 토큰당 비용은 Claude Opus 4.6이 25달러, GLM-5가 3.15달러, MiniMax M2.7이 1.20달러다. 하루 출력 1,000만 토큰 사례에서는 Opus 4.6과 MiniMax M2.7의 비용이 각각 약 250달러와 12달러로 제시되며, OpenRouter 데이터상 Baseten의 GLM-5는 지연 시간 0.65초·초당 70토큰, Opus 4.6은 2.56초·초당 34토큰이다.
• 평가는 파일 작업·도구 사용·검색·대화·메모리·요약·단위 테스트의 7개 범주에서 Correctness, Solve rate, Step ratio, Tool call ratio를 측정했다. 결과는 평가군을 계속 확장하는 단계의 초기 수치이며, 모델별 추론 수준은 공급자 기본값을 사용했다.
• Deep Agents SDK는 모델 지정 한 줄로 오픈 모델을 연결하며, 모델의 정체성·지원 모달리티·실제 컨텍스트 크기에 맞춰 하네스를 조정한다. Baseten, Fireworks, Groq, OpenRouter, Ollama cloud가 이번 릴리스에서 테스트됐고, Ollama·vLLM 등을 통한 로컬·비공개 실행도 가능하다고 설명한다.
• Deep Agents CLI는 ConfigurableModelMiddleware와 /model 명령으로 세션 중 모델 교체를 지원한다. 이에 따라 프런티어 모델로 계획하고 저렴한 오픈 모델로 실행하는 구성이 가능하며, 모델군별 하네스 조정 문서와 폐쇄형 조정자·오픈 모델 하위 에이전트 구성의 추가 시험은 향후 과제로 제시됐다.

🧩 주요 포인트

1. 파일 작업·검색의 높은 성능과 대화·메모리의 상대적 약점이 공존하므로, 전체 Correctness만으로 판단하기보다 실제 작업 범주에 맞춰 모델 적합성을 확인할 필요가 있다.
2. GLM-5와 MiniMax M2.7의 비용 이점, Baseten GLM-5의 지연 시간 이점은 품질과 함께 검토할 선택 기준이며, 모델과 공급 인프라의 조합이 운영 적합성에 영향을 준다.
3. 동일한 Deep Agents 평가 과제·채점 기준으로 모델을 비교하고 CLI의 세션 중 모델 교체를 활용하면, 계획과 실행에 서로 다른 모델을 배치하는 구성을 검증할 수 있다.

🧠 상세 정리

1. 오픈 모델이 에이전트의 실용적 선택지로 부상

Vivek Trivedy와 Mason Daugherty가 2026년 4월 2일 발표한 글은 최근 몇 주 동안 오픈 가중치 대규모 언어 모델을 Deep Agents 하네스로 평가한 초기 결과를 소개한다. 핵심 주장은 z.ai의 GLM-5와 MiniMax M2.7이 파일 작업·도구 사용·지시 이행 같은 기본 에이전트 작업에서 폐쇄형 프런티어 모델과 유사한 수준에 도달했다는 것이다. 저자들은 SWE-Rebench와 Terminal Bench 2.0 같은 공개 벤치마크에서 나타난 발전도 이러한 결과와 연결한다. 도구 호출의 신뢰성과 일관된 지시 이행이 실제 운영 워크플로에 필요한 예측 가능성을 제공한다는 해석이다. 다만 글의 결론은 모든 작업에서 오픈 모델이 우월하다는 선언이 아니라, 폐쇄형 모델을 대체하거나 함께 사용할 수 있는 실용적인 선택지가 됐다는 주장이다.

2. 비용과 지연 시간이 만드는 선택의 이유

글은 모델 선택의 핵심 기준을 비용·지연 시간·작업 성능으로 정리하며, 모든 요청에 가장 강력한 모델과 최고 추론 수준을 사용하는 방식은 현실적인 제약에 부딪힌다고 설명한다. 고처리량 작업에서 폐쇄형 프런티어 모델이 8~10배 더 비쌀 수 있다는 주장과 함께, 입력·출력 100만 토큰당 가격을 Opus 4.6은 5·25달러, Sonnet 4.6은 3·15달러, GPT-5.4는 2.50·15달러, Baseten GLM-5는 0.95·3.15달러, OpenRouter MiniMax M2.7은 0.30·1.20달러로 제시한다. 하루 출력 1,000만 토큰 사례의 비용은 Opus 4.6 약 250달러, MiniMax M2.7 약 12달러이며 연간 차이는 약 8만 7,000달러라고 계산한다. 오픈 모델은 대체로 더 작고 Groq·Fireworks·Baseten 같은 전문 추론 인프라에서 가속할 수 있다는 설명도 덧붙인다. OpenRouter 데이터에서는 Baseten GLM-5가 평균 지연 시간 0.65초와 초당 70토큰을, Opus 4.6이 2.56초와 초당 34토큰을 기록해 대화형 제품의 응답성에서도 차이가 나타난다.

3. 정확성과 효율성을 분리한 평가 방식

평가는 파일 작업·도구 사용·검색·대화·메모리·요약·단위 테스트의 7개 범주를 통해 도구 호출, 구조화된 지시 이행, 파일 조작이라는 기본 능력을 확인한다. 각 사례에는 정답 여부를 결정하는 필수 성공 조건과 수행 과정의 효율성을 측정하는 보조 조건이 있으며, Correctness는 통과한 테스트 수를 전체 테스트 수로 나눈 핵심 품질 지표로 정의된다. Solve rate는 테스트별 예상 단계 수를 실제 경과 시간으로 나누고 실패한 테스트에는 0을 부여한 뒤 전체 평균을 내므로, 정확하고 빠르게 해결할수록 높아진다. Step ratio는 전체 실제 단계 수를 전체 예상 단계 수로 나눈 값이고 Tool call ratio는 같은 개념을 개별 도구 호출 수에 적용한 값이다. 두 비율은 1.0을 기준으로 예상 사용량의 초과·미달을 보여 주지만 통과 여부에는 영향을 주지 않으며, 평가는 호스팅 공급자로 실행하되 Deep Agents 자체는 Ollama·vLLM 등을 통한 완전한 로컬·비공개 모델 실행도 지원한다고 설명한다.

4. 전체 평가 결과와 비교 조건

전체 결과 표에서 GLM-5는 Correctness 0.64, 138개 중 94개 통과, Solve rate 1.17, Step ratio 1.02, Tool call ratio 1.06을 기록한다. MiniMax M2.7의 대응 수치는 0.57, 85개 통과, 0.27, 1.02, 1.04로 제시된다. 폐쇄형 모델에서는 Claude Opus 4.6이 0.68·100개·0.38·0.99·1.02, Gemini 3.1 Pro Preview가 0.65·96개·0.26·0.99·1.01, GPT-5.4가 0.61·91개·0.61·1.05·1.15를 기록한다. GLM-5는 표에 제시된 전체 정확성에서 비교 대상들과 근접하면서 Solve rate는 가장 높지만, 저자들은 평가군을 계속 유지·확장하는 중인 초기 결과라는 점을 명시한다. 모델별 추론 설정은 공급자 기본값으로 Gemini 3+는 high, OpenAI는 medium, Claude는 extended thinking을 사용하지 않는 조건이다. 한편 원문 표의 Correctness와 통과 건수는 단순 나눗셈 결과와 일부 일치하지 않으므로, 이 수치들은 원문 표기 그대로 구분해 읽어야 한다.

5. 범주별 성능이 보여 주는 강점과 한계

범주별 Correctness에서 GLM-5는 파일 작업·검색·단위 테스트에서 각각 1.00을 기록하고, 도구 사용에서는 0.82를 보인다. MiniMax M2.7은 파일 작업 0.92, 검색 0.80, 단위 테스트 0.92, 도구 사용 0.87로 기본 에이전트 작업에서 높은 수치를 나타낸다. 비교 대상으로 Opus 4.6은 파일 작업·검색·요약·단위 테스트가 모두 1.00이며 도구 사용은 0.87이고, GPT-5.4는 파일 작업·검색·단위 테스트가 1.00이며 도구 사용은 0.76이다. 반면 GLM-5와 MiniMax M2.7의 메모리는 각각 0.44와 0.38로 Opus 4.6의 0.67 및 Gemini 3.1 Pro Preview의 0.62보다 낮고, 요약도 두 오픈 모델 모두 0.60에 머문다. 대화에서는 GLM-5 0.38, MiniMax M2.7 0.14, Opus 4.6 0.05, Gemini 3.1 Pro Preview 0.24, GPT-5.4 0.29로 서로 다른 양상이 나타나므로, 전체 점수와 함께 실제 작업 범주를 살펴야 한다.

6. 동일한 과제와 기준으로 비교하는 실행 경로

Deep Agents의 CI는 52개 모델을 여러 그룹으로 나누고 동일한 평가 모음을 실행하며, open 그룹에는 baseten:zai-org/GLM-5, ollama:minimax-m2.7:cloud, ollama:nemotron-3-super가 포함된다. 이 그룹은 모든 평가 워크플로에서 실행되며, 개발자는 특정 그룹 전체 또는 개별 모델을 대상으로 평가할 수 있다. 글은 오픈 모델 그룹에는 pytest tests/evals --model-group open을, 개별 GLM-5에는 pytest tests/evals --model baseten:zai-org/GLM-5를 사용하는 예를 제시한다. 이 실행 경로의 의미는 오픈 모델끼리뿐 아니라 폐쇄형 프런티어 모델과도 같은 과제와 채점 기준으로 비교할 수 있다는 데 있다. 최근 실행 결과를 GitHub 저장소와 공유 LangSmith 프로젝트에서 확인할 수 있다고 안내하며, 공개된 초기 수치에서 출발해 필요한 작업에 맞는 평가로 이어지는 방식을 강조한다.

7. SDK에서 모델과 공급자를 선택하는 방법

Deep Agents SDK에서는 create_deep_agent의 model 인자를 바꾸는 한 줄의 변경으로 오픈 모델을 사용할 수 있다고 설명한다. GLM-5 예시는 langchain-baseten을 설치하고 baseten:zai-org/GLM-5를 지정하며, MiniMax M2.7 예시는 langchain-openrouter를 설치하고 openrouter:minimax/minimax-m2.7을 지정한다. 같은 GLM-5도 Baseten의 baseten:zai-org/GLM-5, Fireworks의 fireworks:fireworks/glm-5, 자체 호스팅용 ollama:glm-5처럼 여러 공급 경로로 사용할 수 있다. 따라서 모델과 하네스를 유지하면서도 각자의 제약에 맞는 인프라를 선택하는 구성이 가능하다는 설명이다. 이번 릴리스에서 실제 테스트한 공급자는 Baseten·Fireworks·Groq·OpenRouter·Ollama cloud이며, LangChain은 널리 사용되는 오픈 모델 공급자들을 지원한다고 밝힌다.

8. 모델 차이를 흡수하는 하네스 조정

글은 오픈 모델이 폐쇄형 프런티어 모델과 컨텍스트 크기·도구 호출 형식·실패 양상에서 차이를 보이므로, 하네스가 이러한 차이를 처리해야 한다고 설명한다. 모델 정체성 주입은 실행 시 시스템 프롬프트에 모델 이름, 공급자, 컨텍스트 한도, 지원 모달리티를 반영해 에이전트가 자신의 조건을 인식하도록 하는 기능이다. SDK는 모델의 컨텍스트 크기를 감지하고 지원하지 않는 모달리티를 비활성화하는 처리도 수행한다. 컨텍스트 관리에서는 압축·오프로딩·요약의 임계값을 고정 기본값 대신 실제 모델의 컨텍스트 크기에 맞춘다. 원문은 4K 컨텍스트 모델에 1M 컨텍스트의 Opus보다 더 적극적인 압축을 적용하는 예를 들며, 모델 전환을 가능하게 하는 기반으로 이러한 하네스 수준의 적응을 제시한다.

9. CLI의 세션 중 모델 교체와 향후 과제

Deep Agents CLI는 오픈 소스 코딩 에이전트이자 Claude Code의 대안으로 소개되며, SDK 기능에 더해 실행 중 모델 교체를 지원한다. 새로 도입한 ConfigurableModelMiddleware를 통해 에이전트를 재시작하지 않고 모델을 바꿀 수 있고, 사용자는 세션 중 /model 명령을 사용할 수 있다. 글은 이 기능의 활용 사례로 프런티어 모델에서 계획을 세운 다음 더 저렴한 오픈 모델로 실행하는 패턴을 제시한다. 향후 과제로는 특정 오픈 모델 계열에 맞는 하네스 조정 패턴의 문서화와, 폐쇄형 프런티어 모델이 조정자를 맡고 오픈 모델이 하위 에이전트를 맡는 다중 모델 구성의 시험을 예고한다. 결론적으로 저자들은 오픈 모델이 이미 에이전트에 활용 가능하다고 주장하면서, 각 작업에서 중요한 능력을 측정하는 표적 평가와 적절한 하네스 설계 패턴의 필요성을 강조한다.

🧾 핵심 주장 / 시사점

• 오픈 모델의 실용성은 전체 점수 하나보다 파일 작업·검색·도구 사용처럼 실제 에이전트가 수행하는 작업에서의 안정성과 연결된다. 대화·메모리·요약에서는 다른 성능 양상이 나타나므로 적용 범위에 따른 판단이 필요하다.
• GLM-5의 정확성과 Solve rate, MiniMax M2.7의 낮은 토큰 가격은 서로 다른 선택 근거를 제공한다. 비용·지연 시간·성공률을 함께 살펴야 각 모델과 공급 인프라의 장점을 평가할 수 있다.
• 하네스의 모델별 적응과 세션 중 모델 교체는 하나의 모델로 모든 단계를 처리해야 한다는 제약을 줄인다. 다만 폐쇄형 조정자와 오픈 모델 하위 에이전트의 결합은 이번 글에서 검증이 완료된 결과가 아니라 추가 시험 대상으로 제시된다.

✅ 액션 아이템

• 동일한 Deep Agents 평가 과제·채점 기준으로 GLM-5와 MiniMax M2.7의 파일 작업·검색·대화·메모리 적합성을 비교 검증한다.
• GLM-5와 MiniMax M2.7의 비용, Baseten GLM-5의 지연 시간, 전체 Correctness를 함께 검토해 모델·공급 인프라 조합을 선정한다.
• Deep Agents CLI의 /model 명령으로 프런티어 모델의 계획과 오픈 모델의 실행을 결합하는 구성을 시험한다.

❓ 열린 질문

• GLM-5와 MiniMax M2.7의 파일 작업·검색 강점과 대화·메모리 약점은 실제 적용하려는 작업의 성공률에 어떤 영향을 미치는가?
• 모델별 추론 수준이 공급자 기본값인 이번 초기 평가에서, GLM-5와 Claude Opus 4.6의 Correctness 및 지연 시간 차이는 어떻게 해석해야 하는가?
• Deep Agents CLI에서 프런티어 모델로 계획하고 오픈 모델로 실행할 때, 단일 모델 구성과 비교해 비용·지연 시간·작업 성능은 어떻게 달라지는가?