Tuning the harness, not the model: a Nemotron 3 Ultra playbook

🖼️ 인포그래픽

Tuning the harness, not the model: a Nemotron 3 Ultra playbook 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

모델 가중치와 생성 설정을 그대로 유지한 채 프롬프트·도구 설명·미들웨어를 평가 기반으로 조율해, Nemotron 3 Ultra의 에이전트 성능을 낮은 비용으로 최전선 모델에 근접시킨 실전 사례다.

📌 핵심 요약

에이전트는 모델과 하네스의 결합체이며, 같은 모델이라도 시스템 프롬프트·도구 설명·미들웨어가 모델 특성에 얼마나 잘 맞는지에 따라 실제 작업 성능이 크게 달라진다.
모든 변경은 평가 실행, 실패 트레이스 관찰, 행동 패턴 진단, 단일 변경 적용, 저비용 선별 평가와 전체 재평가로 이어지는 반복 절차를 거쳤으며, 여러 시도에서 효과가 재현되고 다른 항목을 악화시키지 않은 변경만 채택됐다.
광범위한 프롬프트 재작성보다 관찰된 실패 행동 하나를 겨냥한 짧은 지침이 효과적이었고, 반드시 지켜야 하는 동작은 프롬프트가 아니라 코드 기반 제어와 적시 문맥 주입을 담당하는 미들웨어로 구현됐다.
Nemotron 3 Ultra는 Deep Agents 평가에서 프로필이 없는 약 0.80의 기준점에서 일반적으로 약 0.84, 최고 0.86까지 향상됐으며, 최고 0.87의 Opus 4.8에 근접하면서 전체 평가 비용은 약 4.48달러로 약 43.48달러인 비교 대상보다 대략 10배 낮았다.
하네스 조율은 요약·도구 사용·검색·파일 작업처럼 비계에서 비롯된 실패를 개선할 수 있지만, 장기 다중 대화에서 백엔드 상태를 유지하는 능력처럼 모델 내부 역량에 속하는 문제까지 새로 만들어 내지는 못한다.

🧩 주요 포인트

에이전트는 모델과 하네스의 결합체이며, 같은 모델이라도 시스템 프롬프트·도구 설명·미들웨어가 모델 특성에 얼마나 잘 맞는지에 따라 실제 작업 성능이 크게 달라진다.
모든 변경은 평가 실행, 실패 트레이스 관찰, 행동 패턴 진단, 단일 변경 적용, 저비용 선별 평가와 전체 재평가로 이어지는 반복 절차를 거쳤으며, 여러 시도에서 효과가 재현되고 다른 항목을 악화시키지 않은 변경만 채택됐다.
광범위한 프롬프트 재작성보다 관찰된 실패 행동 하나를 겨냥한 짧은 지침이 효과적이었고, 반드시 지켜야 하는 동작은 프롬프트가 아니라 코드 기반 제어와 적시 문맥 주입을 담당하는 미들웨어로 구현됐다.
Nemotron 3 Ultra는 Deep Agents 평가에서 프로필이 없는 약 0.80의 기준점에서 일반적으로 약 0.84, 최고 0.86까지 향상됐으며, 최고 0.87의 Opus 4.8에 근접하면서 전체 평가 비용은 약 4.48달러로 약 43.48달러인 비교 대상보다 대략 10배 낮았다.
하네스 조율은 요약·도구 사용·검색·파일 작업처럼 비계에서 비롯된 실패를 개선할 수 있지만, 장기 다중 대화에서 백엔드 상태를 유지하는 능력처럼 모델 내부 역량에 속하는 문제까지 새로 만들어 내지는 못한다.

🧠 상세 정리

1. 모델이 아니라 하네스를 조율한 실험

글은 에이전트를 사고를 담당하는 모델과 그 모델이 일하는 환경인 하네스의 결합으로 정의한다. 하네스에는 시스템 프롬프트, 도구 설명, 모델 및 도구 호출 전후에 작동하는 미들웨어가 포함되며, 저자들은 모델 자체를 바꾸지 않고 이 세 요소만 조정했다. 실험 대상은 에이전트 하네스 안에서 작동하도록 구축되고 사후 훈련된 공개 모델 Nemotron 3 Ultra였으며, 목표는 공개 모델이 실제 에이전트 작업에서 어디까지 도달할 수 있는지 확인하는 것이었다. 생성 설정은 공급자가 권장한 기본값으로 유지했기 때문에 성능 변화는 온도, top-p, 사고 예산 조절에서 나온 것이 아니다. 공개 모델은 직접 호스팅하거나 미세 조정할 수 있고 여러 제공자의 엔드포인트를 선택할 수 있지만, 모델에 맞지 않는 하네스에서는 이미 가진 역량도 충분히 발휘하지 못한다는 문제가 이 실험의 출발점이었다.

2. 하네스와 모델의 적합성이 성능을 좌우한다

범용 하네스는 특정 모델에 맞춰져 있지 않으므로 합리적인 기본값일 수는 있어도 최선의 실행 환경은 아니다. 모델과 하네스가 잘 맞으면 모델은 자신의 역량을 과업 해결에 집중하지만, 맞지 않으면 이미 제공된 정보를 다시 묻거나 너무 일찍 종료하고 같은 행동을 반복하는 등 비계를 상대하는 데 역량을 소모한다. 저자들은 이러한 적합성이 같은 가중치로도 서로 다른 평가 점수를 만드는 핵심 요인이라고 설명한다. 이전 사례에서는 Terminal-Bench 2.0에서 gpt-5.2-codex의 점수를 52.8에서 66.5로 높였고, 모델별 하네스 프로필을 적용해 선별된 tau2-bench 항목에서도 10~20점의 향상을 얻었다. 이번에도 모델은 고정한 채 하네스만 바꿈으로써 성능 차이가 모델 교체가 아니라 작업 환경의 적합성에서 발생했음을 분리해 보여 주려 했다.

3. 평가를 하네스 엔지니어링의 학습 데이터로 사용

하네스 조율은 먼저 평가 체계를 마련하는 데서 시작하며, 학습 신호가 없으면 변경은 관찰한 마지막 사례에 과적합된 추측에 머물기 쉽다. 저자들은 각 평가 사례가 에이전트가 올바른 행동을 취했는지, 기대한 결과를 만들었는지 알려 주는 신호라고 보고 이를 하네스 엔지니어링의 학습 데이터처럼 활용했다. 일반 소프트웨어와 달리 에이전트는 입력 공간이 넓고 허용 가능한 출력도 다양하며, 프롬프트나 도구, 오케스트레이션의 작은 변경이 한 사례를 고치는 동시에 다른 사례를 망가뜨릴 수 있다. 따라서 행동 평가를 실행하고, 실패한 실행의 LangSmith 트레이스를 읽고, 실패 경로를 행동 패턴별로 묶은 뒤, 하네스의 한 부분만 겨냥해 수정하고 다시 평가하는 순환 절차를 사용했다. 이 과정에서 트레이스는 에이전트가 어디에서 어떤 방식으로 잘못됐는지를 판단하는 근거이자 다음 변경을 선택하는 기준으로 기능했다.

4. 재현성과 비용을 함께 관리한 평가 사다리

한 번 좋아 보인 실행은 무작위성 때문에 충분한 증거가 아니므로, 변경 효과가 여러 시도에서 반복되고 다른 능력을 악화시키지 않을 때만 정식 프로필에 포함됐다. 동시에 모든 후보 변경에 전체 평가 모음을 실행하면 비용이 커지기 때문에 작은 대표 표본으로 먼저 저렴하게 선별하고, 효과가 확인된 후보만 더 넓고 비싼 평가 단계로 올렸다. 일부 사례만 검사하면 그 표본에 포함되지 않은 과업에서 회귀가 생길 위험이 있으므로, 선별 표본은 서로 다른 행동 유형을 포괄하도록 구성했다. 저자들은 다양한 행동을 아우르는 표본에서 유지된 개선은 전체 실행에서도 대체로 유지됐다고 설명한다. 이 평가 사다리는 신호의 질을 포기하지 않으면서 실험 비용을 낮추고, 우연한 상승이나 특정 사례에만 맞는 변경이 최종 구성에 들어가는 것을 막는 역할을 했다.

5. 광범위한 프롬프트보다 실패 하나를 겨냥한 지침

프롬프트는 가장 저렴하게 바꿀 수 있어 처음 손대기 쉽지만, 저자들은 시스템 프롬프트의 광범위한 재작성이나 일반적인 ‘더 나은 에이전트가 되라’는 지시를 과대평가된 접근으로 본다. 역량 있는 모델의 실제 실패는 대개 표현을 전면적으로 고치면 해결되는 문제가 아니며, 긴 일반 지침은 실행 과정에서 희석될 수 있기 때문이다. 효과가 있었던 방식은 트레이스에서 직접 확인한 한 가지 행동 실패만 겨냥하는 짧고 단일 목적의 블록이었다. 예를 들어 도구 작업을 성공적으로 마친 뒤 구체적인 결과를 말하지 않는 문제가 관찰되면, 최종 답변에 핵심 대상·행동·식별자·상태·값을 명시하도록 정확히 요구했다. 다만 각각의 지침은 독립적으로만 평가하지 않았는데, 단독으로 효과가 없던 블록도 하네스의 다른 변경과 결합될 때 역할을 할 수 있어 조합 효과까지 시험했다.

6. 미들웨어의 두 역할: 강제와 적시 문맥 주입

매번 반드시 일어나야 하는 행동은 확률적인 프롬프트 준수에 맡기지 않고 미들웨어로 처리했으며, 미들웨어의 역할은 코드 기반 강제와 문맥 엔지니어링으로 구분됐다. 코드 기반 강제의 예로는 무한 반복을 막기 위한 모델·도구 호출 횟수 제한과 일시적인 도구 실패를 흡수하는 단발 재시도가 있다. 이 장치들은 모델에게 행동을 요청하는 것이 아니라 실행 루프 자체의 규칙을 바꾼다. Nemotron에서 더 큰 효과를 낸 두 번째 역할은 필요한 신호를 실제로 필요한 순간에 모델 앞에 놓는 것이었다. 모든 규칙을 시스템 프롬프트에 미리 넣고 기억되기를 기대하는 대신, 트레이스에서 모델이 잘못된 시점을 찾아 그 지점에 맞춰 안내를 주입했다. 즉, 지침의 문구뿐 아니라 어느 실행 단계와 어느 메시지에 실리는지가 모델의 반응을 결정하는 중요한 설계 변수였다.

7. 같은 문구도 배치 위치에 따라 정반대의 결과

가장 분명한 사례는 파일 읽기 결과가 한 페이지를 가득 채우면 뒤에 내용이 더 있다고 보고 계속 읽으라는 규칙이었다. 이 문구를 read_file 도구 설명에 넣었을 때 모델은 여전히 첫 페이지만 읽고 전체 파일을 확인했다고 판단해 답변했지만, 동일한 문구를 도구 반환값 안으로 옮기자 추가 읽기 행동이 나타났다. 문구는 바뀌지 않았고 모델이 데이터를 보는 바로 옆에 배치된 위치만 달라졌는데 결과는 반대였다. Nemotron은 상시적인 시스템 규칙보다 필요한 순간 대화 메시지로 전달된 안내에 더 안정적으로 반응했다. 이에 따라 미들웨어가 행동 전에 계획을 세우라고 알리고, 계획이 작성된 뒤에는 실행 전에 그 계획을 다시 검토하라는 별도 메시지를 주입하도록 구성했다. 트레이스에서는 모델이 이 메시지들을 받아 계획을 세우고 재검토했지만, 같은 내용을 시스템 프롬프트에 두었을 때는 영향이 희석되는 경향이 확인됐다.

8. 채택하지 않은 변경과 벤치마크 과적합 방지

시도한 변경의 대부분은 최종 구성에 남지 않았으며, 일부는 아무 효과가 없었고 몇 가지는 성능을 악화시켰으며 다른 변경과 결합해야만 의미가 생긴 것도 있었다. 저자들은 성공 사례만 보고하는 조율 절차는 대체로 과적합을 의심해야 한다고 강조한다. 최종적으로 유지한 것은 특정 평가 문항을 겨냥한 요령이 아니라 실제 조건에서 반복 작동하는 행동 유형 수준의 수정이었다. 예를 들어 파일 읽기 결과가 가득 찼다는 일반 조건에 반응하는 규칙은 잘 설계된 도구가 원래 제공할 법한 보편적 보완이므로 유지할 수 있다. 반대로 한 평가 사례의 특정 문구를 이용해 점수를 올린 변경은 실제로 효과가 있었음에도 폐기했다. 그런 변경은 현재 점수를 보기 좋게 만들 뿐 다른 에이전트에 대한 지식을 제공하지 못하고, 평가 문항 자체에 대한 과적합을 초래하기 때문이다.

9. 성능 향상과 하네스 조율의 한계

Deep Agents 평가는 파일 작업, 도구 호출, 정보 검색, 다중 대화, 긴 문맥 요약을 분리해 측정하므로 단일 종합 점수보다 어느 능력이 개선됐는지를 구체적으로 보여 줬다. Nemotron 3 Ultra는 별도 프로필이 없는 약 0.80에서 일반적인 실행 약 0.84, 최고 실행 0.86으로 향상돼 최고 0.87인 Opus 4.8에 근접했으며, 전체 평가 1회 비용은 약 4.48달러로 약 43.48달러인 비교 대상보다 대략 10배 낮고 지연 시간은 비슷했다. 가장 개선 여지가 컸던 요약에서는 압축 시점과 오프로드된 기록 파일을 다시 읽는 방법을 명시한 안내가 문제를 해소했고, 도구 사용도 크게 향상됐다. 검색과 파일 작업은 기본 상태에서도 강했지만 조율 후 더 높아져 Nemotron의 에이전트형 사후 훈련이 높은 출발점을 제공했음을 보여 줬다. 반면 장기 다중 대화에서 백엔드 상태를 유지하는 능력은 거의 평평했으며, 이는 하네스가 고칠 수 있는 저수준 비계 문제가 아니라 모델 사후 훈련이 다뤄야 할 장기 행동 문제로 해석됐다. 따라서 모든 하네스 변경에도 결과가 계속 정체된다면 또 다른 지침이나 훅보다 모델 가중치에 필요한 역량이 없는지를 살펴봐야 한다.

🧾 핵심 주장 / 시사점

하네스 최적화의 핵심 단위는 ‘더 좋은 프롬프트’가 아니라 트레이스에서 반복 관찰되는 실패 행동이며, 변경의 효과는 문구 자체뿐 아니라 실행 중 노출되는 시점과 메시지 위치에 의해 크게 달라진다.
저비용 대표 표본, 반복 시도, 회귀 검사, 전체 평가 승격으로 구성된 평가 사다리는 하네스 변경을 감각적인 프롬프트 작업이 아니라 검증 가능한 엔지니어링 절차로 만든다.
평가 항목별 변화가 모두 같은 방향으로 움직이지 않는다는 사실은 진단 신호가 된다. 요약·도구·파일 작업의 개선은 하네스 적합성 문제를 가리키지만, 장기 대화 능력의 지속적인 정체는 모델 사후 훈련이 필요한 경계를 보여 준다.

✅ 액션 아이템

동일 모델 가중치와 생성 설정을 고정한 뒤 시스템 프롬프트·도구 설명·미들웨어 조합을 바꿔 성능 영향을 반복 측정한다.
실패 트레이스에서 드러난 문제를 하나씩 추려 단일 변경을 적용하고, 저비용 선별 평가 후 전체 재평가로 악화 없는 조정만 채택한다.
요약·도구 사용·검색·파일 작업에서 비용 대비 성능 개선을 추적해 0.80 대비 0.84~0.86 상승과 4.48달러 비용 구간을 함께 모니터링한다.