Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ThinkingBox의 최종 데이터베이스 상태 검증을 강화학습 보상으로 활용한 결과, Qwen3.8-27B는 50단계 GRPO 후 평균 성공률과 20회 반복 성공이 개선됐지만 한 번이라도 해결한 과제의 범위는 소폭 줄었다.

📌 핵심 요약

• ThinkingBox는 에이전트가 남긴 최종 데이터베이스 상태를 실행 가능한 검사로 평가한다. 연구진은 벤치마크 외부 과제의 초기 성공 확률을 기본 정책으로 한 번 추정해 학습 집합을 고정했으며, 187개 과제로 Qwen3.8-27B를 50단계 GRPO 학습했다.
• ThinkingBox-Bench의 507개 과제를 각각 20회 평가한 결과, pass@1은 51.70%에서 60.78%로 9.08%포인트 상승했다. 관측된 20회 전부 성공 과제는 38개(7.50%)에서 107개(21.10%)로 늘었다.
• 한 번 이상 해결한 과제 비율인 pass@20은 453개(89.35%)에서 446개(87.97%)로 감소했다. 다섯 도메인 모두 pass@1과 관측된 20회 전부 성공 비율은 상승했지만, pass@20은 네오뱅크·컨설팅에서 상승하고 소매·여행·자동차보험에서 하락했다.
• 관리자 승인이 필요한 호텔 객실 하향 변경 사례에서 기본 모델은 20회 중 15회 승인 없이 예약 변경과 환불을 실행했다. 학습 후에는 20회 모두 예약·결제 상태를 보존했으며, 모든 기대 레코드가 일치한 시도는 19회였다.
• 전체 20회 평가 캠페인의 추정 비용은 925.80달러에서 855.58달러로, 성공 시도당 비용은 0.177달러에서 0.139달러로 감소했다. 20회 전부 성공 과제당 비용은 24.36달러에서 8.00달러로 67.2% 줄었으며, 이 비용은 비교용 추론 비용 지표로 학습 및 과제 선별용 정책 탐색 비용을 제외한다.

🧩 주요 포인트

1. 평균 성공률과 반복 성공, 해결 범위는 서로 다른 평가 축이다. Qwen3.8-27B의 pass@1·관측된 20회 전부 성공 증가와 pass@20 감소는 반복성과 범위 사이의 상충을 보여주며, 단일 지표만으로 개선 전체를 설명하기 어렵다.
2. 학습하지 않은 ThinkingBox-Bench에서 성과가 개선됐고, 평가 과제의 도메인·데이터베이스·대부분의 MCP 도구는 학습 중 접하지 않았다. 이는 해당 평가에서 분포 밖 전이를 보여주지만, 호텔 사례의 상태 보존 20회와 전체 레코드 일치 19회처럼 부분 조건 충족과 과제 전체 성공은 구분해야 한다.
3. 최종 데이터베이스 상태를 보상으로 삼으면 특정 도구 호출 순서보다 실제 결과에 학습 신호를 줄 수 있다. 반복 성공 증가와 추정 추론 비용 감소가 함께 나타났지만, 8.00달러라는 과제당 비용에는 학습·정책 탐색 비용이 빠져 있어 전체 투자 비용으로 해석할 수 없다.

🧠 상세 정리

1. 완료 선언을 실제 데이터베이스 결과로 검증

ThinkingBox는 에이전트가 작업을 끝냈다고 말하더라도 실제 데이터베이스에 필요한 변화가 일어났는지 확인하기 위해 만들어졌다. ThinkingBox-Bench의 507개 과제는 실제 백엔드와 도구를 제공하고, 작업 종료 후 최종 데이터베이스 상태를 기대 결과와 비교한다. 앞선 글에서는 에이전트가 그럴듯한 도구 호출을 아홉 번 수행하고 고객 문의를 해결 상태로 닫았지만, 그 원인이 된 운송사 예외는 여전히 열려 있던 사례를 제시했다. 이 문제의식에서 연구진은 대부분의 과제가 최종 상태 검사로 1 또는 0을 반환할 수 있으며, 같은 신호를 평가뿐 아니라 학습 보상으로도 사용할 수 있다고 보았다. 이번 글은 Microsoft와 Hugging Face의 공동 글이며, 이러한 접근을 구현한 ThinkingBox-Training이 GitHub에 공개됐다고 알린다.

2. 평균 정확도가 가리는 반복 성공의 차이

벤치마크의 각 과제는 실제 백엔드, MCP 도구, 비공개 맥락을 가진 모의 LLM 사용자로 구성되며, 평가는 특정 도구 호출 경로보다 올바르게 남아야 할 레코드에 초점을 맞춘다. 따라서 사람이 작성한 해결 경로를 그대로 재현하지 않더라도 최종 결과가 맞으면 성공할 수 있으며, 저자들은 이것이 새로운 해결 경로의 발견을 유도한다고 설명한다. 앞선 평가에서 Kimi-K3는 과제의 93.89%를 한 번 이상 해결했지만, 20회 모두 성공한 과제는 68개인 13.41%에 그쳤다. Claude Opus 5는 해결 범위가 더 좁으면서 반복 성공은 더 높았고, Claude Opus 5.5는 Opus 5보다 pass@1이 0.66%포인트 높아도 20회 전부 성공한 과제 수는 동일한 241개였다. 이 차이를 드러내기 위해 글은 전체 시도의 평균 성공률인 pass@1, 과제별 최소 한 번 성공한 비율인 pass@20, 기록된 20회 모두 성공한 비율을 함께 제시한다.

3. 50단계 학습이 바꾼 성과와 남은 상충

연구진은 Qwen3.8-27B를 50단계 GRPO로 학습한 뒤, 학습에 사용하지 않은 ThinkingBox-Bench의 507개 과제를 각각 20회씩 평가했다. 총 10,140회 시도에서 성공 횟수는 5,242회에서 6,163회로 늘었고, pass@1은 51.70%에서 60.78%로 9.08%포인트 상승했다. 기록된 20회 모두 성공한 과제는 38개에서 107개로 69개 늘어 약 2.8배가 됐으며, 전체 과제에서 차지하는 비율은 7.50%에서 21.10%로 높아졌다. 반면 한 번 이상 성공한 과제는 453개에서 446개로 일곱 개 줄어 pass@20이 89.35%에서 87.97%로 낮아졌다. 저자들은 이를 성공하는 경로 쪽으로 확률이 집중되면서 일부 낮은 확률의 성공 경로가 사라졌을 가능성과 일치하는 현상으로 해석하지만, 그 설명을 확정된 원인으로 제시하지는 않는다.

4. 다른 모델과의 비교 및 분포 밖 평가

평가에 사용한 507개 과제는 학습에서 제외됐으며, 해당 도메인과 데이터베이스, 대부분의 MCP 도구도 강화학습 중 접하지 않았다는 점에서 글은 이를 분포 밖 테스트로 설명한다. 학습된 Qwen3.8-27B의 pass@1은 60.78%로 GPT-5.6 Sol의 61.91%보다 낮았지만, 20회 모두 성공한 과제는 107개로 GPT-5.6 Sol의 82개보다 많았다. Claude Sonnet 4.6은 pass@1이 59.19%로 더 낮으면서도 20회 전부 성공한 과제는 102개로 학습된 Qwen과 비슷했다. 더 높은 반복 성공 수를 기록한 비교 모델로는 GPT-5.4의 128개, GPT-6 Astra의 231개, Claude Opus 5.5의 241개가 제시됐다. 이 비교는 평균 성공률 순위와 반복 성공 순위가 다르다는 점을 뒷받침하며, 개선된 27B 모델의 성과 역시 두 축을 함께 보아야 함을 보여준다.

5. 도메인별 변화와 호텔 예약 사례

도메인별로는 소매, 자동차보험, 여행, 네오뱅크, 컨설팅 모두에서 pass@1과 관측된 20회 전부 성공 비율이 상승했다. 다만 pass@20은 네오뱅크와 컨설팅에서 높아진 반면 소매·여행·자동차보험에서는 낮아졌으며, 자동차보험의 하락 폭이 7.0%포인트로 가장 컸다. 소매는 관측된 20회 전부 성공 비율이 24.5%포인트 올라 반복 성공 측면에서 가장 큰 개선을 보였다. 구체적인 호텔 예약 과제에서는 여행자가 객실 하향 변경을 요청했지만 회사 정책상 관리자 승인이 먼저 필요했고, 기본 모델은 20회 중 15회 승인 없이 예약을 바꾸고 환불했다. 학습된 모델은 20회 모두 예약과 결제 상태를 보존했으나 모든 기대 레코드가 일치한 경우는 19회였으므로, 해당 상태 보존과 과제 전체 성공을 동일하게 읽어서는 안 된다.

6. 반복 성공당 비용 감소와 계산의 범위

글은 507개 과제를 20회씩 수행하는 전체 평가 캠페인의 추정 비용을 20회 전부 성공한 과제 수로 나눠 반복 성공 과제당 비용을 계산한다. 기본 모델에서 학습 모델로 바뀌면서 캠페인 비용은 925.80달러에서 855.58달러로 7.6% 줄었고, 성공 시도당 비용은 0.177달러에서 0.139달러로 21.4% 감소했다. 반복 성공 과제 수가 38개에서 107개로 늘어난 효과까지 합쳐져 과제당 비용은 24.36달러에서 8.00달러로 67.2% 낮아졌다. 이 값은 비교 대상으로 제시된 GPT-5.4의 6.80달러, GPT-6 Astra의 7.45달러, Claude Opus 5.5의 7.80달러에 가까워졌지만, 성공 시도당 비용과 pass@1에서는 GPT-5.6 Sol이 여전히 더 유리했다. 저자들은 달러 수치가 실제 청구액이 아닌 비교용 서빙 지표이며, 추론 비용만 포함하고 학습 실행 및 학습 과제 선별을 위한 정책 탐색 비용은 제외한다고 명시한다.

7. 현재 정책을 기준으로 한 오프라인 난도 선별

학습 과제는 ThinkingBox-Bench 밖의 ThinkingBox 형식 과제에서 구성했으며, 연구진은 보상을 정의하는 것만큼 어떤 과제를 고르는지가 중요하다고 설명한다. 현재 모델이 이미 해결하는 과제와 거의 해결할 수 없는 과제는 모두 학습에 유용한 신호를 주기 어렵다는 것이 선별의 출발점이다. 과제 난도는 모델과 무관하게 고정된 속성이 아니라 현재 정책에 상대적이며, 모델이 과제를 익히면 같은 과제의 난도도 달라질 수 있다. 이번 실험에서는 기본 정책으로 각 과제의 성공 확률을 학습 전에 한 번 추정하고, 그 결과로 선택한 학습 집합을 전체 실행 동안 고정하는 방식을 사용했다. 저자들은 이를 오프라인 정책 상대 난도로 부르며, 학습 도중 난도를 다시 탐색해 과제 집합을 바꾸는 경로는 이번 실행에서 사용하지 않았다고 구분한다.

8. 완전한 에피소드 보상과 해석 일관성

학습의 각 롤아웃은 단순한 텍스트 완성이 아니라 새로운 백엔드, 격리된 MCP 세션, 모의 사용자 역할의 GPT-5 Chat을 포함하는 완전한 에피소드로 실행된다. 대부분의 보상은 결정적인 최종 상태 검사에서 나오지만, 일부 제한된 평가 기준은 설정된 판정 모델인 GPT-5 Chat을 호출할 수 있어 모든 보상이 데이터베이스 검사만으로 구성되는 것은 아니다. 연구진은 학습과 평가에서 Qwen 출력의 추론 추출, 도구 호출, 인자 자료형, 렌더링, 과제 상태 격리를 동일하게 해석해야 보상이 실제 평가 대상과 같은 에이전트를 측정한다고 강조한다. 이 공통 해석 코드는 trainer/core/tb_interpret.py에 있으며, 참조 실행은 187개 과제에서 Qwen3.8-27B의 전체 파라미터를 token-mean GRPO로 학습했다. 업데이트마다 8개 롤아웃으로 이루어진 18개 그룹, 즉 144개 에피소드를 생성했으며, 제공된 본문은 이후 하드웨어 설명 도중 끝나므로 전체 실행 절차와 추가 설정은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 최종 데이터베이스 상태를 평가와 보상에 함께 사용하면 에이전트의 완료 주장과 실제 업무 결과 사이의 차이를 직접 학습 신호로 연결할 수 있다. 다만 일부 보상에는 GPT-5 Chat 판정도 사용되므로 보상 전체를 결정적 검사로 일반화할 수는 없다.
• 이번 결과의 핵심은 해결 범위의 확대보다 반복 성공의 증가다. pass@1과 관측된 20회 전부 성공이 개선돼도 pass@20은 낮아질 수 있으므로, 업무에 필요한 성과를 판단하려면 세 지표를 함께 해석해야 한다.
• 반복 성공 과제당 추정 비용의 감소는 성공 과제 수 증가와 평가 추론 비용 감소가 함께 만든 결과다. 학습과 정책 탐색 비용이 제외돼 있으므로, 이 수치만으로 전체 학습 투자의 경제성을 판단하기는 어렵다.

✅ 액션 아이템

• Qwen3.8-27B의 개선 평가에 pass@1, 관측된 20회 전부 성공, pass@20을 함께 반영하고 반복성과 해결 범위의 상충을 검토.
• 관리자 승인이 필요한 호텔 사례에서 예약·결제 상태 보존 20회와 모든 기대 레코드 일치 19회를 구분해 과제 성공을 해석.
• 반복 성공 과제당 8.00달러를 비교할 때 학습·정책 탐색 비용이 제외된 추론 비용 지표라는 계산 범위를 명시.

❓ 열린 질문

• Qwen3.8-27B에서 관측된 20회 전부 성공 과제가 38개에서 107개로 늘면서 pass@20이 89.35%에서 87.97%로 낮아진 원인은 무엇인가?
• 호텔 사례에서 예약·결제 상태를 보존한 20회 중 모든 기대 레코드가 일치하지 않은 한 번에는 어떤 차이가 있었는가?
• 학습·정책 탐색 비용을 포함하면 반복 성공 과제당 8.00달러라는 비용 개선의 경제성은 어떻게 달라지는가?