DeepMath: A lightweight math reasoning Agent with smolagents
Quick Summary
DeepMath는 Qwen3 4B Thinking 기반의 경량 수학 추론 에이전트로, 긴 사고 과정을 짧은 파이썬 실행 단계로 대체하고 GRPO 학습을 통해 더 간결하고 정확한 수학 풀이를 목표로 한다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
DeepMath는 Qwen3-4B Thinking 기반의 경량 수학 추론 에이전트로, 긴 사고 과정을 짧은 파이썬 실행 단계로 대체하고 GRPO 학습을 통해 더 간결하고 정확한 수학 풀이를 목표로 한다.
📌 핵심 요약
- DeepMath는 수학 문제 풀이에서 장황한 chain-of-thought와 산술 오류를 줄이기 위해, 중간 계산을 짧은 파이썬 코드 조각으로 생성하고 이를 안전한 샌드박스에서 실행한 뒤 결과를 다시 추론 문맥에 반영한다.
- 기반 모델은 Qwen3-4B Thinking이며, smolagents 라이브러리로 에이전트 인터페이스를 구성하고 vLLM을 추론 엔진으로 사용한다.
- 학습에는 GRPO가 사용되며, 정답 보상, 코드 조각 사용 보상, 출력 길이 제한, 온도 스케줄링, 에이전트 호출 예시를 포함한 인컨텍스트 학습이 결합된다.
- 평가는 MATH500, AIME, HMMT, HLE 네 가지 수학 데이터셋에서 수행되며, majority@16과 평균 출력 길이를 기준으로 베이스라인, 에이전트만 적용한 경우, GRPO만 적용한 경우, DeepMath를 비교한다.
- 결과적으로 에이전트 방식은 출력 길이를 크게 줄이고, GRPO와 결합된 DeepMath는 가장 좋은 정확도와 짧은 추론 흔적을 보였으며, 글은 최대 66%의 출력 길이 감소를 핵심 성과로 제시한다.
🧩 주요 포인트
- DeepMath는 수학 문제 풀이에서 장황한 chain-of-thought와 산술 오류를 줄이기 위해, 중간 계산을 짧은 파이썬 코드 조각으로 생성하고 이를 안전한 샌드박스에서 실행한 뒤 결과를 다시 추론 문맥에 반영한다.
- 기반 모델은 Qwen3-4B Thinking이며, smolagents 라이브러리로 에이전트 인터페이스를 구성하고 vLLM을 추론 엔진으로 사용한다.
- 학습에는 GRPO가 사용되며, 정답 보상, 코드 조각 사용 보상, 출력 길이 제한, 온도 스케줄링, 에이전트 호출 예시를 포함한 인컨텍스트 학습이 결합된다.
- 평가는 MATH500, AIME, HMMT, HLE 네 가지 수학 데이터셋에서 수행되며, majority@16과 평균 출력 길이를 기준으로 베이스라인, 에이전트만 적용한 경우, GRPO만 적용한 경우, DeepMath를 비교한다.
- 결과적으로 에이전트 방식은 출력 길이를 크게 줄이고, GRPO와 결합된 DeepMath는 가장 좋은 정확도와 짧은 추론 흔적을 보였으며, 글은 최대 66%의 출력 길이 감소를 핵심 성과로 제시한다.
🧠 상세 정리
1. 문제의식: 긴 추론 흔적과 산술 오류
글은 대규모 언어모델이 추론 능력을 발전시켰지만, 수학 문제 해결은 여전히 어렵다고 출발한다. 특히 chain-of-thought 방식의 풀이 흔적은 길어지기 쉽고, 그 과정에서 산술 실수가 발생할 수 있다는 점을 문제로 삼는다. 기존 연구들은 작은 모델의 강한 성능이나 도구 사용을 통한 신뢰성 향상을 보여주었지만, 저자들이 보기에 추론 흔적 자체를 짧게 만들거나 모델이 계산 중심의 간결한 풀이를 선호하도록 명시적으로 학습시키는 데에는 상대적으로 초점이 덜 맞춰져 있었다. DeepMath는 이 빈틈을 겨냥해 결정적인 계산은 실행기로 넘기고, 모델은 짧고 감사 가능한 계산 절차를 생성하도록 설계된다.
2. DeepMath의 핵심 접근: 짧은 코드와 안전한 실행기
DeepMath는 Qwen3-4B Thinking을 기반으로 한 수학 추론 에이전트이며, 중간 풀이 단계에서 장황한 자연어 설명 대신 작은 파이썬 코드 조각을 출력한다. 이 코드 조각은 안전한 샌드박스에서 실행되고, 실행 결과가 다시 모델의 추론 문맥으로 접혀 들어간다. 글은 이를 통해 출력 길이를 줄이는 동시에 계산 오류를 낮출 수 있다고 설명한다. 구현에는 smolagents 라이브러리가 사용되며, 에이전트는 일반 토큰을 출력하거나 특별한 에이전트 호출 형식으로 파이썬 스니펫을 생성할 수 있다. 전체 방향은 거대한 외부 도구가 아니라 작고 제한된 실행기를 LLM과 결합하는 것이다.
3. 시스템 설계: 샌드박스, 허용 목록, 해석 가능성
DeepMath의 실행 환경은 파일 입출력과 네트워크 접근을 막고, 가져올 수 있는 모듈을 허용 목록으로 제한하며, 각 코드 조각에 실행 시간 제한을 둔다. 글은 이러한 제약을 통해 생성 코드 실행의 위험을 줄이고, 결정적인 계산을 통제된 환경에서 수행하려 한다고 설명한다. 설계 목표는 세 가지로 정리된다. 첫째, 여러 줄의 텍스트 계산을 짧고 집중된 코드로 대체하는 간결성이다. 둘째, 엄격한 실행 제한을 통한 결정성과 안전성이다. 셋째, 사람이 읽고 감사할 수 있는 코드 조각을 사용해 추론 과정을 더 해석 가능하게 만드는 것이다.
4. GRPO 학습: 정답, 코드 사용, 짧은 출력의 결합
모델 학습에는 GRPO가 사용되며, 보상 구조는 정답 여부와 코드 조각 사용, 출력 길이 제약을 함께 고려한다. 정답에는 +1 보상이 주어지고, 코드 조각 생성에도 +1 보상이 부여되며, 글은 코드 사용 보상이 정확도 보상 대비 10:1로 가중된다고 설명한다. 길이 감소는 GRPO completion 후보를 5천 토큰으로 제한하는 방식으로 유도된다. 또한 학습 초반의 탐색과 후반의 안정성을 맞추기 위해 온도를 1.2에서 0.7로 낮추는 선형 temperature scheduling을 구현했다. 인컨텍스트 학습에는 에이전트 호출과 실행기 출력이 포함된 네 개의 풀이 예시가 사용되며, 데이터는 OpenMathReasoning의 Tool-Integrated Reasoning 하위 집합에서 문제만 사용한다.
5. 평가와 비교: 에이전트 추론과 GRPO의 역할 분리
평가는 MATH500, AIME, HMMT, HLE 네 가지 수학 데이터셋에서 진행되며, 지표로는 majority@16과 평균 출력 길이가 사용된다. 비교 기준은 에이전트를 쓰지 않는 Qwen3-4B-Thinking-2507 베이스라인이다. 여기에 학습되지 않은 Qwen3 모델을 개발한 에이전트 프레임워크에서 실행한 +Agent 조건과, 에이전트 없이 GRPO 학습의 효과를 확인하는 +GRPO 조건이 별도로 제시된다. 글은 이 두 ablation이 서로 더해지는 구성이 아니라 독립적인 비교라고 명확히 설명한다. 관찰 결과, 에이전트 추론은 출력 길이를 줄였지만 정확도는 혼재된 모습을 보였고, GRPO 학습과 에이전트 실행을 모두 적용한 DeepMath가 짧은 추론 흔적과 가장 높은 정확도를 보였다고 결론낸다.
6. 의의와 한계: 경량 수학 에이전트의 실용성과 주의점
글이 제시하는 DeepMath의 의의는 계산을 외부 실행기에 맡겨 산술 오류를 줄이고, 더 짧은 출력으로 추론 효율과 해석 가능성을 높이는 데 있다. 저자들은 DeepMath가 거대한 모델이나 무거운 외부 도구 없이도 작은 실행기와 LLM의 결합으로 더 정확하고 간결한 수학 풀이 에이전트를 만들 수 있음을 보여준다고 정리한다. 동시에 한계도 분명히 제시된다. 연구 범위는 작은 모델과 수학 추론에 초점을 맞추고 있으며, 평가는 contest-style 수학 문제에 한정되어 있어 개방형 수학 창의성이나 형식 증명으로 결과가 그대로 이전된다고 말하지 않는다. 또한 생성 코드를 실행하는 일은 본질적으로 위험하므로, 엄격한 샌드박싱과 자원 제한이 있더라도 실제 배포에서는 공격 표면과 rate limit을 신중히 관리해야 한다.
🧾 핵심 주장 / 시사점
- DeepMath의 핵심은 수학 추론을 더 길게 쓰게 만드는 것이 아니라, 모델이 계산 가능한 부분을 짧은 코드로 외부화하도록 학습시킨다는 점이다.
- 평가 구조상 에이전트 실행만으로는 정확도 향상이 항상 보장되지 않으며, 글은 GRPO 학습과 에이전트 추론이 함께 적용될 때 가장 좋은 결과가 나온다고 제시한다.
- 안전한 코드 실행은 성능 개선 수단인 동시에 위험 요소이므로, DeepMath의 설계에서 샌드박스와 실행 제한은 부가 기능이 아니라 핵심 조건이다.
✅ 액션 아이템
- Qwen3-4B Thinking 기반 DeepMath에서 중간 계산을 짧은 파이썬 코드 조각으로 바꿔 안전 샌드박스 실행 후 추론 문맥으로 재주입하는 경량 에이전트 루프를 유지한다.
- smolagents 인터페이스와 vLLM 추론 엔진 조합에서 정답 보상, 코드조각 보상, 출력 길이 제한, 온도 스케줄을 함께 쓰는 GRPO 학습 설정을 비교군과 함께 고정한다.
- MATH500·AIME·HMMT·HLE에서 baseline, agent-only, GRPO-only, DeepMath를 majority@16과 평균 출력 길이로 재평가해 정확도 우위와 최대 66% 감축 효과를 점검한다.
❓ 열린 질문
- 출력 길이 제한을 강화할수록 정답 보상과 코드조각 보상 가중치는 어느 구간에서 균형이 맞을까?
- 안전 샌드박스에서의 파이썬 실행이 길어지는 문제에 대해 DeepMath의 추론 흔적은 어느 정도까지 허용 가능한가?
- 평가를 MATH500·AIME·HMMT·HLE 외 데이터셋으로 확대할 때 majority@16과 평균 출력 길이만으로 성능 판정이 충분한가?
