Fixing Open LLM Leaderboard with Math-Verify

🖼️ 인포그래픽

Fixing Open LLM Leaderboard with Math-Verify 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Math-Verify로 수학 답안의 추출·해석·동치 비교 오류를 바로잡아 Open LLM Leaderboard의 3,751개 모델을 재평가한 결과, 점수와 순위가 대폭 달라졌다.

📌 핵심 요약

기존 MATH-Hard 평가는 모델이 지정된 문구로 답하지 않으면 정답도 오답으로 처리하는 등 답안 추출 단계에서 심각한 한계를 보였다.
SymPy 기반 처리 과정에서도 방정식, 구간, 백분율, 행렬, 집합 같은 다양한 수학 표현을 제대로 해석하거나 비교하지 못했다.
Math-Verify 도입 후 전체 모델은 평균 61문제를 더 맞혔고, 평균 점수는 4.66점 상승했으며 대수와 초급 대수에서 개선 폭이 가장 컸다.
기존 평가에서 특히 불리했던 Qwen 모델의 점수는 두 배 이상, 박스 표기 답안을 자주 사용하는 DeepSeek 모델의 점수는 거의 세 배로 높아졌다.
MATH-Hard 상위권은 Nvidia AceMath와 Qwen 파생 모델 중심으로 재편됐으며, 전체 순위에서도 일부 모델이 200계단 이상 상승했다.

🧩 주요 포인트

기존 MATH-Hard 평가는 모델이 지정된 문구로 답하지 않으면 정답도 오답으로 처리하는 등 답안 추출 단계에서 심각한 한계를 보였다.
SymPy 기반 처리 과정에서도 방정식, 구간, 백분율, 행렬, 집합 같은 다양한 수학 표현을 제대로 해석하거나 비교하지 못했다.
Math-Verify 도입 후 전체 모델은 평균 61문제를 더 맞혔고, 평균 점수는 4.66점 상승했으며 대수와 초급 대수에서 개선 폭이 가장 컸다.
기존 평가에서 특히 불리했던 Qwen 모델의 점수는 두 배 이상, 박스 표기 답안을 자주 사용하는 DeepSeek 모델의 점수는 거의 세 배로 높아졌다.
MATH-Hard 상위권은 Nvidia AceMath와 Qwen 파생 모델 중심으로 재편됐으며, 전체 순위에서도 일부 모델이 200계단 이상 상승했다.

🧠 상세 정리

1. Open LLM Leaderboard의 MATH-Hard 평가 구조

Open LLM Leaderboard는 여러 과제에서 공개 대규모 언어 모델의 성능을 비교하며, 그중 MATH-Hard는 고등학교와 대학 수준의 수학 문제 해결 능력을 측정한다. 평가는 Hendrycks MATH 데이터셋에서 난도가 가장 높은 레벨 5 문제 1,324개를 사용하고, 전미적분·초급 대수·대수·중급 대수·계수와 확률·정수론 등 일곱 주제를 포괄한다. 모델에는 답변 형식을 보여 주는 예시 다섯 개가 함께 제공되는 5-shot 방식이 적용됐다. 기존 평가에서는 모델이 답변 끝에 “Final answer is [ANSWER]. I hope it is correct.”라는 특정 문구를 출력해야 했다. 평가기는 이 문구에서 답을 추출한 뒤 SymPy로 기호 표현을 만들고, 이를 정답과 비교해 점수를 산정했다.

2. 정답 형식 의존으로 발생한 추출 실패

첫 번째 문제는 모델의 수학적 정답 여부보다 지정된 출력 형식을 따랐는지가 판정에 지나치게 큰 영향을 준다는 점이었다. 모델이 “따라서 둘레는 14+7√2이다”, “급수의 합은 7/9이다”, “그는 자동차 5대를 갖는다”처럼 자연스러운 문장으로 올바르게 답해도 기존 평가기는 답을 추출하지 못했다. 박스 표기나 간결한 서술을 사용한 답도 요구된 고정 문구와 다르면 오답으로 기록될 수 있었다. 실제 예시에는 41을 박스로 표시한 답에서 4만 잘못 추출되는 경우도 제시됐다. 이는 수학 문제 해결 능력이 아니라 지시된 문장 틀을 재현하는 능력까지 점수에 섞이게 해, 모델 성능을 부당하게 낮추는 원인이 됐다.

3. 수학 표현의 파싱과 동치 비교 문제

답을 찾은 뒤 SymPy 표현으로 변환하는 단계에서도 여러 종류의 오류가 발생했다. 방정식은 일부만 파싱되거나 엉뚱한 값으로 처리됐고, 괄호가 있는 수, 열린 구간의 합집합, 백분율, 행렬 같은 표현은 추출 자체가 실패하기도 했다. 마지막 정답 비교 단계도 표현 방식이 다른 수학적으로 같은 값을 충분히 인식하지 못했다. 예를 들어 1/3과 0.333333의 반올림 관계, 7√(1/2)과 7√0.5의 수치적 동치, ‘k=1’과 ‘1’의 변수 할당 관계를 같은 답으로 판정하지 못했다. 동일한 행렬이나 중복 원소를 정리한 집합의 동치도 지원되지 않아, 정답을 올바르게 생성한 모델이 표현 차이만으로 감점됐다.

4. Math-Verify 도입과 전체 모델 재평가

연구진은 기존 평가기를 Math-Verify로 교체해 답안 추출, 수학 표현 해석, 정답 동치 판정에서 드러난 문제를 해결했다. 실제 평가 코드에서 필요한 변경은 세 줄에 불과했지만, 그 영향은 과거 결과 전체를 다시 계산해야 할 만큼 컸다. 이에 따라 Open LLM Leaderboard에 제출된 모든 모델, 총 3,751개를 대상으로 MATH-Hard 성능을 재평가했다. Math-Verify는 고정된 답변 문구에 덜 의존하면서 다양한 수학 표기에서 의도한 답을 추출하고, 집합과 행렬을 비롯한 복잡한 답안 유형을 더 정확하게 처리했다. 누적된 평가 오류가 제거되면서 기존에 과소평가됐던 모델들의 실제 수학 문제 해결 성능이 순위에 반영됐다.

5. 점수 변화와 모델 계열별 영향

재평가 결과 모델들은 전체적으로 평균 61문제를 더 맞힌 것으로 집계됐고, 평균 점수는 4.66점 상승했다. 주제별로는 대수가 8.27점, 초급 대수가 6.93점 올라 가장 큰 개선을 보였으며, 극단적인 사례에서는 해당 하위 분야 점수가 거의 90점 높아진 모델도 있었다. 연구진은 이 분야에 복수 해답을 나타내는 집합과 행렬 형태의 답이 자주 등장하고, Math-Verify가 이를 더 잘 처리한 점을 주요 이유로 설명했다. 문제를 처음 발견하는 계기가 됐던 Qwen 모델들은 기존 자체 보고 성능보다 비정상적으로 낮았으나, 교체 후 점수가 두 배 이상으로 높아졌다. 박스 표기를 자주 사용해 기존 평가기가 답을 찾지 못했던 DeepSeek 모델들도 점수가 거의 세 배로 상승했다.

6. 순위 재편과 평가 도구의 의미

점수 변화는 MATH-Hard 상위 20개 모델의 구성을 크게 뒤바꿨으며, 새 순위에서는 Nvidia의 AceMath 모델들이 상위권을 지배했다. AceMath 바로 아래 순위도 대부분 Qwen 파생 모델이 차지해, 기존 평가 방식이 특정 모델 계열을 얼마나 심하게 과소평가했는지 드러냈다. 전체 리더보드에서는 상위 네 자리가 유지됐지만 그 아래 순위는 크게 변했고, 여러 Qwen 파생 모델의 상승이 전체 상위 20위 구성에도 영향을 미쳤다. 일부 모델은 전체 순위에서 200계단 이상 뛰어오르기도 했다. 연구진은 Math-Verify가 평가의 정확성과 공정성을 높였다고 결론 내리며, 개발자와 연구자들에게 자체 수학 평가에도 이를 도입하고 갱신된 순위를 확인할 것을 권했다.

🧾 핵심 주장 / 시사점

수학 벤치마크의 점수는 모델의 추론 능력뿐 아니라 답안 추출기와 동치 판정기의 품질에도 크게 좌우되므로, 평가 도구 자체를 검증해야 한다.
고정된 자연어 문구를 요구하는 평가는 올바른 수학 답안을 형식 불일치로 탈락시킬 수 있어, 수학 능력과 지시 형식 준수 능력을 혼동할 위험이 있다.
Qwen과 DeepSeek의 급격한 점수 상승 및 순위 재편은 평가기의 작은 구현 변경도 모델 간 비교와 리더보드 해석을 근본적으로 바꿀 수 있음을 보여 준다.

✅ 액션 아이템

MATH-Hard의 정답 문구 의존 채점 오류를 Math-Verify 방식으로 대체해 3,751개 모델의 비교 지표 산식과 채점 기준을 정돈한다.
SymPy가 방정식·구간·백분율·행렬·집합에서 누락한 판정 케이스를 유형별로 정리해 추출·해석·동치 비교 규칙을 보완한다.
Qwen과 DeepSeek 점수 급상승, 그리고 일부 모델의 200계단 이상 랭크 이동 데이터를 근거로 상위권 재편 구간의 모델군 변화 추이를 점검한다.

❓ 열린 질문

정답 형식이 지정 문구와 달라 오답 처리된 문제의 비중은 과목별로 어디까지였는가?
Math-Verify로 평균 61문제 추가 정답과 4.66점 상승이 모든 모델군에 고르게 반영되었는지 어떤 계층에서 편차가 컸는가?
Nvidia AceMath와 Qwen 파생 모델 중심 재편에서 200계단 이상 이동한 모델군의 공통 특성은 무엇이며, 동일 패턴이 반복 가능한가?