Our First Proof submissions

🖼️ 인포그래픽

Our First Proof submissions 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 전문 수학 분야의 연구급 문제 10개에 대한 내부 모델의 증명 시도를 공개하고, 전문가 검토와 통제된 후속 평가를 통해 연구급 추론 능력을 검증하겠다고 밝혔다.

📌 핵심 요약

First Proof는 짧은 답을 맞히는 수학 시험이 아니라, 전문 분야의 문제에 대해 처음부터 끝까지 정확하고 검증 가능한 논증을 구성할 수 있는지를 평가하는 연구급 도전 과제다.
OpenAI는 10개 문제 모두에 대한 증명 시도를 공개했으며, 전문가 의견을 토대로 4·5·6·9·10번은 정답일 가능성이 높다고 판단했지만 다른 시도들은 계속 검토 중이라고 설명했다.
처음에는 2번 문제의 증명이 맞을 가능성이 높다고 보았으나, 공식 논평과 커뮤니티의 추가 분석을 반영해 현재는 틀린 것으로 판단을 수정했다.
실험에는 제한적인 인간 감독, 유망한 전략의 재시도 제안, 전문가 피드백에 따른 설명 보완, ChatGPT를 활용한 검증·서식·문체 조정, 여러 결과 중 인간이 고른 최선의 시도 제시가 포함됐다.
OpenAI는 이번 작업이 신속하게 진행돼 엄격한 통제 평가로 보기에는 한계가 있다고 인정하면서도, 장시간 추론과 추상화 선택, 모호성 처리, 전문가 검증을 견디는 논증을 평가하는 기반이 될 수 있다고 강조했다.

🧩 주요 포인트

First Proof는 짧은 답을 맞히는 수학 시험이 아니라, 전문 분야의 문제에 대해 처음부터 끝까지 정확하고 검증 가능한 논증을 구성할 수 있는지를 평가하는 연구급 도전 과제다.
OpenAI는 10개 문제 모두에 대한 증명 시도를 공개했으며, 전문가 의견을 토대로 4·5·6·9·10번은 정답일 가능성이 높다고 판단했지만 다른 시도들은 계속 검토 중이라고 설명했다.
처음에는 2번 문제의 증명이 맞을 가능성이 높다고 보았으나, 공식 논평과 커뮤니티의 추가 분석을 반영해 현재는 틀린 것으로 판단을 수정했다.
실험에는 제한적인 인간 감독, 유망한 전략의 재시도 제안, 전문가 피드백에 따른 설명 보완, ChatGPT를 활용한 검증·서식·문체 조정, 여러 결과 중 인간이 고른 최선의 시도 제시가 포함됐다.
OpenAI는 이번 작업이 신속하게 진행돼 엄격한 통제 평가로 보기에는 한계가 있다고 인정하면서도, 장시간 추론과 추상화 선택, 모호성 처리, 전문가 검증을 견디는 논증을 평가하는 기반이 될 수 있다고 강조했다.

🧠 상세 정리

1. First Proof가 평가하려는 능력

OpenAI는 2026년 2월 20일, 내부 모델로 First Proof의 연구급 수학 문제 10개를 모두 풀어 본 증명 시도를 공개했다. 이 과제는 짧은 정답이나 수학 경시대회식 풀이가 아니라, 전문 분야의 문제에 대해 처음부터 끝까지 이어지는 논증을 만들고 그것을 다른 사람이 검토할 수 있게 제시하는 능력을 시험한다. 문제별 저자들은 각 분야의 주요 전문가이며, 적어도 몇몇 문제는 저자가 해법을 찾기까지 수년 동안 미해결 상태였다고 설명한다. 동시에 관련 분야를 폭넓게 다루는 학과라면 일주일 안에 여러 문제를 풀 가능성도 있다고 덧붙여, 문제의 수준과 해결 가능성을 함께 제시한다. 따라서 이번 공개의 핵심은 정답 개수만이 아니라 전문 지식, 긴 추론 과정, 논증의 완결성, 사후 검증 가능성을 AI가 얼마나 충족했는지 살펴보는 데 있다.

2. 10개 증명 시도의 공개와 현재 평가

OpenAI는 2026년 2월 14일 오전 0시 태평양 표준시를 기준으로 10개 문제에 대한 증명 시도를 공유했다. 전문가 피드백을 반영한 현재 판단으로는 4번, 5번, 6번, 9번, 10번 문제의 시도가 맞을 가능성이 높으며, 나머지 여러 문제는 여전히 검토 중이다. 이는 다섯 문제가 최종적으로 정답 판정을 받았다는 선언이 아니라, 외부 검토가 진행되는 상황에서 제시한 잠정적인 신뢰 평가다. 특히 OpenAI는 처음에 2번 문제의 시도가 맞을 가능성이 높다고 보았지만, First Proof 측의 공식 논평과 커뮤니티의 추가 분석을 검토한 뒤 틀린 것으로 판단을 변경했다. 공개된 프리프린트에는 10개 증명 시도 전체와 함께, 작업 당시의 수동 모델 상호작용을 재현하려는 프롬프트 패턴 및 예시를 담은 부록도 추가됐다.

3. 일반 벤치마크를 넘어선 연구급 평가

OpenAI는 차세대 AI 모델의 능력을 평가할 때 새로운 최전선 연구 문제가 특히 중요하다고 주장한다. 기존 벤치마크도 유용하지만, 실제 연구에서 요구되는 장시간의 추론 유지, 적절한 추상화 선택, 문제 서술의 모호성 처리, 전문가의 비판을 견디는 논증 작성까지 충분히 포착하지 못할 수 있다는 이유다. First Proof 같은 과제에서는 정답 여부를 즉시 판별하기 어렵고, 전문 지식을 가진 검토자가 논리의 세부 단계와 전제를 직접 확인해야 한다. 이런 환경은 단순한 성공률뿐 아니라 모델이 어디에서 잘못된 전제를 채택하고, 어떤 논리적 공백을 남기며, 검증 과정에서 어떤 문제가 드러나는지도 관찰하게 해준다. OpenAI는 바로 이러한 비자명한 검증 과정과 정보 가치가 높은 실패 양상 때문에 최전선 도전 과제가 연구급 추론 평가에 적합하다고 본다.

4. 훈련 과정에서 관찰된 모델의 변화

OpenAI 연구원 James R. Lee는 사고의 엄밀성을 높이고, 모델이 여러 시간 동안 연속적으로 사고하면서도 결론에 높은 확신을 유지하도록 하는 데 초점을 둔 새 모델을 훈련하고 있다고 설명했다. First Proof 문제가 발표되자 이 모델을 시험 대상으로 삼았고, 초기에는 9번과 10번 문제를 해결할 수 있었다고 전했다. 훈련이 진행되면서 OpenAI의 자체 평가상 최소 세 문제를 더 해결할 수 있게 됐으며, 특히 6번 문제에 이어 이틀 뒤 4번 문제의 풀이를 얻은 점을 강조했다. 연구진에게 비교적 익숙한 분야의 문제에서도 성과가 나타났기 때문에 모델의 변화가 더 구체적으로 체감됐다는 설명이다. 다만 이 대목 역시 모델의 증명이 모두 최종 확정됐다는 뜻이 아니라, 훈련 중 생성된 시도와 당시 연구진의 평가가 어떻게 변화했는지를 보여주는 관찰로 제시된다.

5. 인간 감독과 실험 설계의 한계

이번 결과는 모델이 완전히 독립적으로 한 번씩 답을 생성한 통제 실험에서 나온 것이 아니다. 연구진은 훈련 단계별 모델을 시험하면서 앞선 시도에서 유망해 보였던 전략을 다시 사용해 보도록 제안했고, 전문가 피드백을 받은 뒤 증명의 일부를 확장하거나 명확하게 설명하도록 요청하기도 했다. 또한 해당 모델과 ChatGPT 사이의 상호 검토를 주선해 검증, 서식, 문체를 보완했으며, 일부 문제에서는 여러 시도 가운데 인간의 판단으로 가장 좋은 결과를 선택해 공개했다. 이런 개입은 최종 문서를 더 쉽게 검토하도록 만들지만, 모델 자체의 단독 수행 능력과 인간·도구가 결합된 전체 과정의 성과를 분리하기 어렵게 한다. OpenAI도 이번 작업이 빠르게 진행된 단기 집중 작업이어서 바람직한 통제 평가만큼 절차가 정돈되지 않았다고 인정하며, 향후 주최 측과 더 엄격한 실험 및 평가 체계를 논의하겠다고 밝혔다.

6. 이전 연구 성과와 향후 검증 방향

OpenAI는 이번 작업을 수학과 과학 분야에서 최전선 추론 모델로 수행해 온 이전 실험의 연장선에 놓는다. 2025년 7월에는 범용 추론 모델이 국제수학올림피아드에서 42점 중 35점을 받아 금메달 수준의 성과에 도달했다고 발표했다. 같은 해 11월에는 GPT-5가 수학, 물리학, 생물학 등에서 연구자들의 구체적인 진전을 도운 사례와 함께 관찰된 한계를 공개했다. 이후에는 GPT-5.2가 글루온 진폭 공식의 후보 표현을 제안하고, 내부 모델이 이를 형식적으로 증명한 뒤 해당 연구 저자들이 검증한 물리학 협업도 보고했다. OpenAI는 First Proof 증명에 대한 전문가 피드백을 계속 받으면서 연구급 추론을 어떻게 평가해야 하는지 공동체와 논의를 심화하고, 이러한 능력을 미래의 공개 모델에 제공하겠다는 방향을 제시한다.

🧾 핵심 주장 / 시사점

이번 결과를 해석할 때는 모델의 증명 생성 능력과 인간이 전략을 제안하고 결과를 선택하며 표현을 보완한 전체 협업 과정의 성과를 구분해야 한다.
2번 문제에 대한 판단 수정은 연구급 수학에서 모델이나 연구진의 초기 확신보다 공식 논평, 커뮤니티 분석, 전문가 검토가 더 중요한 최종 검증 장치임을 보여준다.
First Proof의 가치는 맞힌 문제 수뿐 아니라 장시간 추론, 추상화 선택, 모호성 대응, 논리적 실패 지점을 실제 전문 문제 안에서 관찰할 수 있다는 데 있다.