How GPT-5 helped mathematician Ernest Ryu solve a 40-year-old open problem

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

수학자 어니스트 류는 GPT-5가 제안한 수많은 접근법을 전문 지식으로 검증하고 발전시켜, 네스테로프 가속 경사의 속도와 안정성에 관한 약 40년 된 미해결 문제의 증명을 완성했다.

📌 핵심 요약

• UCLA의 응용수학자 어니스트 류는 1983년 도입된 네스테로프 가속 경사가 추가적인 운동량에도 빠르고 안정적으로 작동하는 이유를 설명하는 오랜 미해결 문제에 도전했다.
• GPT-5는 완전한 증명을 스스로 만들지는 못했고 그럴듯하지만 잘못된 논증도 자주 제시했지만, 인접한 수학 분야의 도구와 류가 생각하지 못했던 접근법을 빠르게 제안했다.
• 류는 각 제안을 즉시 평가해 막다른 길은 버리고 가능성 있는 아이디어는 직접 엄밀하게 발전시키는 방식으로, 사흘 동안 약 12시간에 걸쳐 거의 열두 가지 접근법을 탐색했다.
• 결정적 전환점은 GPT-5가 제안한 NAG 방정식 재구성 방식에서 나왔으며, 제안 자체는 틀렸지만 류가 그 안의 유의미한 구조를 발견해 최종 증명의 뼈대로 만들었다.
• 류는 결과를 직접 검산하고 논문을 전통적인 형식으로 작성했으며, GPT-5를 공동 저자가 아닌 핵심 아이디어를 제공한 도구로 명시했다.

🧩 주요 포인트

1. UCLA의 응용수학자 어니스트 류는 1983년 도입된 네스테로프 가속 경사가 추가적인 운동량에도 빠르고 안정적으로 작동하는 이유를 설명하는 오랜 미해결 문제에 도전했다.
2. GPT-5는 완전한 증명을 스스로 만들지는 못했고 그럴듯하지만 잘못된 논증도 자주 제시했지만, 인접한 수학 분야의 도구와 류가 생각하지 못했던 접근법을 빠르게 제안했다.
3. 류는 각 제안을 즉시 평가해 막다른 길은 버리고 가능성 있는 아이디어는 직접 엄밀하게 발전시키는 방식으로, 사흘 동안 약 12시간에 걸쳐 거의 열두 가지 접근법을 탐색했다.
4. 결정적 전환점은 GPT-5가 제안한 NAG 방정식 재구성 방식에서 나왔으며, 제안 자체는 틀렸지만 류가 그 안의 유의미한 구조를 발견해 최종 증명의 뼈대로 만들었다.
5. 류는 결과를 직접 검산하고 논문을 전통적인 형식으로 작성했으며, GPT-5를 공동 저자가 아닌 핵심 아이디어를 제공한 도구로 명시했다.

🧠 상세 정리

1. 초기 평가에서 미해결 문제 도전까지

UCLA 교수 어니스트 류는 응용수학과 최적화 이론을 15년간 연구한 뒤, 2023년 ChatGPT-3.5에 간단한 수학·논리 문제와 여러 시간대의 회의 일정 조정 문제를 풀게 했다. 모델은 새벽 시간대를 피하려는 사람들의 암묵적 제약까지 이해했지만, 답의 정확성은 크게 흔들렸고 류는 아직 갈 길이 멀다고 판단했다. 2년 뒤 GPT-5의 수학 능력이 빠르게 발전했다는 이야기를 들은 그는 더 복잡한 문제로 다시 시험하기로 했다. 그는 단순한 형태의 해법이 존재할 수 있다는 수학적 직관을 바탕으로, 학계가 중요하게 여기면서도 아직 해결하지 못한 네스테로프 가속 경사 관련 문제를 선택했지만 이 실험이 실제 해결로 이어질 것이라고는 예상하지 못했다.

2. 네스테로프 가속 경사의 속도와 안정성 문제

1983년 유리 네스테로프가 도입한 네스테로프 가속 경사는 알고리즘이 현재 위치가 아니라 앞으로 이동할 지점에서 기울기를 계산하도록 해 수렴 속도를 높이는 최적화 방법이다. 이러한 예측 방식은 다음 갱신을 더 효과적으로 결정하고, 함수의 최솟값에 접근할 때 발생하는 진동을 관리하면서 더 빠른 진행을 가능하게 한다. 그러나 연구자들은 운동량을 추가해 속도를 크게 높였는데도 왜 안정성이 눈에 띄게 나빠지지 않는지를 수십 년 동안 완전히 설명하지 못했다. 기계학습 모델 훈련과 공학 문제 해결에서는 계산 자원과 시간을 낭비하지 않는 효율성이 중요하므로, 빠르면서도 안정적인 알고리즘을 설계할 이론적 도구를 확장한다는 점에서 이 문제는 실질적인 의미가 있었다.

3. 창의적이지만 오류가 많은 탐색 협업

류는 아이들이 잠든 늦은 밤까지 GPT-5에 질문을 이어가며, 모델이 내놓는 창의적이고 관습에서 벗어난 접근법을 살펴봤다. GPT-5는 류가 생각하지 못했던 흥미로운 방향을 제안했지만, 계산과 추론을 점검하면 오류가 발견되는 경우가 많아 문제는 쉽게 해결되지 않았다. 모델이 새로운 수학 원리나 도구를 발명한 것은 아니며, 이미 존재하는 도구를 활용하고 해당 전문 영역에서 조금 벗어난 논문과 방정식 및 아이디어를 연결하는 데 강점을 보였다. 류는 이러한 폭넓고 때로는 기이한 제안이 인간 동료와의 수학적 발상 회의처럼 새로운 사고를 자극한다고 보고, 오류 가능성을 감수하면서 탐색을 더 밀어붙였다.

4. 아이디어 생성은 모델이, 판단은 전문가가

류는 GPT-5를 정답을 제공하는 자동 증명자가 아니라 아이디어를 주고받는 협업 도구로 사용했다. 질문을 던지면 모델은 옳거나 그른 방향을 하나 제시했고, 류는 자신의 수학적 직관으로 막다른 길인지 가능성 있는 경로인지 빠르게 평가했다. 가망이 없는 접근은 즉시 중단하고 의미 있는 연결이 보이는 접근은 직접 추적함으로써, 혼자라면 며칠 걸릴 발상과 선별 과정을 몇 시간 안에 반복할 수 있었다. 이 과정은 인접한 수학 분야의 연결을 넓게 제안하는 모델의 능력과, 제안의 타당성을 판별하고 탐색 종료 시점을 결정하는 연구자의 전문성이 함께 작동해야 한다는 점을 분명히 보여줬다.

5. 사흘 동안 압축된 대규모 가능성 탐색

류는 새로운 발상을 요청하고, 실패한 방향을 제외하고, 가능성이 있는 방향을 더 깊이 파고드는 과정을 지속적으로 반복했다. 약 사흘 동안 총 12시간가량 GPT-5와 협업하며 거의 열두 가지 접근법을 검토한 끝에, 조사하던 방법 가운데 하나가 마침내 작동했다. 모델은 비슷한 아이디어의 여러 변형을 빠르게 만들고 버리거나 인접 분야의 수학적 도구를 끌어오는 등, 사람이 인지적으로 지치기 쉬운 탐색을 대량으로 수행하는 데 특히 유용했다. 대부분의 경로는 실패했지만 실패 여부를 빨리 확인할 수 있었고, 류는 혼자 집중했다면 몇 주가 걸렸을 수 있는 탐색을 약 12시간으로 줄였다고 평가했다.

6. 잘못된 방정식 제안에서 나온 결정적 구조

결정적인 전환점은 GPT-5가 NAG 방법을 지배하는 방정식을 새로운 방식으로 재구성하자고 제안했을 때 찾아왔다. 그 제안은 작성된 그대로는 정확하지 않았지만, 류는 그 안에서 수학적으로 의미 있어 보이는 구조적 특징을 알아봤다. 그는 해당 특징을 직접 더 엄밀한 형태로 발전시키고, 증명 가능성을 시험할 수 있도록 모델에 점차 구체적이고 제한된 질문을 던졌다. 이 탐구 경로가 류가 최종적으로 직접 작성한 증명의 뼈대가 되었으며, GPT-5가 완전한 증명을 조립하지는 못했어도 최종 결과에 중요한 여러 단계와 방향을 제안했다는 것이 류의 설명이다.

7. 검산 절차와 연구 지속성을 높인 속도

GPT-5의 논증은 겉으로는 타당해 보여도 자세히 살펴보면 성립하지 않는 경우가 많았기 때문에, 류는 계산 단계와 주장 하나하나를 경계하며 확인했다. 모델에게 자신의 작업을 같은 대화에서 다시 검토하게 하는 것보다 결과를 새로운 대화에 넣어 확인하도록 했을 때 더 나은 성과를 얻었고, 이는 대화 과정에서 누적되는 오류를 줄이는 데 도움이 됐다. 이후에는 일반적인 연구 절차와 마찬가지로 류 자신이 모든 세부 사항을 다시 면밀히 검산했다. 빠른 아이디어 공급은 단순히 시간을 절약하는 데 그치지 않고 계속 진전하고 있다는 감각을 줬으며, 보통 사흘 정도 시도한 뒤 포기했을 수도 있는 문제를 더 오래 붙들게 하는 심리적 변화도 만들었다.

8. 논문 작성, 기여 표기와 연구자의 책임

류의 NAG 문제 해결 결과를 담은 사전 공개 논문은 공개되어 있으며, 약 12개월에서 18개월이 걸리는 동료 평가 절차를 진행하고 있다. 그는 더 넓은 수학 공동체에 결과를 전달하기 위해 논문을 전통적인 형식으로 직접 정리하고 증명과 서사를 스스로 작성했으며, GPT-5가 제안한 핵심 아이디어와 기여는 제목과 초록 및 논문 본문에 설명했다. 다만 GPT-5를 연구 도구로 판단했기 때문에 공동 저자로 올리지는 않았고, 고전적인 수학자들에게 이러한 도구의 잠재적 가치를 보여주는 사례 연구가 되기를 바랐다. 류는 AI를 활용하는 사람이 좋은 아이디어와 오류를 구분할 만큼 해당 분야에 능통해야 한다고 강조했으며, 이번 성공 역시 모델의 모든 추론과 주장을 반복해서 확인한 그의 전문성과 검증 노력에 크게 의존했다.

🧾 핵심 주장 / 시사점

• GPT-5의 핵심 기여는 완성된 증명을 대신 작성한 것이 아니라, 방대한 기존 지식에서 예상 밖의 연결과 후보 경로를 빠르게 제시해 탐색 공간을 넓힌 데 있었다.
• 그럴듯한 오류가 반복되는 환경에서는 전문가의 직관, 독립적인 세부 검산, 새로운 대화를 활용한 재검토가 결과의 신뢰성을 지탱하는 필수 조건이었다.
• 아이디어의 빠른 생성과 폐기는 연구 시간을 줄이는 동시에 진전하고 있다는 감각을 유지해, 연구자가 일찍 포기할 가능성을 낮추는 심리적 효과도 만들었다.

✅ 액션 아이템

• UCLA 응용수학자 어니스트 류의 방식에 맞춰 GPT-5 제안은 즉시 분기하고 유효한 아이디어만 엄밀한 수학 검증으로 발전시킨다.
• 네스테로프 가속 경사 약 40년 오랜 문제에서 제시된 가정과 추론을 직접 재검산해 논증의 허점을 점검한다.
• NAG 재구성 제안의 유의미한 구조를 추려 틀린 요소는 제거하고 완성 증명의 뼈대로 통합한 정합성을 정리한다.

❓ 열린 질문

• NAG 재구성에서 유의미한 구조를 포착한 기준은 어떤 형태로 명시해야 할까?
• GPT-5 제안의 매력적인 단서와 오류가 뒤섞인 경로를 분리하려면 어떤 검증 단계가 가장 결정적일까?
• 어니스트 류처럼 GPT-5를 공동저자가 아닌 도구로 남기려면 공저자표기 범위를 어떻게 판단할 수 있을까?