Transcript: ‘What It Will Mean to Be Human When AI Can Do Everything’

🖼️ 인포그래픽

Transcript: ‘What It Will Mean to Be Human When AI Can Do Everything’ 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 발췌 transcript는 Surge AI의 Edwin Chen이 AI 모델을 인간 세계에 적응시키는 ‘AGI를 위한 학교’로서의 데이터·평가 작업을 설명하고, 연구 수준 수학 성과가 인간의 성취감과 창작 동기에 던지는 질문을 Dan Shipper와 논의하는 내용이다.

📌 핵심 요약

Dan Shipper는 Surge AI 창업자이자 CEO인 Edwin Chen을 소개하며, Surge가 모델 회사들에 데이터 환경과 평가를 제공하고 특히 취향과 전문가 판단을 중시한다고 설명한다.
Chen은 Surge의 역할을 ‘AGI를 위한 학교’에 비유한다. 모델은 미성숙한 아이처럼 들어와 인간성, 현실 세계의 모호함, 판단력, 창의성, 취향을 배우고 더 복잡한 과제를 수행할 준비를 갖춘다는 것이다.
수학 평가의 변화는 AI 능력의 급격한 발전을 보여주는 사례로 제시된다. 과거 GSM8K는 중학교 수학 수준을 평가했고 당시 GPT 모델은 낮은 점수를 받았지만, 이후 모델은 IMO 문제를 넘어 연구 수준 수학을 겨냥한 RemindBench와 열린 Erdős 문제까지 다루기 시작했다.
Chen은 OpenAI 모델이 Erdős의 열린 추측을 반례로 반박한 사례를 언급하며, 그 과정에서 예상하기 어려운 대수기하학적 기법이 쓰였다고 설명한다. Timothy Gowers 같은 최고 수학자의 반응은 AI가 수학자들의 고유한 역할을 얼마나 빠르게 위협할 수 있는지를 보여주는 장면으로 제시된다.
대화 후반부는 AI가 인간보다 많은 일을 더 잘하게 될 때 인간은 왜 배우고 창작해야 하는가라는 문제로 이동한다. Chen은 인간이 결과의 최적성만이 아니라 인간성을 보존하기 위해 스스로 증명하고 쓰고 창조하기를 의식적으로 선택해야 할 수 있다고 말하고, Shipper는 인간이 단순히 주어진 과제의 수단이 아니라 스스로 목적을 가진 존재라는 점에서 AI 에이전트와 차이가 있다고 반론을 제기한다.

🧩 주요 포인트

Dan Shipper는 Surge AI 창업자이자 CEO인 Edwin Chen을 소개하며, Surge가 모델 회사들에 데이터 환경과 평가를 제공하고 특히 취향과 전문가 판단을 중시한다고 설명한다.
Chen은 Surge의 역할을 ‘AGI를 위한 학교’에 비유한다. 모델은 미성숙한 아이처럼 들어와 인간성, 현실 세계의 모호함, 판단력, 창의성, 취향을 배우고 더 복잡한 과제를 수행할 준비를 갖춘다는 것이다.
수학 평가의 변화는 AI 능력의 급격한 발전을 보여주는 사례로 제시된다. 과거 GSM8K는 중학교 수학 수준을 평가했고 당시 GPT 모델은 낮은 점수를 받았지만, 이후 모델은 IMO 문제를 넘어 연구 수준 수학을 겨냥한 RemindBench와 열린 Erdős 문제까지 다루기 시작했다.
Chen은 OpenAI 모델이 Erdős의 열린 추측을 반례로 반박한 사례를 언급하며, 그 과정에서 예상하기 어려운 대수기하학적 기법이 쓰였다고 설명한다. Timothy Gowers 같은 최고 수학자의 반응은 AI가 수학자들의 고유한 역할을 얼마나 빠르게 위협할 수 있는지를 보여주는 장면으로 제시된다.
대화 후반부는 AI가 인간보다 많은 일을 더 잘하게 될 때 인간은 왜 배우고 창작해야 하는가라는 문제로 이동한다. Chen은 인간이 결과의 최적성만이 아니라 인간성을 보존하기 위해 스스로 증명하고 쓰고 창조하기를 의식적으로 선택해야 할 수 있다고 말하고, Shipper는 인간이 단순히 주어진 과제의 수단이 아니라 스스로 목적을 가진 존재라는 점에서 AI 에이전트와 차이가 있다고 반론을 제기한다.

🧠 상세 정리

1. 대화의 배경과 출연자 소개

본문은 Every의 CEO이자 공동창업자인 Dan Shipper가 진행하는 podcast ‘AI & I’의 transcript로, 게스트는 Surge AI의 창업자이자 CEO인 Edwin Chen이다. Shipper는 Surge가 모델 회사들에 데이터 환경과 평가를 제공한다고 소개하면서, 단순한 데이터 공급이 아니라 취향과 전문가 판단을 강조하는 점을 흥미로운 특징으로 짚는다. 또한 Chen이 AGI를 ‘키운다’는 표현을 쓴다는 점, 그리고 외부 자금 조달 없이 큰 매출 규모에 도달했다는 점을 언급하며 Surge를 AI 데이터 경쟁에서 눈에 덜 띄지만 중요한 존재로 묘사한다. 제공된 본문은 이후 여러 주제가 이어질 것임을 timestamp로 제시하지만, 실제 대화 발췌는 주로 Surge의 역할, 수학 벤치마크, AI 시대 인간 동기의 문제에 집중되어 있다.

2. Surge를 ‘AGI를 위한 학교’로 보는 관점

Chen은 Surge의 일을 ‘AGI를 위한 학교’를 만드는 것이라고 설명한다. 그의 비유에서 AI 모델은 아직 형성되지 않은 아이들처럼 도착하고, Surge의 데이터 환경과 평가를 거치며 인간성, 현실 세계의 복잡함, 창의성, 신중함을 배운 뒤 더 똑똑하고 준비된 상태로 나간다. 이 비유는 모델 훈련을 단순한 정답 맞히기나 성능 향상이 아니라, 모델이 인간 사회에서 작동하기 위해 필요한 판단과 감각을 익히는 교육 과정으로 이해하게 만든다. Chen은 지난 1년 동안 모델에게 가르쳐야 하는 내용이 크게 바뀌었다고 말하며, 초등·중등·고등·대학 교육이 다르듯 모델의 발전 단계에 따라 필요한 훈련도 달라진다고 설명한다.

3. 단순한 능력 향상에서 모호함과 취향 교육으로

Chen이 강조하는 변화는 단순히 더 어려운 문제를 푸는 수준의 연장이 아니다. 과거에는 산술이나 문법처럼 비교적 명확한 과제를 가르쳤다면, 이제는 모호한 수학 질문을 해석하거나 문법을 넘어 취향, 시, 아름다움 같은 정성적 판단을 다루는 방향으로 이동하고 있다는 것이다. 이는 기업 환경에서도 특히 중요해지고 있다고 Chen은 말한다. 모델이 실제 세계에서 쓰이려면 정답이 명확한 문제뿐 아니라 맥락과 의도, 미묘한 품질 차이를 판단해야 하며, Surge의 작업은 그런 능력을 평가하고 훈련시키는 쪽으로 확장되고 있다. 이 대목에서 ‘학교’라는 비유는 모델에게 지식뿐 아니라 판단의 기준을 가르친다는 의미를 갖는다.

4. GSM8K에서 연구 수준 수학 벤치마크로의 변화

수학은 Chen이 모델 능력의 변화를 설명하기 위해 든 핵심 사례다. 그는 몇 년 전 OpenAI와 함께 GSM8K라는 첫 수학 벤치마크를 만들었고, 이것은 모델이 중학교 수준의 수학을 풀 수 있는지를 보는 평가였다고 설명한다. 당시 GPT 모델들은 이 평가에서 20%도 겨우 넘는 수준이었다. 하지만 1년 전에는 모델이 IMO 문제를 훨씬 잘 풀기 시작했고, 그 다음 질문은 닫힌 경쟁 문제를 넘어 실제 연구 수준의 수학을 할 수 있는가로 옮겨갔다. 이에 Surge는 RemindBench라는 업데이트된 벤치마크를 발표해 모델이 연구 수준 수학을 수행할 수 있는지를 평가하게 되었다.

5. Erdős 문제와 AI의 새로운 수학 능력

Chen은 최근 몇 달 동안 모델들이 열린 Erdős 문제들을 풀기 시작했다고 말한다. 특히 OpenAI가 한 열린 Erdős 추측을 반례로 반박한 결과를 발표했고, 그 과정에서 여러 새로운 대수기하학적 기법이 사용되었다고 설명한다. 그는 자신이 그 수학을 완전히 이해하지는 못한다고 인정하면서도, Claude와 Gemini에 증명을 넣고 일반인의 관점에서 설명해 달라고 요청했다고 말한다. 그의 이해에 따르면 이 결과는 해당 문제에 당연히 적용될 것 같지 않은 기법을 사용한 상당히 진보적인 성과였다. 이 사례는 AI가 단순히 이미 알려진 절차를 반복하는 수준을 넘어, 적어도 인간 연구자들이 놀랄 만한 방식으로 문제에 접근하고 있음을 보여주는 장면으로 제시된다.

6. Timothy Gowers의 반응과 수학자의 역할

Chen은 OpenAI가 발표한 수학자들의 반응 중 Timothy Gowers의 소감을 특히 인상 깊게 언급한다. Gowers는 처음에는 모델이 추측의 상한을 증명한 줄 알고, 만약 AI가 그런 일을 할 수 있다면 수학자들에게 곧 매우 큰 변화가 올 것이라고 생각했다. 그러나 다음 날 모델이 실제로 한 일은 반례로 추측을 반박한 것임을 깨닫고, 그것이 AI에게는 상대적으로 더 쉬운 일처럼 느껴져 안도했다고 한다. Chen은 세계 최고 수준의 수학자 중 한 명이 AI의 진전에 대해 이런 식으로 안도한다는 사실 자체가 상황의 비범함을 보여준다고 본다. 이는 AI가 아직 인간 수학자의 역할을 완전히 대체하지는 않았지만, 그 가능성이 매우 가까운 미래의 문제처럼 받아들여지고 있음을 드러낸다.

7. AI가 모든 것을 더 잘할 때 인간의 동기

수학 사례에서 대화는 인간의 역할과 동기라는 더 큰 질문으로 이동한다. Chen은 scaling laws를 믿는다면 인간이 할 수 있는 일 중 AI가 곧 할 수 없게 될 일이 거의 없어 보인다고 말한다. 그 경우 인류는 자신만의 독특한 지능적 역할을 우주에서 가진 존재라는 기존 생각을 다시 검토해야 한다. 그는 아이들이 수학자가 되고 싶어 하지 않거나, 어른들이 창작을 멈추는 가능성을 우려한다. AI가 어차피 더 잘할 것이라면 왜 배우고, 왜 만들고, 왜 증명해야 하느냐는 무력감이 생길 수 있다는 것이다. 이 문제는 기술 성능이 아니라 인간이 자기 활동의 의미를 어떻게 유지할 것인가에 관한 실존적 질문으로 제시된다.

8. 자유의지 비유와 인간성을 보존하는 선택

Chen은 Ted Chiang의 단편 ‘What’s Expected of Us’를 인용해, 자유의지가 없다는 사실이 증명된 상황에서도 마치 자신의 결정이 중요하다고 믿고 행동해야 한다는 이야기를 떠올린다. 그는 AI 시대에도 비슷하게, AI가 더 똑똑하고 더 나은 결과를 낼 수 있더라도 인간이 스스로 증명하고, 쓰고, 창조하기를 의식적으로 선택해야 할 수 있다고 말한다. 여기서 중요한 것은 산출물이 최적이냐가 아니라 인간성을 보존하는 행위 자체가 가치 있다는 믿음이다. Shipper는 여기에 부분적으로 동의하면서도, AI는 대체로 인간이 준 과제를 수행하는 수단으로 만들어지고 있으며 인간은 스스로 목적이 되는 존재라는 차이를 제기한다. 이에 Chen은 에이전트가 모호한 목표를 받아 자율적으로 활동하는 방향으로 가고 있다고 답하며, 인간의 목표와 AI의 목표가 얼마나 다른지에 관한 논쟁을 이어간다.

🧾 핵심 주장 / 시사점

본문의 핵심은 AI 성능 자체보다, 성능 향상이 인간의 자기 이해와 동기를 어떻게 흔드는가에 있다. 수학 벤치마크의 발전은 기술적 사례이지만, 대화는 곧 ‘인간은 왜 계속 배우고 창조해야 하는가’라는 질문으로 전환된다.
Chen의 ‘AGI를 위한 학교’ 비유는 데이터와 평가를 단순한 학습 재료가 아니라 모델에게 인간 세계의 판단 기준을 가르치는 교육 체계로 보게 만든다. 이는 앞으로 모델 훈련의 경쟁력이 정답 데이터의 양뿐 아니라 모호함, 취향, 전문가 판단을 어떻게 구조화하느냐에 달려 있음을 시사한다.
Shipper와 Chen의 논쟁은 AI 에이전트의 자율성이 어디까지 인간의 목적성과 유사해질 수 있는지를 드러낸다. 제공된 발췌만으로 결론은 나지 않지만, 인간이 과제를 부여하는 존재인지, AI도 목표를 갖고 스스로 탐색하는 존재가 될 수 있는지가 이후 AI 철학과 제품 설계의 중요한 쟁점으로 보인다.