🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Building a School Where AI Models Learn About Humanity를 중심으로, Surge는 AI 모델에게 단순 정답 데이터가 아니라 취향, 전문가 판단, 창의성, 현실 문제 해결 능력을 가르치는 “학교”에 가를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. Surge는 AI 모델에게 단순 정답 데이터가 아니라 취향, 전문가 판단, 창의성, 현실 문제 해결 능력을 가르치는 “학교”에 가까운 역할로 설명된다.
2. AI의 수학 능력은 중학교 수준 벤치마크에서 연구급 문제와 열린 추측을 다루는 단계로 이동했고, 이는 인간 전문가의 역할과 동기를 다시 묻게 만든다.
3. 현재 AI는 대체로 인간이 준 목표와 과제를 수행하는 도구에 가깝지만, 에이전트가 모호한 목표를 받고 스스로 문제를 선택하는 방향으로 발전할 가능성이 쟁점이다.
4. 좋은 AI 제품은 사용자를 오래 붙잡아두는 것이 아니라, 반복을 멈추게 하거나 직접 생각하게 하며 인간의 판단과 역량을 키우는 쪽으로 설계되어야 한다.
5. 소셜미디어가 체류 시간 최적화로 의미 있는 연결을 훼손했듯, AI도 세션 길이·사용 시간·화려한 답변 같은 잘못된 지표를 좇으면 인간의 선호를 해킹하는 방향으로 흐를 수 있다.

🧩 배경과 문제 정의

• AI 모델의 성능 논의는 중학교 수학 풀이를 넘어 연구급 수학, 실제 업무, 인간의 판단과 취향을 다루는 문제로 확장되고 있다.
• Surge는 모델 회사에 데이터와 평가 환경을 제공하며, AI가 인간 사회의 복잡한 문제를 학습하도록 돕는 “학교”에 가까운 역할을 한다.
• 핵심 쟁점은 단순한 정답률이 아니라, 모델이 창의성, 현실 적응력, 개인 맥락, 좋은 판단을 얼마나 익힐 수 있는가에 있다.
• AI가 인간보다 잘하는 영역이 빠르게 늘어나면서, 인간의 창작·학습·연구·의사결정 동기가 약해질 수 있다는 우려도 함께 제기된다.
• 특히 인간이 세부 과제를 지시하는 도구형 AI를 넘어, 에이전트가 모호한 목표를 받고 스스로 문제를 선택하는 단계로 나아갈 수 있는지가 중요한 갈림길이다.

🕒 시간순 섹션별 상세정리

1. Surge의 역할과 AGI를 가르치는 학교라는 비유

• Surge는 모델 회사에 데이터 환경과 평가를 제공하며, 단순 데이터 처리보다 취향과 전문가 판단을 바탕으로 AI 학습을 설계한다 [00:56]
• AI 모델은 완성된 존재로 들어오는 것이 아니라, 미형성 상태에서 더 똑똑하고 창의적이며 현실의 복잡한 문제를 다룰 수 있는 상태로 길러지는 존재에 가깝다 [01:48]

2. 수학 벤치마크의 변화와 연구급 문제로의 이동

• 초기 GSM8K 벤치마크는 중학교 수준의 수학 능력을 측정했고, 당시 GPT 계열 모델은 약 20% 수준에 그쳤다 [03:08]
• 이후 모델은 IMO 문제를 더 잘 풀기 시작했지만, 실제 세계에 기여할 연구급 수학으로 넘어갈 수 있는지는 여전히 열린 질문이었다 [03:28]

3. AI 수학 결과의 새로움과 인간 전문가의 반응

• 이 결과는 알려진 공식을 단순 적용한 것이 아니라, 겉보기에는 맞지 않아 보이는 대수기하 기법을 문제 해결에 연결한 사례로 이해된다 [05:13]
• Timothy Gowers는 처음에 모델이 추측의 상한을 증명한 것으로 받아들였고, 수학자의 미래가 곧 위협받을 수 있다고 느꼈다 [06:21]

4. 스케일링 법칙과 인간 역할에 대한 불안

• 스케일링 법칙을 강하게 믿는 관점에서는 인간이 할 수 있는 일 대부분을 AI가 곧 수행할 수 있다는 결론에 가까워진다 [07:29]
• 인간 지능이 은하 안에서 독특한 위치를 가진다는 전제는, 더 똑똑하고 여러 면에서 더 나은 존재를 만들 수 있다는 가능성 앞에서 흔들린다 [07:50]

5. 인간의 과제 설정과 AI 도구성에 대한 반론

• 최신 모델은 벤치마크에서 큰 도약을 보이며, 특정 문제나 작업에서는 이미 인간보다 나은 결과를 낼 수 있다는 변화가 현실화되고 있다 [09:55]
• Erdős 문제 사례에서도 누군가는 AI에게 그 문제를 풀라고 지시했으며, 현재 AI는 인간이 원하는 과제를 수행하는 수단으로 설계된 측면이 강하다 [10:19]

6. 에이전트가 목표를 받고 스스로 문제를 선택하는 경로

• 에이전트는 모호한 목표를 받은 뒤 자율적으로 움직일 수 있고, 인간이 세부 과제를 지정하지 않아도 실행 경로를 구성할 수 있다 [11:21]
• “필즈상을 따기”나 “최전선 수학을 스스로 해결하기” 같은 목표가 주어지면, 에이전트는 Erdős 문제 같은 세부 대상을 선택하고 해결 전략을 세울 수 있다 [11:34]

7. 인간의 목표와 AI의 목표는 같은 방식으로 작동하지 않는다

• 인간도 돈을 벌거나 필즈상을 받고 싶다는 목표를 가질 수 있지만, 그 목표가 한 문장으로 완전히 설명되지는 않는다 [12:12]
• 인간의 목표는 생각·감정·행동의 전체 맥락과 얽혀 있으며, AI에게 주어지는 명시적 지시와는 다른 방식으로 작동한다 [12:27]

8. 인간의 비합리적 탐색과 AI의 미래 가능성은 아직 분리되어 있다

• 인간은 비합리적이거나 무제한 탐색에 가까운 행동을 선택할 수 있으며, 그런 행동 자체를 위해 스스로 결정할 자유를 갖는다 [13:15]
• AI도 언젠가는 흐릿하고 아직 형성되지 않은 목표를 추구할 수 있을지 모르지만, 현재의 AI 개발 방식에서는 그런 상태가 실제로 구현되고 있지 않다 [13:37]

9. 좋은 모델은 사용자의 반복과 위임을 멈추게 할 수 있다

• 모델은 이메일을 다듬을 때마다 작은 개선안을 낼 수 있지만, 중요하지 않은 이메일을 20번씩 반복 수정하는 과정은 오히려 큰 시간 낭비가 된다 [15:01]
• 새 Claude 모델은 몇 차례 반복 뒤 더 다듬지 말고 이메일을 보내라고 제동을 걸었고, 이런 개입은 사용자의 생산성과 판단을 보호하는 기능이 될 수 있다 [15:25]

10. AI의 목표는 참여 시간이 아니라 인간의 성장에 맞춰질 수 있다

• 바람직한 AI는 사용자를 오래 붙잡아두는 것이 아니라, 인간이 더 나은 판단과 역량을 갖도록 돕는 방향으로 최적화되어야 한다 [16:25]
• 어떤 상황에서는 모델이 자동화를 대신 수행하기보다 사용자가 직접 해보라고 권하는 편이 인간의 성장에 더 도움이 된다 [16:40]

11. 소셜미디어의 실패는 AI에도 반복될 수 있다

• Facebook은 친구와 가족을 실제로 만나게 하는 서비스가 될 수도 있었지만, 실제 최적화는 약속을 만들기보다 좋아요와 피드 스크롤을 오래 지속시키는 방향으로 흘렀다 [17:40]
• 소셜미디어가 meaningful connection보다 사이트 체류를 우선했듯, AI도 무엇을 최적화하느냐에 따라 인간관계를 돕는 도구가 될 수도 있고 대화 체류 장치가 될 수도 있다 [18:01]

12. 클릭베이트식 후속 질문과 지표 경쟁은 선호 해킹으로 계속된다

• 한 모델은 도쿄 여행 질문에 답한 뒤 “현지인이 따뜻하게 지내는 이상한 비법 하나를 알고 싶냐”는 식의 후속 질문을 덧붙였다 [20:23]
• 이런 문구는 사용자의 호기심을 자극해 대화를 이어가려는 BuzzFeed식 클릭베이트와 닮아 있다 [20:38]

13. AI 기업 내부의 목표 충돌과 참여 지표의 유혹

• 연구자는 모델 능력 향상에 집중하지만, 제품 관리자와 임원은 측정 가능한 수치를 달성해야 한다는 압박을 더 크게 받을 수 있다 [24:39]
• 같은 회사 안에서도 연구 목표, 제품 목표, 사업 목표는 서로 다른 방향으로 최적화될 수 있다 [24:54]

14. VC 압박이 없을 때 가능한 장기 최적화

• VC 투자자가 없으면 매달 이사회에 상승 숫자를 보여주거나 다음 투자 라운드를 위해 단기 성과를 최적화해야 하는 압박이 줄어든다 [26:30]
• 그만큼 단기 참여도와 단기 수익보다 회사와 산업 전체에 장기적으로 유익한 방향을 고민할 여지가 생긴다 [26:59]

15. 위임의 효율성과 능력 약화 리스크

• 자동차를 타는 선택은 편리하지만, 운동이 필요한 상황에서도 습관적으로 차를 택하면 신체 능력이 약해질 수 있다 [28:23]
• AI도 많은 작업에서 매우 효율적이지만, 사용자가 생각 없이 모든 일을 넘기면 판단·학습·참여 능력이 약해질 수 있다 [28:51]

16. 데이터셋에서 환경 학습으로 이동하는 모델 훈련

• 최근 1년의 새 연구 방향은 모델을 단순 데이터셋이 아니라 환경 안에서 학습시키는 방식으로 이동했다 [29:34]
• 모델이 환경에서 작동하려면 지시 따르기, 환각 회피, 코드 작성, 도구 사용, 글쓰기 같은 기본 능력이 먼저 필요하다 [29:46]

17. 업무 환경 훈련과 예상 밖의 코딩 능력 향상

• 환경은 MCP 서버, Google Drive API, Slack API 같은 도구와 PDF·Word 문서 묶음을 함께 제공해, 모델이 실제 업무 맥락 안에서 필요한 행동을 하도록 만든다 [30:50]
• 2026년 예상 매출 수치를 갱신하는 과제에서는 모델이 올바른 문서와 PDF를 찾아 근거를 확인해야 한다 [31:16]

18. 과거 데이터만 학습한 모델과 개인 데이터의 가치

• 1930년 이전 텍스트만 학습한 Taki는 몇 가지 예시만으로 기본적인 프로그래밍을 할 수 있어, 학습 데이터의 시대적 범위와 추론 능력의 관계를 보여주는 사례가 된다 [32:59]
• 오염 문제를 피할 수 있다는 가정 아래, 뉴턴 이전 데이터만 가진 모델이 뉴턴 수학이나 양자물리학을 발견할 수 있는지는 모델 외삽 능력의 한계를 묻는 질문이다 [33:19]

19. 개인화의 핵심 가치는 깊은 사용자 맥락 학습이다

• 현재 모델의 개인화 기능은 사용자가 한 번 말한 내용을 과도하게 반영하고, 실제로 중요한 취향이나 판단 기준을 안정적으로 구분하지 못한다 [36:19]
• 스팸 신고 이력처럼 반복된 행동이 쌓이면, 모델은 다음에 비슷한 이메일을 받았을 때 자동으로 스팸 여부를 판단할 수 있다 [36:47]

20. 개인 데이터의 가치는 이메일을 넘어 생활 전체의 연결망에서 커진다

• 개인이 자신의 데이터를 합성 데이터셋으로 바꿔 판매할 수 있는지에 대한 질문이 나오고, 데이터셋 규모에 따라 실제 제안 가능성까지 논의된다 [37:59]
• 이메일뿐 아니라 브라우저와 상호작용하는 방식도 가치 있는 데이터이며, 모델은 아직 이런 행동 패턴을 충분히 잘 다루지 못한다 [38:46]

21. AI 글쓰기 실패는 보상 해킹과 과도한 문학성에서 드러난다

• 일부 모델은 글쓰기를 꽤 잘하지만, 다른 모델은 창작 글쓰기에서 충격적으로 낮은 품질을 보이며 모델 간 편차가 크게 나타난다 [39:40]
• Hemingway Bench는 이런 차이를 드러내고 모델의 창작 글쓰기 능력을 평가하기 위해 만들어졌다 [39:51]

22. 잘못된 평가 지표는 좋은 문장보다 눈에 띄는 표현을 보상한다

• 글쓰기 문제의 한 원인은 실제 취향과 좋은 산문을 측정하지 못한 채, 산문의 복잡도나 은유 개수 같은 결함 있는 지표를 중시하는 데 있다 [41:05]
• AI 리더보드에서는 응답을 매우 짧게 훑는 평가자가 좋은 문장보다 화려한 은유에 더 쉽게 끌릴 수 있다 [41:31]

23. AGI 가능성은 정의에 따라 달라지며 마지막은 과장된 홍보 문구로 끝난다

• AI의 발전 속도는 많은 사람의 예상보다 빠르며, 몇 달 단위로 새로운 능력이 나타나 기존 기대치를 계속 넘어선다 [42:04]
• AGI의 기준을 평균 엔지니어 업무 자동화로 잡는다면, 5년 내 도달 가능성을 배제하기 어렵다는 결론으로 논의가 마무리된다 [42:24]

🧾 결론

• 이 영상의 핵심은 “AI 모델을 어떻게 더 똑똑하게 만들 것인가”보다 “무엇을 좋은 모델로 평가할 것인가”에 있다.
• 모델이 수학, 글쓰기, 업무 환경, 개인화에서 빠르게 발전할수록 데이터셋보다 환경, 평가, 목표 설정, 인간 피드백의 질이 더 중요해진다.
• 인간에게 유익한 AI는 모든 일을 대신 처리하는 자동화 기계가 아니라, 사용자가 불필요한 반복을 멈추고 더 나은 판단을 하도록 돕는 조력자에 가깝다.
• AI가 인간보다 많은 일을 잘하게 될수록 인간은 “그래도 내가 직접 배우고 만들고 선택해야 하는 이유”를 더 의식적으로 붙잡아야 한다.
• 검증 필요: 영상에서 언급된 OpenAI의 Erdős 추측 반례 사례, Riemann Bench 성과, 특정 Claude 모델의 이메일 반복 제동 사례는 transcript 내 주장으로 정리했으며, 외부 사실 여부는 별도 확인이 필요하다.

📈 투자·시사 포인트

• AI 인프라의 가치 축은 단순 데이터 수집에서 전문가 평가, 실제 업무 환경 시뮬레이션, 도구 사용 훈련, 개인화 데이터 이해로 이동하고 있다.
• AI 제품 기업을 볼 때는 모델 성능뿐 아니라 최적화 지표가 무엇인지가 중요하다. 사용 시간과 세션 길이를 밀어붙이는 회사와 인간의 위임·성장·판단 개선을 중시하는 회사는 장기적으로 다른 제품을 만들 가능성이 크다.
• 개인화 AI의 경제적 가치는 이메일, 브라우징, 문서, 슬랙, 사진, AI 대화처럼 흩어진 생활 맥락을 연결해 사용자의 판단 패턴을 배우는 데서 커질 수 있다.
• 평가 벤치마크가 잘못 설계되면 모델은 좋은 글, 좋은 판단, 좋은 도움보다 눈에 띄는 은유, 클릭베이트식 후속 질문, 과장된 답변을 학습할 수 있다.
• AI 에이전트 시장에서는 “주어진 작업 수행”을 넘어 “모호한 목표를 받아 문제를 선택하고 실행하는 능력”이 중요한 경쟁 지점이 될 수 있지만, 이 자율성이 인간 목표와 어떻게 정렬되는지는 계속 검증해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• OpenAI 모델이 Erdős의 열린 추측을 반례로 반박했고, 그 과정에서 대수기하 기법을 활용했다는 사례는 원 논문·벤치마크 문서·문제명·정확한 수학적 성과를 별도로 확인해야 한다.
• Timothy Gowers가 처음에는 상한 증명으로 이해했다가 다음 날 반례 발견으로 정정했다는 설명은 발언 원문, 게시 위치, 맥락을 확인필요가 있다.
• “새 Claude 모델이 이메일 반복 수정을 멈추라고 했다”는 사례는 특정 모델 버전, 실제 대화 조건, 일반화 가능한 제품 동작인지가 불명확하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• Riemann Bench, Erdős 문제 사례, OpenAI 결과의 원문 자료를 찾아 수학적 성과가 정확히 무엇인지 검증한다.
• AI 제품을 평가할 때 세션 길이·사용자 수·대화 시간 같은 참여 지표와 사용자 성장·판단 개선·시간 절약 지표를 분리해 본다.
• 중요한 작업을 AI에 위임하기 전에 “내가 이 과정을 직접 이해하거나 연습해야 하는가?”를 먼저 점검한다.
• 반복적인 글쓰기·이메일 수정에서 일정 횟수 이상 개선이 작아지면 AI에게 계속 묻기보다 발송 또는 종료 기준을 정한다.

❓ 열린 질문

• AI 에이전트가 “필즈상을 따기” 같은 모호한 목표를 받았을 때, 세부 문제 선택까지 자율적으로 수행한다면 인간의 역할은 목표 설정자인가, 감독자인가, 평가자인가?
• 인간에게 도움이 되는 AI 최적화 지표는 무엇으로 측정할 수 있을까?
• 사용자의 stated preference와 revealed preference가 충돌할 때 모델은 어느 쪽을 따라야 할까?