Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again를 중심으로, 학습은 별도의 훈련 단계가 아니라 목표를 가진 행동과 함께 계속되는 과정이다. 강화학습은 학습과 목표를 하나의 틀에서 다루며, 변를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 학습은 별도의 훈련 단계가 아니라 목표를 가진 행동과 함께 계속되는 과정이다. 강화학습은 학습과 목표를 하나의 틀에서 다루며, 변화하는 환경에 적응하는 지능의 기본 구조를 제공한다.
2. LLM은 인터넷 규모의 데이터와 계산량 확대로 큰 성과를 냈지만, 유한한 인간 지식에 의존하고 배포 후 가중치를 고정한다는 이중 한계를 가진다. 메모리와 인컨텍스트 학습은 기존 능력을 호출할 뿐, 경험으로 새로운 개념을 형성하는 가중치 학습을 대신하지 못한다.
3. 합성 데이터와 시뮬레이션은 유용하지만 실제 경험의 완전한 대체재는 아니다. 유익한 데이터를 설계하고 현실과의 차이를 수정하는 인간 전문가가 계속 필요하며, 작은 합성 세계가 누락한 마찰·마모·타인의 행동 같은 요소는 실제 작동 단계에서 결정적인 오차가 될 수 있다.
4. 지속학습의 핵심 병목은 하나의 새로운 표본으로 모델을 갱신할 때 기존 지식이 손상되는 파국적 망각이다. 가중치별 학습률을 메타학습하고 무작위 새 유닛을 계속 주입하는 지속적 역전파는 안정된 지식은 보존하면서 새로운 복잡성을 받아들이려는 해법이다.
5. 최종 목표는 지속학습만 추가한 LLM이 아니라 경험으로 세계 모델과 추상화를 갱신하고, 그 모델로 계획·추론하며, 환경별로 서로 다른 마음으로 성장하는 아키텍처다. 앨버타 계획과 Oaks는 이를 처음부터 학습 방식까지 함께 훈련하는 연구 로드맵으로 제시한다.

🧩 배경과 문제 정의

• 오늘날 LLM은 대규모 사전학습으로 지식을 축적하지만, 배포 이후에는 가중치가 고정되어 실제 경험을 새로운 능력으로 흡수하지 못한다.
• 인터넷과 인간이 설계한 시뮬레이션은 실제 세계보다 작으며, 합성 데이터 역시 인간 전문가의 판단과 현실을 단순화한 모델에 의존한다.
• 지능이 변화하는 환경에서 계속 작동하려면 기존 지식을 유지하는 데 그치지 않고, 목표 지향적 상호작용을 통해 새로운 지식과 행동을 지속적으로 갱신해야 한다.

🕒 시간순 섹션별 상세정리

1. 지능과 강화학습을 연결한 출발점

• 학습은 별도의 훈련 단계가 아니라 행동과 함께 계속되는 과정이며, 중단된 학습보다 지속되는 학습이 기본 상태다. [00:24]
• 마음과 지능을 이해하려면 학습뿐 아니라 목표가 필요하고, 강화학습은 이 두 요소를 함께 다루는 핵심 연구 경로다. [02:10]

2. 죽음 앞에서도 이어진 연구 경로

• 2003년 AI 겨울과 암 투병이 겹친 상황에서도 회복기에 앨버타대학교로 옮겨 연구와 교육을 다시 시작했고, 예상과 달리 생존하며 연구를 이어갔다. [02:29]
• 생의 마지막을 예상하면서도 연구를 멈추지 않은 동력은 거창한 확신보다 오래된 습관이나 허영일 수 있었고, 지속성 자체가 경력을 지탱했다. [03:32]

3. 지속학습은 별도 분야가 아니라 학습 자체

• 지능은 빠르게 행동하고 감각 데이터를 받는 저수준 과정과 더 높은 수준의 사고를 함께 수행해야 하며, 학습과 목표는 이 구조의 일반적인 구성요소다. [04:33]
• 모든 학습은 행동과 함께 계속되어야 하므로 ‘지속학습’이라는 별도 이름이 필요한 현재의 연구 관행이 오히려 비정상적이다. [05:01]

4. 선택보다 우연과 협업이 만든 연구 공동체

• 뛰어난 학생을 의도적으로 선별했다기보다 학생이 먼저 찾아오거나 우연한 만남이 이어졌고, 성과의 상당 부분에는 운이 작용했다. [05:51]
• 쿠람 자베드와의 관계도 정식 박사과정 지원보다 공동 프로젝트가 먼저였으며, 6개월간의 진전이 논문 제안으로 발전한 뒤에야 박사과정이 시작됐다. [06:23]

5. 쓰라린 교훈의 배경과 계산 확장 원칙

• 쓰라린 교훈은 2019년의 특정 기술 유행보다 수십 년간 반복된 상징주의 AI의 실패와 인간 지식 주입 중심 접근을 지켜본 경험에서 나왔다. [07:36]
• 단기 성과를 위해 인간의 영역 지식을 넣기보다 문제 자체가 요구하는 학습·탐색 방법과 계산량 확장에 집중해야 장기적인 개선이 가능하다. [07:52]

6. LLM이 보여준 쓰라린 교훈의 양면성

• LLM은 인터넷 전체를 흡수하며 계산량 확대만으로 능력을 크게 높였다는 점에서 확장 가능한 방법의 성공 사례다. [10:04]
• 인터넷은 유한하지만 실제 세계는 저장된 인간 지식보다 훨씬 크므로, 같은 데이터 원천에 계속 의존하면 인간 지식이 다시 성능 확장의 한계가 된다. [10:28]

7. 합성 데이터보다 큰 실제 세계

• 합성 데이터로 인터넷의 한계를 넘겠다는 접근은 실제 경험을 대체하지 못하며, 다음 단계의 근본적인 오류가 될 수 있다. [11:24]
• 빅 월드 가설에서는 배울 것이 사실상 무한하므로, 인간을 데이터 생성 과정에서 제거하고 에이전트가 자기 경험으로 학습해야 다양한 과제에 확장할 수 있다. [11:40]

8. 합성 데이터에 남는 인간 전문성 병목

• 어떤 합성 데이터가 유익하거나 해로운지를 인간이 판단해야 하며, 좋은 데이터셋을 설계할 전문가의 수와 지식이 확장 속도를 제한한다. [12:20]
• 연구소의 엔지니어가 개입하지 않으면 합성 데이터 생성도 중단되며, 이 데이터는 에이전트가 자기 행동의 결과로 획득한 경험과 다르다. [12:50]

9. 작은 합성 세계와 현실 사이의 근본적 격차

• 드론은 실제 환경에서 행동하며 자체 경험을 만들 수 있지만, 인간이 먼저 과제를 이해하지 못하면 수십 개의 합성 우주를 생성해도 현실의 반향정위 비행을 보장할 수 없다. [13:53]
• 작은 프로그램이 생성한 합성 세계는 실제 세계와 같을 수 없으며, 현실의 복잡성을 누락한 차이가 물리적 작동 단계에서 결정적인 오차가 된다. [14:12]

10. 큰 세계가 지속학습을 강제하는 이유

• 세계는 수많은 다른 에이전트까지 포함하므로 어떤 단일 에이전트보다 압도적으로 복잡하고, 완전하거나 최적인 내부 모델 대신 심하게 단순화된 근사치만 가질 수 있다. [15:26]
• 에이전트는 자신이 실제로 마주친 환경에 맞춰 근사치를 계속 조정해야 하며, 이 국소적 적응 필요성이 지속학습의 근본 이유다. [16:02]

11. 인간이 고치는 시뮬레이터에서 에이전트가 고치는 모델로

• 시뮬레이션으로 훈련된 자율주행 시스템도 대규모 엔지니어 팀이 현실과의 차이를 발견하고 반복적으로 시뮬레이터를 수정해야 하므로 인간 개입 비용이 남는다. [16:43]
• 실제 도로에서는 시뮬레이션에 없던 사건이 계속 발생하고, 그 예외가 등장할 때마다 시스템에는 새로운 경험을 통한 학습이 필요하다. [17:18]

12. 사전지식과 새 학습의 관계

• 알파고와 알파제로는 인간의 사전지식을 줄인 접근의 성공을 보여줬지만, 사전지식 자체가 해로운 것은 아니며 원칙적으로 기존 지식과 새 학습은 공존할 수 있다. [18:31]
• 실제 연구에서는 인간 지식에 대한 애착이 학습을 축소하거나 무시하는 방향으로 이어졌고, 이 관행이 두 지식 형태를 경쟁 관계로 만들었다. [19:21]

13. 고정된 LLM에서 복제·계속 학습하는 에이전트로

• 현재 LLM은 방대한 지식을 주입받아도 사용자와 상호작용하는 동안 가중치가 변하지 않으므로, 실행 경험을 축적해 전문성을 발전시키지 못한다. [20:14]
• 미래의 디지털 로봇은 매번 인터넷으로 처음부터 재훈련하기보다 축적된 에이전트를 복제한 뒤, 각 환경에서 그 상태부터 계속 학습하는 편이 효율적이다. [21:24]

14. 배포 후 학습과 개인별 가중치 적응

• 메모리와 인컨텍스트 학습은 입력 상태를 바꿔 기존 능력을 호출할 뿐이며, 새로운 개념을 만든 가중치 학습이 계속되지 않으면 진정한 지속학습이 아니다. [23:04]
• 사전학습과 사후학습의 양은 핵심 문제가 아니며, 배포된 순간부터 모델의 학습을 중단시키는 구조가 근본적인 격차다. [23:35]

15. 생물학적 가소성과 감독학습의 경계

• 고유수용감각을 잃어 걷지 못한 사람도 2~3년에 걸쳐 시각 피드백으로 다시 걷는 법을 배울 수 있으며, 오랫동안 유지된 내부 전제가 무너져도 뇌는 행동 정책을 재구성한다. [25:17]
• 생물학적 학습은 설계의 영감이지만 그대로 복제해야 할 제약은 아니며, 동물은 근육을 어떻게 움직이라는 정답 표본 없이 지각과 행동을 익힌다. [26:17]

16. 몸에서 직접 배우는 감각·운동 지능

• 다른 사람의 입·혀·성대 움직임을 그대로 복제해도 몸의 구조가 다르면 같은 소리가 나오지 않으며, 자신의 몸으로 올바른 제어법을 찾는 과정에는 직접 경험이 필요하다. [30:08]
• 다람쥐는 새로운 장애물이 생겨도 먹이통에 접근할 경로를 찾아 점프와 등반을 조정하며, 명시적인 계산 없이도 물리적 환경에 적응한다. [30:59]

17. 동물과 인간의 연속성, 그리고 상상의 역할

• 인간과 다른 동물의 지능 차이는 본질적인 단절보다 정도의 차이에 가깝고, 인간은 사회·문화·언어를 통해 그 차이를 크게 확장한다. [31:34]
• 로켓은 실제 발사 경험이 생기기 전에 결과를 추상적으로 예측하고 설계해야 하므로, 지능에는 아직 존재하지 않는 가능성을 상상하고 계획하는 능력이 필요하다. [32:38]

18. 문화적 축적과 새로운 추상화의 탄생

• 인간의 뇌는 지난 1만 년 동안 근본적으로 크게 달라지지 않았지만, 교육을 통해 누적된 문화적 지식을 개인 경험만으로 재발견하는 것보다 훨씬 빠르게 습득한다. [33:27]
• 패러다임 전환은 축적된 지식과 개인 경험을 바탕으로 새로운 추상화와 세계 모델을 만들고 그 위에서 계획할 때 발생하며, 현재 AI에는 이 능력이 거의 없다. [34:14]

19. 경험으로 패러다임을 바꾸는 모델 기반 계획

• 기존 인간 지식이 하나의 패러다임에 묶여 있다면, 기계는 자신의 경험에서 더 잘 일반화하거나 더 정확히 예측하는 관점을 찾아야 새로운 패러다임으로 이동할 수 있다. [35:16]
• 알파고와 수학 시스템은 게임 규칙이나 연산자처럼 이미 알려진 모델로 계획할 수 있지만, 스스로 추상적 모델을 발견한 뒤 그 모델로 계획하는 일반적 사례는 아직 부족하다. [35:42]

20. 앨버타 계획의 두 축

• 2022년의 12단계 앨버타 계획은 일반적인 AI 연구 구상을 실행 가능한 연구 단위로 나눈 로드맵이다. [36:54]
• 초기 핵심 단계인 지속적 딥러닝이 가능해지면 세계 모델을 새로운 경험에 맞춰 계속 갱신할 수 있고, 이후 단계의 추상화 학습도 가능해진다. [37:18]

21. 단일 데이터 스트림과 파국적 망각의 해법

• 지속적 딥러닝의 병목은 단순한 배포나 개인정보 문제가 아니라 알고리즘 문제이며, 하나의 새 표본으로 전체 모델을 갱신하면 기존 지식이 손상된다. 다수 사용자의 대규모 배치는 이를 완화하지만 개인별 단일 데이터 스트림에는 적용하기 어렵다. [39:18]
• 네트워크의 각 가중치가 서로 다른 학습률을 갖고 이를 메타학습하면, 대부분의 안정된 가중치는 거의 움직이지 않고 새 지식과 관련된 부분만 빠르게 변할 수 있다. [40:09]

22. 처음부터 ‘배우는 법’을 함께 학습하는 모델

• 기존 모델에 지속학습 알고리즘만 사후 적용할 수는 없으며, 새로운 기초 모델을 처음부터 학습시켜 학습 방식 자체를 메타학습해야 한다. [42:22]
• 새 모델은 현재의 지식과 미래 지식을 습득하는 방법을 동시에 학습하며, 이 결합이 파국적 망각 없이 새로운 정보를 받아들이는 기반이 된다. [42:43]

23. 작은 동작부터 큰 계획까지 정합성을 유지하는 마음

• 작은 신체 동작과 도시 간 항공 이동 같은 큰 계획을 동일한 원리로 다루고, 모든 규모의 지식을 스스로 유지하는 체계가 핵심 목표다. [43:58]
• 대규모 언어 모델은 대규모 사후학습으로 지식을 교정한 뒤 가중치를 동결하지만, 인간의 마음은 계속 변하면서도 지식을 다시 조직해 일관된 상태를 유지한다. [44:44]

24. 20와트 목표와 새 패러다임의 도입 장벽

• 현재 메모리 기술로는 20와트 안에서 1조 개 매개변수를 저장하는 것조차 어렵지만, 계산 효율 향상과 새로운 알고리즘이 결합되면 5~10년 안에 가능해질 여지가 있다. [46:16]
• 계산 효율이 18개월마다 두 배로 높아지면 10년 동안 약 100배 개선되므로, 오늘날 2,000와트로 가능한 시스템은 장기적으로 20와트 수준에 접근할 수 있다. [46:46]

25. Oaks의 목표와 LLM의 위치

• Oaks가 목표한 아키텍처는 지속적 학습과 추상화 형성, 계획과 추론을 하나로 결합해 경험에서 계속 성장하는 지능을 구현한다. [49:13]
• 이런 지능이 등장해도 인간의 역할이 사라지기보다 세계가 더 흥미로워질 가능성이 크지만, 현재 형태의 대규모 언어 모델은 경쟁력을 잃을 수 있다. [49:41]

26. 하나의 설계에서 갈라지는 여러 마음

• 모든 능력을 하나의 가중치 집합에 담는 단일 마음보다, 공통 설계가 서로 다른 환경에서 각자의 경험을 학습해 서로 다른 마음으로 발달하는 구조가 적합하다. [51:22]
• 세계에는 배울 것이 사실상 무한히 많아 한 시스템이 전부 습득할 수 없고, 복잡성이 비슷한 두 시스템은 서로를 완전히 모델링할 수도 없으므로 여러 마음이 각자의 경험에서 계속 학습해야 한다. [51:36]

27. 작고 정렬된 팀으로 시작하는 확장 전략

• 초기 인력은 지속학습과 새로운 알고리즘 패러다임을 오랫동안 고민한 사람들로 구성하며, 모든 구성원이 같은 문제의식에 도달해야 하므로 조직을 빠르게 키우지 않는다. [52:06]
• 소수의 팀에서 시작해 천천히 규모를 늘리고 높은 방향성 정렬을 유지함으로써, 협업 생산성과 연구 진전을 함께 확장한다. [52:42]

🧾 결론

• 지속학습은 완성된 모델에 사후 기능으로 덧붙일 문제가 아니라, 기초 모델을 처음부터 훈련하는 방식과 아키텍처에 포함해야 할 원리다.
• 사전지식과 새로운 학습은 양자택일 관계가 아니다. 새롭게 습득한 지식이 다음 경험의 사전지식이 되는 순환을 안정적으로 유지하는 것이 지능의 핵심이다.
• 시뮬레이션과 계획은 계속 필요하지만, 현실과의 차이를 인간 엔지니어가 끝없이 수정하는 대신 에이전트가 자기 경험으로 모델의 오류를 발견하고 고칠 수 있어야 한다.
• 현재 LLM의 언어 능력은 중요한 진전이지만 전체 지능을 대체하지 않는다. 장기 경쟁의 중심은 유창한 생성에서 배포 후 적응, 추상화 형성, 계획, 자기 일관성 유지로 이동할 수 있다.

📈 투자·시사 포인트

• AI 시스템의 평가축은 사전학습 규모와 정적 벤치마크뿐 아니라 배포 후 가중치 갱신 여부, 단일 경험 스트림 적응력, 파국적 망각 억제 능력까지 확장될 필요가 있다.
• 합성 데이터의 양만 늘리는 전략은 전문가 설계와 시뮬레이터 보정 비용에 다시 묶일 수 있다. 실제 상호작용에서 독자적인 경험을 만들고 모델 오류를 스스로 수정하는 루프가 더 중요한 차별점이 될 수 있다.
• 기존 제품과 계산 확장 경로에 최적화된 대형 연구소는 초기 성능 하락을 감수해야 하는 새 알고리즘을 채택하기 어려울 수 있다. 반대로 문제의식이 정렬된 소규모 연구팀은 새로운 패러다임을 탐색하는 데 상대적으로 유리할 수 있다.
• 18개월마다 계산 효율이 두 배가 된다는 가정과 새로운 알고리즘이 결합되면 10년간 약 100배 개선되어 20와트급 지능 시스템에 접근할 가능성이 제시된다. 따라서 메모리 효율, 계산 효율, 지속학습 알고리즘의 공동 발전이 핵심 관찰 대상이다.

⚠️ 불확실하거나 확인이 필요한 부분

• 1조 개 매개변수를 20와트 수준에서 운용할 수 있다는 5~10년 전망은 계산 효율의 지속적인 개선과 아직 확립되지 않은 새 알고리즘이 모두 실현된다는 조건에 의존한다.
• 가중치별 메타학습 학습률과 지속적 역전파가 대규모 기초 모델의 장기간 단일 경험 스트림에서도 파국적 망각을 충분히 억제할지는 제시된 내용만으로 확인되지 않는다.
• 합성 데이터와 시뮬레이션의 한계에 대한 주장은 강하지만, 시뮬레이션 자체가 불필요하다는 뜻은 아니다. 실제 경험과 합성 환경의 최적 조합은 과제와 환경별로 검증해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 검토 중인 AI 시스템이 메모리·검색·인컨텍스트 학습만 사용하는지, 배포 후 실제 가중치 학습까지 수행하는지 구분한다.
• 시간순 단일 데이터 스트림에서 새 능력 습득률, 기존 능력 보존률, 장기 표류 여부를 함께 측정하는 평가 항목을 만든다.
• 합성 데이터 파이프라인별로 데이터 선별, 예외 처리, 시뮬레이터 보정에 투입되는 인간 전문가 비용을 기록한다.
• 가중치별 학습률 메타학습과 지속적 역전파가 모델 규모 증가에도 작동하는지 확인하고, 기존 모델에 사후 적용하는 방식과 처음부터 공동 학습하는 방식을 비교한다.

❓ 열린 질문

• 지속학습 알고리즘은 인터넷 규모의 사전지식을 보존하면서 개인별 단일 경험 스트림을 얼마나 빠르게 흡수할 수 있는가?
• 계속 변하는 가중치가 비정상적으로 표류하지 않도록 하면서도 새로운 패러다임과 추상화를 형성하게 만드는 자기 일관성 기준은 무엇인가?
• 공통 설계에서 갈라진 여러 에이전트의 마음은 각자의 국소적 경험을 유지하면서 유용한 지식을 어떤 방식으로 공유할 수 있는가?