Recursive Self-Improvement and the Future of AI

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Recursive Self-Improvement and the Future of AI를 중심으로, RSI의 구분 기준은 개선 주체와 개선 대상이다. 사람이 AI를 도구로 활용하는 것을 넘어, 개선된 시스템의 능력이 다시 시스템를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. RSI의 구분 기준은 개선 주체와 개선 대상이다. 사람이 AI를 도구로 활용하는 것을 넘어, 개선된 시스템의 능력이 다시 시스템 자체의 개선에 투입되어야 한다. 인간 연구자와 AI가 함께 구성한 시스템도 이 접근의 대상이 될 수 있다.
2. 닫힌 개선 순환이 급격한 도약을 보장하지는 않는다. 개선 능력과 다음 단계의 난도가 어떻게 증가하는지에 따라 정체·지속 개선·가속이 달라지며, 실제 관계는 경험적으로 측정해야 한다.
3. 성능과 총투입 비용을 함께 평가해야 한다. 출시 주기나 최종 실행 비용뿐 아니라 자본, 연산량, 사람의 작업 시간, 반복 실험 비용까지 포함해야 자원 확대와 효율 개선을 구분할 수 있다. nanoGPT의 GPT-2 학습 비용 절감만으로 최신 모델의 능력 향상을 입증할 수는 없다.
4. 최적화 대상은 프롬프트·하네스·모델 가중치·칩까지 이어진다. 구성 요소가 서로 영향을 주므로 개별 개선이 시스템 전체의 성과로 연결되는지 확인해야 한다. 추론 효율 개선은 다른 개선 작업을 가속할 가능성과 모델 서비스의 사업적 수요를 함께 갖는다.
5. 개발진은 성능과 에너지 효율이 함께 개선되는 초기 징후를 보고 있다고 주장한다. 그러나 보상 해킹, 측정 잡음, 결과 선별을 검증해야 하며, 인간의 기여와 물리적 평가 시간 때문에 분야별 개선 속도도 달라질 수 있다.

🧩 배경과 문제 정의

• 재귀적 자기개선(RSI)의 핵심은 AI가 개선 작업을 수행하면서 그 작업을 수행하는 자신의 능력도 높이는 데 있다. 사람이 AI 도구로 더 나은 AI를 만드는 것과 구분하려면 개선 주체와 개선 대상을 확인해야 한다.
• 모델 개발 속도가 빨라졌다는 사실만으로 자기개선을 입증할 수는 없다. 성능 향상을 자본·연산량·사람의 작업 시간·반복 실험 비용과 함께 평가해야 한다.
• 자기개선의 순환 구조가 닫혀 있어도 급격한 도약이 보장되지는 않는다. 개선의 지속성과 속도는 실험으로 확인해야 하며, 보상 해킹·측정 잡음·구성 요소 간 상호작용을 구분해야 한다.
• 프롬프트부터 칩까지 여러 계층을 함께 최적화하는 것이 목표다. 다만 인간의 기여와 물리적 실험의 지연이 남아 있어 분야별 개선 속도와 한계는 달라질 수 있다.

🕒 시간순 섹션별 상세정리

1. RSI는 개선 주체 자체를 개선 대상으로 삼는다

• 출발 목표는 스스로 개선하는 AI를 만드는 것이다. RSI라는 용어의 의미를 구분하는 기준은 무엇이 최적화를 수행하고 무엇이 최적화되는지에 있다. [02:28]
• 사람이 AI를 이용해 더 나은 AI를 개발하더라도 개선 아이디어가 인간에게서 나온다면 자기촉매적 발전에 해당한다. 컴퓨터로 더 나은 컴퓨터를 만드는 기존 기술 발전도 이러한 구조를 갖는다. [03:37]

2. 닫힌 개선 순환은 정체·지속 개선·도약의 조건을 바꾼다

• 인간의 개입으로 연결해야 하는 틈이 남아 있으면 개선 순환이 완전히 닫히지 않는다. 닫힌 순환에도 자원은 필요하지만, 이상적으로는 추가 투입의 한계 이득이 일정하게 유지되거나 커질 수 있다. [04:41]
• 단순화한 설명에서는 능력의 개선 속도를 성과와 비용·난도의 관계로 본다. 능력이 높아질수록 다음 단계의 난도가 커지고 개선 주체의 성과가 고정되어 있으면 발전이 정체될 수 있다. [05:16]

3. 순환 구조만으로 도약을 예측할 수는 없다

• 닫힌 순환을 그렸다는 이유만으로 급격한 도약을 결론 내릴 수는 없다. 비선형 제어 시스템의 실제 거동은 순환 구조만으로 판단하기 어렵다. [06:50]
• 개선이 어떻게 진행되는지는 실험으로 확인해야 한다. 보상 해킹은 검증을 어렵게 하는 여러 문제 중 하나이며, 방정식을 세워도 변수와 지수는 경험적으로 측정해야 한다. [07:35]

4. 인간을 포함한 다중 에이전트 시스템도 자기개선 대상이다

• RSI가 반드시 완전히 자동화된 디지털 시스템일 필요는 없다. 이 접근에서는 인간 연구자와 엔지니어도 에이전트의 한 종류이며, 인간과 AI가 함께 일하는 혼합 시스템 전체가 재귀적으로 개선된다. [08:44]
• 최적화할 수 있는 구성 요소를 제외하면 얻을 수 있는 개선을 놓친다. 개선하지 않은 요소는 이후 시스템의 병목이 될 수 있다. [09:13]

5. 성능 향상은 자본과 사람의 실험 비용까지 포함해 평가한다

• 모델 출시 간격이 줄어들어도 조달한 자본으로 나누어 보면 개선 속도가 빨라졌다고 보기 어려울 수 있다. 더 많은 돈을 투입한 효과와 의미 있는 효율 개선을 구분해야 한다. [09:27]
• 자원 투입이 계속 늘어난 결과만으로는 RSI를 입증할 수 없다. 최종 실행의 연산량과 비용뿐 아니라 그 설정에 도달하기까지의 사람 작업 시간과 반복 실험도 비용에 포함한다. [10:22]

6. 같은 하드웨어에서의 학습 효율 개선도 능력 향상에 기여한다

• nanoGPT 벤치마크는 GPT-2를 다시 학습시키는 과제다. 같은 GPU와 데이터에서도 사전학습 기법·데이터 처리·커널 개선으로 학습 시간을 줄일 수 있으며, 일부 개선은 자동 연구의 결과다. [12:13]
• GPT-2 학습 비용을 낮추는 사례만으로 최신 모델의 능력 향상까지 입증되지는 않는다. 비용을 나타내는 분모의 개선과 성능을 나타내는 분자의 개선을 구분해야 한다. [12:42]

7. 복잡한 아이디어보다 단순한 순환과 통합된 수학적 틀을 중시한다

• 내부 검증에서는 RSI를 주장하는 여러 논문이 벤치마크나 실제 경제적 문제에서 규모를 늘렸을 때 작동하지 않았다. 개발진의 경험에서는 순환을 닫는 더 단순한 방식이 규모 확장에 유리했다. [13:42]
• 수학적 틀로 전체 탐색 공간을 정리하면 복잡성 속에서 방향을 잃는 위험을 줄일 수 있다. 수많은 개별 시스템을 조합하기보다 공통 추상화를 찾고, 실용화를 위한 가정을 명시한 뒤 검증하는 접근이다. [14:15]

8. 프롬프트·하네스·가중치·칩은 함께 최적화해야 한다

• 하네스와 모델 가중치는 서로 영향을 주므로 독립된 구성 요소로 취급하기 어렵다. RSI의 최적화 범위는 프롬프트와 하네스, 가중치에서 칩까지 이어질 수 있다. [16:44]
• 자본 효율을 고려해 하네스부터 시작한 뒤 가중치 업데이트로 확장했으며, 가중치를 개선해도 하네스 작업은 계속 필요했다. 여러 계층을 공동 최적화해야 할 가능성이 크다는 전망이다. [17:08]

9. 추론 효율은 자기개선과 사업적 수요가 만나는 문제다

• 우선 과제는 AI 자체에 가깝고 성능과 비용 효율을 함께 개선할 수 있는 영역이다. 추론 효율이 높아지면 다른 개선 작업에도 활용할 여지가 커진다. [17:46]
• 모델이 추론을 더 빠르게 만드는 능력을 높이고, 빨라진 추론으로 그 개선 작업도 더 빠르게 수행하는 복합 효과를 기대한다. 다만 이러한 순환도 어느 시점에 정체될 수 있어 도약을 보장하지는 않는다. [18:36]

10. 에이전트가 모델 선택과 최적화 대상까지 바꾼다

• 시스템은 하나의 언어 모델만 사용하지 않고 여러 모델에 서로 다른 작업을 맡긴다. 작업별 모델 선택도 일부는 모델에 맡기며, 에이전트가 무엇을 최적화할지 결정한다. [19:49]
• 자기개선을 지시하는 최상위 프롬프트도 개선 대상이다. 실제 개선을 수행하는 기능과 무엇을 개선할지 판단하는 기능은 모두 동적으로 변하는 문제다. [20:38]

11. 범용적 수학 구조에도 인간과 물리적 한계가 남는다

• 수학적으로는 AI를 적용할 수 있는 여러 문제 영역에 일반화하는 하나의 시스템을 지향한다. 그러나 이러한 정의가 물리적 한계나 인간 요소의 제약을 없애지는 않는다. [21:27]
• 좋은 연구자와 엔지니어가 제공하는 기여 중에는 에이전트로 대체하기 어려운 부분이 많다는 판단이다. 회사 전체를 인간과 AI 에이전트가 함께 존재하는 다중 에이전트 시스템으로 구성한다. [21:47]

12. 자원 대비 개선의 징후와 무한 성장의 한계는 구분해야 한다

• 성능뿐 아니라 같은 물리적 자원과 비용으로 얼마나 많은 결과를 얻는지도 최적화한다. 개발진의 주장에 따르면 비용이 고정되거나 줄어드는 가운데 성능이 높아지는 현상이 이미 나타나고 있다. [22:33]
• 더 적은 에너지로 더 좋은 결과를 얻는 흐름이 계속되더라도 무한히 지속되지는 않는다는 입장이다. 궁극적으로 물리적 한계와 계산량의 상한이 존재한다. [23:14]

13. 자기개선의 신뢰도는 재현과 반증을 견디는 측정에 달려 있다

• 내부 결과에서는 최근 몇 달 동안 자기개선의 징후가 커졌다는 설명이다. 그 판단의 근거는 믿음이 아니라 경험적 측정이며, 결과가 맞다는 확신이 충분해질 때까지 공개를 보류해 왔다. [24:29]
• 다른 RSI 결과를 재현했을 때 잡음이나 유리한 결과만 고른 사례로 판단한 경우가 있었다. 내부에서는 결과의 결함과 분산 문제를 찾아내는 역할을 별도로 두어 검증한다. [25:15]

14. 개선은 진동하고 잡음에 흔들리며 분야마다 다르게 진행된다

• 시스템은 수렴하거나 발산할 뿐 아니라 좋아졌다가 나빠지는 진동도 보인다. 여기에 확률적 잡음이 더해지며, 같은 B200 GPU끼리의 물리적 동작 차이가 상위 수준의 결과에 나타나는 사례도 있다. [26:50]
• 지능은 하나의 숫자보다 여러 차원의 벡터에 가깝다는 관점이다. 어떤 영역에서는 급격한 개선이 가능해도 다른 영역에서는 정체하거나 천천히 개선될 수 있으며, 가장 느린 구성 요소가 중요한 제약이 된다. [27:51]

15. 물리적 평가가 느린 분야는 디지털 개선만으로 가속하기 어렵다

• 암달의 법칙에 따르면 일부 구성 요소를 크게 가속해도 전체 개선은 그 요소가 차지하는 비중에 제한된다. 디지털 부분이 전체 시간의 20%라면 그 부분을 극단적으로 빠르게 만들어도 나머지 시간이 병목으로 남는다. [28:18]
• 신약 개발에서는 새로운 아이디어를 평가하기 위해 습식 실험과 임상시험 등 수개월이 걸리는 절차가 필요하다. 따라서 평가가 빠르고 저렴한 코딩이나 수학보다 개선 속도가 느릴 가능성이 있다. [28:44]

16. 목표 개선에 필요한 에너지와 물리적 규모의 경계는 미해결 문제다

• 특정 문제를 일정 수준 개선하는 데 필요한 추가 에너지의 양을 정량화한 경계는 아직 보지 못했다는 지적이다. 이런 관계를 알면 신약 개발 등에 필요한 시설 규모나 로봇 수를 예측하는 데 도움이 될 수 있다. [29:17]
• 필요한 자원과 달성 가능한 개선 사이의 경계를 구할 수 있는지는 열린 질문으로 남는다. 내부의 ‘RSI의 비밀은 위스콘신의 정원 호스 회사 어딘가에 있다’는 농담이 등장하지만, 처리 구간에서는 그 의미가 설명되지 않는다. [29:50]

17. 주목받지 못한 실무 문제가 근본적 발견의 출발점이 될 가능성

• 아인슈타인이 상대성이론을 발견하지 않았다면, GPS 설계자는 시간 차이를 해결하는 경험적 보정식을 먼저 만들었을 수 있다. 그 식의 의미가 나중에 시공간에 관한 이론으로 해석되는 상황을 가정한다 [30:41]
• 현재 RSI는 유행하는 매우 어려운 문제를 푸는 방향으로 생각되지만, 세계의 복잡성을 고려하면 진짜 난제는 아직 접근하지 않은 영역에 있을 가능성이 있다 [31:03]

18. 시스템 전체의 자기개선과 성능·에너지 효율의 초기 조짐

• 목표는 자기촉매 효과를 넘어 시스템이 전체 시스템을 개선하는 실제 RSI다. 개선 대상에는 실행 환경인 하네스와 모델 가중치가 모두 포함된다 [31:28]
• 시스템의 성능을 분자, 투입 에너지를 분모로 놓고 보면, 이 접근으로 두 측면이 함께 개선되는 초기 조짐을 보고 있다는 입장이다. 아직 표현의 강도는 초기 징후 수준에 머문다 [31:43]

🧾 결론

• RSI의 핵심은 시스템이 전체 시스템을 개선하고, 높아진 개선 능력을 다음 반복에 활용하는 데 있다.
• 자기개선의 신뢰도는 순환 구조의 설명보다 총비용을 포함한 측정, 재현, 반증을 견디는 검증에 달려 있다.
• 초기 효율 개선의 징후와 지속적 가속 또는 무한 성장은 구분해야 한다. 물리적 한계와 느린 구성 요소는 여전히 전체 발전을 제한한다.

📈 투자·시사 포인트

• AI 기업의 기술 진전을 살필 때 출시 빈도와 성능 점수에 더해, 자본·연산·인력·실험 비용 대비 개선 폭을 비교필요가 있다.
• 추론 최적화는 자체 모델과 공개 가중치 모델을 효율적으로 서비스하려는 수요에 연결된다. 연구 성과가 실제 서비스 비용과 성능 개선으로 이어지는지가 사업적 가치의 확인 지점이다.
• 하네스와 가중치 등 여러 계층의 공동 최적화가 중요해질 수 있다. 한 구성 요소의 개선이 전체 시스템의 효율을 높이는지 살펴야 한다.
• 코딩·수학처럼 평가가 빠른 분야와 습식 실험·임상시험이 필요한 신약 개발은 가속 조건이 다르다. 디지털 개선 속도를 모든 산업에 동일하게 적용하기 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• 성능과 에너지 효율의 동시 개선은 개발진이 설명한 초기 징후다. 제공된 자료에는 독립적 재현 결과나 구체적인 개선 수치가 없어 지속성과 규모를 판단하기 어렵다.
• 개선 능력의 증가가 난도 상승을 상쇄하거나 급격한 도약으로 이어진다는 설명은 가설적 관계다. 변수와 지수는 실험으로 확인해야 한다.
• 보상 해킹, 유리한 결과의 선별, 실험 분산과 하드웨어 차이가 실제 개선처럼 보일 수 있다. 벤치마크 정확도의 상한도 장기 개선 추세의 해석을 제한한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• RSI 주장마다 무엇이 개선을 수행하고 무엇이 개선되는지, 인간의 개입은 어디에 남아 있는지 표시한다.
• 성능 지표와 함께 연산량·에너지·자본·사람 작업 시간·반복 실험 비용을 기록해 자원 대비 개선을 비교한다.
• 동일한 하드웨어와 데이터 조건에서 비용 절감과 능력 향상을 각각 확인하고, 최신 모델에도 효과가 이어지는지 검증한다.
• 반복 실험의 분산, 재현 여부, 보상 해킹 가능성을 확인하고 개별 구성 요소의 개선이 전체 성과에 미치는 영향을 점검한다.

❓ 열린 질문

• 초기 자기개선 징후는 더 큰 규모와 새로운 경제적 문제에서도 총비용 대비 지속적인 개선으로 재현될까?
• 프롬프트·하네스·가중치·칩의 공동 최적화에서 한 부분의 개선이 다른 부분에 주는 악영향을 어떻게 측정할 수 있을까?
• 목표 성능에 필요한 추가 에너지와 물리적 자원의 경계를 정량화할 수 있을까?