Lossy self-improvement

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

글은 AI 자기개선이 실제로 연구·개발 생산성을 높이고 있지만, 반복적 자기개선이 곧바로 폭발적 특이점으로 이어진다는 주장에는 닫힌 루프, 자기증폭, 효율 손실 없음이라는 전제가 필요하며 실제로는 복잡성·병목·조직적 마찰 때문에 ‘손실 있는 자기개선’에 가까울 것이라고 주장한다.

📌 핵심 요약

AI 업계에서는 빠른 도약, 특이점, 재귀적 자기개선이 핵심 화두가 되었고, 실제로 소수의 선도 연구소가 최고의 모델과 자원을 집중적으로 보유하며 엔지니어링과 연구 업무를 크게 바꾸고 있다.
저자는 현재 모델이 매우 유용하고 코딩·CLI 기반 작업에서 특히 강하지만, 앞으로 어떤 지식노동 과제를 새롭게 장악할지는 불확실하며, 이러한 진보가 곧바로 닫힌 자기증폭 루프로 이어진다고 보기는 어렵다고 본다.
재귀적 자기개선이 성립하려면 AI가 스스로를 계속 개선하는 닫힌 루프, 다음 세대가 더 큰 개선을 낳는 자기증폭성, 그리고 루프가 돌수록 효율이 떨어지지 않는 조건이 모두 필요하다.
저자는 대신 모델이 개발 루프의 핵심 도구가 되더라도 자동화 가능한 연구의 범위가 좁고, 많은 에이전트를 병렬 투입할수록 감독·중복·조율 문제가 커지며, 자원 배분과 조직 정치가 계속 병목으로 남는다고 설명한다.
결론적으로 AI 도구는 낮은 곳의 과일을 빠르게 수확하게 만들고 업무 속도를 높이지만, 인간의 직관, 복잡성 관리, 실험 설계, 자원 배분의 한계 때문에 장기 궤적은 지수 폭발보다 여러 시그모이드가 겹친 형태에 가까울 것이라고 본다.

🧩 주요 포인트

AI 업계에서는 빠른 도약, 특이점, 재귀적 자기개선이 핵심 화두가 되었고, 실제로 소수의 선도 연구소가 최고의 모델과 자원을 집중적으로 보유하며 엔지니어링과 연구 업무를 크게 바꾸고 있다.
저자는 현재 모델이 매우 유용하고 코딩·CLI 기반 작업에서 특히 강하지만, 앞으로 어떤 지식노동 과제를 새롭게 장악할지는 불확실하며, 이러한 진보가 곧바로 닫힌 자기증폭 루프로 이어진다고 보기는 어렵다고 본다.
재귀적 자기개선이 성립하려면 AI가 스스로를 계속 개선하는 닫힌 루프, 다음 세대가 더 큰 개선을 낳는 자기증폭성, 그리고 루프가 돌수록 효율이 떨어지지 않는 조건이 모두 필요하다.
저자는 대신 모델이 개발 루프의 핵심 도구가 되더라도 자동화 가능한 연구의 범위가 좁고, 많은 에이전트를 병렬 투입할수록 감독·중복·조율 문제가 커지며, 자원 배분과 조직 정치가 계속 병목으로 남는다고 설명한다.
결론적으로 AI 도구는 낮은 곳의 과일을 빠르게 수확하게 만들고 업무 속도를 높이지만, 인간의 직관, 복잡성 관리, 실험 설계, 자원 배분의 한계 때문에 장기 궤적은 지수 폭발보다 여러 시그모이드가 겹친 형태에 가까울 것이라고 본다.

🧠 상세 정리

1. 빠른 도약 담론이 설득력을 얻는 배경

글은 빠른 도약, 특이점, 재귀적 자기개선이 최근 AI 논의의 중심에 놓인 이유를 먼저 설명한다. 실제로 AI 산업에서는 두세 개의 연구소가 최고의 모델과 다음 세대 모델을 만들 자원을 집중적으로 확보하며 과점 구조를 형성하고 있다. 동시에 오늘날의 AI 도구는 엔지니어링과 연구 업무를 갑작스럽게 바꾸고 있으며, 초인적 코딩 보조 도구는 과거에 대형 모델 개발이 요구한다고 여겨졌던 난점을 일부 무너뜨리고 있다. 저자는 이런 변화가 향후 1년 이상 AI 최전선의 빠른 진전을 낳을 수 있다고 인정한다. 다만 이 현실적 변화가 곧바로 자기증폭적 폭발로 이어진다는 결론은 별개의 문제라고 선을 긋는다.

2. 이미 강력한 언어모델과 다음 도약의 불확실성

저자는 현재 언어모델이 이미 매우 뛰어나며, 많은 가치 있는 지식노동 과제에 충분히 유용하다고 평가한다. 하지만 언어모델이 다시 한 번 큰 도약을 한다면 구체적으로 어떤 과제를 새롭게 완전히 장악할지는 분명하지 않다고 본다. 특히 올해 확실해 보이는 영역은 코드와 CLI 기반 컴퓨터 사용 쪽이며, 그 밖의 영역에서도 새로운 능력이 나오겠지만 방향은 예측하기 어렵다고 말한다. 이러한 능력은 새로운 업무 방식을 열고 경제 전반에 파장을 만들 수 있다. 그러나 모델이 이미 강력하다는 사실과 모델이 스스로 진보 속도를 계속 가속할 수 있다는 주장은 구분되어야 한다.

3. 재귀적 자기개선의 정의와 필요한 전제

글은 재귀적 자기개선이라는 개념이 AI가 자신의 인지 알고리즘이나 지능 구조를 개선하고, 개선된 버전이 다시 더 효율적으로 개선을 수행하는 닫힌 증폭 루프를 뜻한다고 정리한다. 저자는 2000년대의 관련 논의와 Seed AI 개념을 언급하며, 이 아이디어가 단순히 무지능 코어에서 지능을 우회적으로 끌어내는 것이 아니라 이미 상당한 지능과 자기이해가 있을 때 의미를 갖는다고 설명한다. 오늘날 모델이 일반적이고 유용하다는 점에서 사람들이 이 출발점에 도달했다고 느끼는 것은 합리적일 수 있다. 그러나 재귀적 자기개선이 실제로 일어나려면 루프가 닫혀 있어야 하고, 다음 모델이 더 큰 개선을 낳아야 하며, 반복 과정에서 효율 손실이 없어야 한다. 저자는 바로 이 전제들이 현실의 마찰 앞에서 깨진다고 본다.

4. 손실 있는 자기개선이라는 대안적 전망

저자는 향후 몇 년간 AI 개선이 사회적으로 큰 혼란과 변화를 일으킬 것이라는 점에는 동의한다. 그러나 나중에 되돌아보면 진보의 추세선은 지수적 폭발보다 선형에 가까워 보일 가능성이 높다고 주장한다. 그래서 그는 재귀적 자기개선 대신 ‘손실 있는 자기개선’이라는 표현을 제안한다. 이 관점에서 모델은 AI 개발 루프의 핵심 요소가 되지만, 반복될수록 마찰이 생기고 손실과 중복이 늘어나 재귀적 자기개선의 핵심 가정이 무너진다. 더 많은 컴퓨트와 더 많은 에이전트를 투입할수록 모든 문제가 자동으로 빨라지는 것이 아니라, 조율 비용과 반복 작업도 함께 커진다는 것이다.

5. 복잡성 브레이크와 선도 모델 개발의 난도

글의 중심 근거 중 하나는 고도화된 시스템에서 복잡성이 진보를 늦추는 강한 반작용으로 작동한다는 점이다. 저자는 폴 앨런이 말한 ‘복잡성 브레이크’를 인용하며, 과학이 지능을 더 이해할수록 추가 진전은 오히려 더 어려워질 수 있다고 설명한다. 대형 언어모델 개발은 이미 매우 복잡하고 앞으로 더 복잡해지고 있으며, 훈련 방식, 깊은 직관, 조직 구조 곳곳에서 손실이 발생할 지점이 많다. 모델이 좁은 과제들을 점점 더 잘 수행하더라도, 선도 모델을 만드는 데 필요한 여러 요소를 함께 구성하는 일은 여전히 어렵다. 따라서 개별 능력의 개선이 전체 시스템 개선의 동일한 속도로 전환되지는 않는다.

6. 자동화 가능한 연구의 범위가 좁다는 문제

저자는 언어모델이 테스트 손실을 낮추는 것처럼 국소적인 최적화 과제에는 이미 유용해지고 있다고 본다. 예로 카파시의 자동 연구 시도를 언급하며, AI 에이전트가 GPU 위에서 직접 실험하며 특정 테스트셋 손실을 낮추는 접근이 좁은 영역에서는 작동한다고 설명한다. 그러나 논문상 더 정확한 모델과 사용자가 실제로 더 생산적이라고 느끼는 모델 사이에는 오래된 간극이 있다. 사전학습에서는 스케일링 법칙이 손실이 계속 내려갈 수 있음을 보여주지만, 그것이 경제적으로 더 가치 있는 모델을 보장하는지는 모른다고 지적한다. 후훈련의 강화학습은 특정 성능 향상과 더 직접적으로 연결될 수 있지만, 특정 과제를 잘하는 모델이 곧 스스로를 더 잘 만드는 모델이라는 결론으로 뛰어넘기는 어렵다.

7. 벤치마크, 연구 직관, 복잡성 관리의 한계

저자는 초기 벤치마크들이 모두 범위가 좁다는 같은 문제를 가진다고 말한다. 에이전트는 단일 지표를 최적화하는 일에는 잘할 수 있지만, 여러 지표를 동시에 다루고 서로 충돌하는 목표를 조율하는 능력은 다른 차원의 기술이다. 실제 최고의 연구자들이 하는 일은 많은 확장 가능한 아이디어를 함께 작동하게 만드는 것이며, 이는 단순 구현이나 단일 최적화와 다르다. PostTrainBench 같은 벤치마크는 흥미롭지만, 후훈련에서 마지막 1~3% 성능을 얻는 과정은 매우 복잡하고 쉽게 왜곡될 수 있다고 본다. 저자는 과거 AutoML hype도 언급하며, 자동화가 연구자의 일을 크게 바꾸리라는 기대가 있었지만 실제 핵심 통화는 여전히 직관과 복잡성 관리였다고 정리한다.

8. 병렬 에이전트와 자원·정치 병목

글은 많은 AI 에이전트를 병렬로 투입한다고 해서 개선 속도가 무한히 빨라지지 않는다고 설명한다. 데이터센터에 수많은 원격 작업자가 있더라도 이들을 하나의 문제에 효과적으로 집중시키기는 어렵고, 비슷한 모델들은 비슷한 해법 분포에서 샘플링하며 인간 감독에 묶인다. 저자는 Amdahl의 법칙을 비유로 들어, 어떤 작업의 속도 향상은 병렬화 가능한 부분과 병렬 작업자 수에 의해 제한된다고 설명한다. 한 연구자가 AI 자동완성에서 자율 코딩 에이전트로 넘어가는 것은 큰 이득이지만, 매일 30~40개, 더 나아가 300~400개의 에이전트 과제를 설계하고 관리할 수 있는 사람은 많지 않다. 여기에 연구 자원 배분, 거대 컴퓨트 투자, 조직 내 의사결정과 정치가 더해지며, 인간 리더십은 계속 모델 위의 병목으로 남는다.

🧾 핵심 주장 / 시사점

AI 개발에서 자동화가 가장 먼저 제거하는 것은 반복적 구현과 국소 최적화이며, 선도 연구의 핵심인 문제 설정·복잡성 관리·다중 목표 조율은 훨씬 늦게 자동화될 가능성이 크다.
재귀적 자기개선 논쟁에서 중요한 쟁점은 ‘AI가 연구를 도울 수 있는가’가 아니라, 그 도움이 손실 없이 닫힌 자기증폭 루프로 전환될 수 있는가이다.
현재의 급격한 생산성 향상은 지수 곡선처럼 느껴질 수 있지만, 저자는 그것을 여러 기술적 시그모이드의 초입으로 해석하며 반복될수록 병목이 드러날 것이라고 본다.