AI Just Performed Surgery on Another AI''s Brain

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

AI Just Performed Surgery on Another AI's Brain를 중심으로, 영상에 따르면 Astra는 약 0.8B 규모의 Quen 모델에서 가중치 0.016%를 수정해 Math 500 점수를 7.9%에서를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 영상에 따르면 Astra는 약 0.8B 규모의 Quen 모델에서 가중치 0.016%를 수정해 Math 500 점수를 7.9%에서 48.1%로 높였다. 최적화기를 통한 추가 학습은 금지된 조건이었다.
2. 핵심 문제는 반복 사고였다. 원본 모델의 Math 500 응답 중 93%가 토큰 한도에 걸렸으며, Astra는 정상적인 풀이와 반복하는 풀이의 내부 활성 차이로 ‘반복 방향’을 추정했다.
3. 최종 편집은 15·19층에서 각각 64개 뉴런의 출력 가중치를 겨냥했다. 총 131,072개 값을 수정했으며, 같은 크기의 무작위 방향 편집에서는 유사한 개선이 나타나지 않았다.
4. 개선 폭은 실험 예산에 민감했다. 순전파 10회·25회 조건의 Math 500 점수는 각각 12.3%·14.1%였고, 50회 조건에서 48.1%에 도달했다. 외부 재현에서는 51%가 보고됐지만, 도구 호출 성능이 하락한 별도 평가도 있었다.
5. 반복이 드문 Gemma 3 270M에서는 뚜렷한 개선이 없었다. 이번 결과는 범용적인 능력 추가보다 특정 고장 요인을 찾아 제거하는 신뢰성 개선의 가능성을 보여준다.

🧩 배경과 문제 정의

영상은 ‘AI가 다른 AI의 뇌를 수술했다’는 표현으로 확산된 가중치 편집 실험을 설명한다. 대상인 약 0.8B 규모의 Quen은 수학 풀이 중 같은 질문을 반복해 답변을 끝내지 못하는 문제가 있었고, Math 500 응답의 93%가 토큰 한도에 걸렸다고 소개된다.

연구진은 Astra에 모델 가중치와 연습 문제, 제한된 순전파 기회를 제공하면서 최적화기를 통한 학습을 금지했다. Astra는 모델 실행으로 내부 상태를 관찰하고 직접 수정 코드를 작성해야 했다. 영상은 이 과정과 성능 개선, 외부 재현, 비판, 실패 사례를 함께 제시하며 기존 능력을 가로막는 장애 제거와 새로운 능력 추가를 구분한다.

🕒 시간순 섹션별 상세정리

1. ‘AI 뇌 수술’의 주장과 실험 대상

• 도입부는 Astra가 다른 모델의 가중치 0.016%를 바꿔 Math 500 점수를 7.9%에서 48.1%로 높였다고 보여준다. 동시에 해석가능성 연구자들이 이 결과의 과장된 해석을 경계한다고 전해진다. [00:27]
• 대상 Quen은 같은 질문을 반복하며 풀이를 끝내지 못했고, Math 500 응답의 93%가 토큰 한도에 걸렸다. 연구진은 이를 다룬 초기 결과를 11월 2일 블로그로 공개했다. [01:24]
• 실험 환경은 GPU와 인터넷이 없는 Python 노트북, 약 15,000개의 연습 문제, 10·25·50회의 순전파 예산이었다. 학습은 금지됐으며, 50회 조건은 158턴과 Python 실행 80회, 약 20시간이 걸렸다. [02:30]

2. 가중치와 반복 방향을 이해하는 틀

• 영상은 모델의 내부 상태를 1,024개 숫자로 된 공유 메모장에 비유한다. 24개 층이 이 상태에 정보를 더하며, 특정 행동이 내부 상태의 한 방향과 연결될 수 있다고 보여준다. [03:29]
• 이런 방향 기반 접근은 새로운 발상이 아니며, 2024년의 거절 행동 연구도 예로 든다. 각 뉴런이 내부 상태에 쓰는 패턴은 downproj 가중치 행렬의 한 열에 대응한다고 보여준다. [03:55]
• Astra가 처음 확인한 연습 문제 96개 중 11개는 정답이었고 85개는 토큰 한도에 도달했다. 이후 동일 문제를 정상적으로 이어가는 텍스트와 반복하는 텍스트의 내부 상태 차이로 반복 방향을 구성했다. [04:38]

3. 대조 실험을 거쳐 좁혀간 편집

• 뉴런 하나를 끈 초기 실험은 표본이 작아 결론적이지 않았다. 이후 15·19층의 출력에서 반복 방향을 빼자 새로운 문제 128개에서 정답이 11개에서 42개로 늘었고, 편집 강도를 높이며 효과를 비교했다. [05:07]
• 같은 크기의 무작위 방향 편집에서는 비슷한 개선이 없었다. 최종적으로 두 층에서 반복 방향에 크게 기여하는 뉴런을 각각 64개 골라 강도 6으로 수정했으며, 변경한 값은 총 131,072개였다. [05:42]
• 수정 선택에 사용하지 않은 연습 문제 1,152개에서 정확도는 10.6%에서 60.4%로 상승했다. 정답 응답은 여전히 보통 9,000토큰을 넘겨, 단순히 사고를 일찍 끊는 방식으로 설명되지는 않았다. [06:01]

4. 벤치마크 개선과 재현 근거

• Math 500은 7.9%에서 48.1%, GSM 8K는 13.8%에서 67.1%, 지시 이행 평가는 21%에서 62.3%, GPQA Diamond는 22.7%에서 36.6%로 올랐다. 영상은 여러 작업에서 답변을 끝내게 된 효과로 해석한다. [06:57]
• 순전파 10회·25회 조건의 Math 500은 각각 12.3%·14.1%에 그쳤고, 각 실행은 서로 다른 수정을 선택했다. 50회 조건에서도 토큰 한도 도달률은 33.1%로 남았다. [07:38]
• 연구진은 프롬프트·응답·코드·순전파 로그를 공개했다. Hugging Face 측 외부 재현에서는 Math 500 51%, 토큰 한도 도달률 31.6%가 보고됐다. [08:24]

5. 기존 기법, 프롬프트 힌트, 부작용

• 영상에 인용된 연구자들은 반복 방향을 찾아 가중치에서 제거한 과정을 기존 기계적 해석가능성 기법으로 평가한다. 원시 가중치를 보기만 해서 해결한 것으로 받아들이면 실험 과정을 오해하게 된다는 지적도 보여준다. [09:02]
• 작업 프롬프트에는 반복하며 끝내지 못하는 문제를 고쳐도 된다는 힌트가 있었다. 저자들도 반응이 과열됐다고 평가했으며, 11월 3일 요약 첫 문장에 도구와 알고리즘을 명시했다고 전해진다. [09:41]
• 별도 외부 평가에서는 도구 호출 정답이 292/400에서 261/400으로 감소했다. 영상은 성과의 핵심을 범용 모델이 기법을 선택하고 실행하며 대조 실험까지 수행한 데서 찾는다. [10:12]

6. Gemma의 실패와 다른 가중치 실험

• 반복이 드문 Gemma 3 270M에서는 Math 500 초기 점수 6.8%가 편집으로 약 1%포인트 이상 개선되지 않았다. 영상은 가중치 편집이 기존 능력을 가리는 장애는 줄일 수 있어도 부족한 능력을 추가하지는 못했다고 해석한다. [11:18]
• 다른 실험에서는 작은 게임 신경망의 원시 가중치 17,253개를 텍스트로 주자 Astra가 네 게임을 모두 식별했다고 보여준다. 별도 모델을 이용한 외부 시도에서는 네 개 중 세 개를 맞혔다고 전해진다. [11:50]
• Astra가 한 번의 응답으로 가중치까지 작성한 게임 신경망은 Breakout에서 517.4점을 기록했고, 영상에 제시된 학습 에이전트보다 높은 성과를 냈다. 다만 다른 게임에서는 비교 대상에 뒤져 결과가 게임별로 달랐다. [12:33]

7. 직접 확인할 방법과 최종 판단

• 영상은 Hugging Face에서 원본과 수정 모델을 비교하고, 수정 모델을 내려받고, 공개 로그를 읽어보라고 제안한다. 데모의 실시간 탭은 응답 길이가 짧게 제한되므로 전체 길이의 기록도 함께 살펴보라고 안내한다. [13:04]
• 로그에서 가져갈 절차는 먼저 진단하고 원인을 찾은 뒤, 편집 강도를 비교하고 수정 선택에 쓰지 않은 문제로 검증하는 것이다. 다른 모델에 적용하려는 시도들은 영상 확인 시점에 검증되지 않았다고 덧붙인다. [13:24]
• 발표자는 조건별 단일 실행, 프롬프트 힌트, 약 20시간의 실행 시간, 외부 평가에서 발견된 부작용 때문에 아직 운영 모델에 적용하지 않겠다고 드러낸다. 끝으로 이번 성과를 추가 학습 없이 반복을 줄인 패치로 정리하고, 가중치 편집과 재학습 중 어떤 접근을 택할지 질문하며 마무리한다. [14:31]

🧾 결론

• 실험의 성과는 범용 모델이 기존 해석가능성 기법을 선택하고, 코드를 작성하고, 대조 실험을 거쳐 실제 가중치 패치를 완성했다는 데 있다.
• 수학 점수 상승은 반복을 줄여 답변을 끝내게 한 효과로 해석된다. 수정 후에도 약 3분의 1의 응답은 토큰 한도에 걸렸다.
• 공개 로그와 외부 재현은 결과를 검토할 근거를 제공하지만, 동료심사를 거치지 않은 초기 블로그 실험이며 조건별 반복 검증은 부족하다.
• Gemma에서의 실패와 도구 호출 성능 하락을 함께 보면, 이 편집을 다른 모델이나 모든 작업에 그대로 적용할 근거는 아직 제한적이다.

📈 투자·시사 포인트

• 모델 개발에서는 추가 학습 외에도 반복 같은 특정 실패 원인을 진단하고 가중치를 수정하는 접근을 검토할 수 있다.
• 실험 자동화의 가치는 최종 점수와 함께 평가 예산, 실행 시간, 대조 실험의 품질로 판단해야 한다. 영상의 50회 조건은 약 20시간이 걸렸다.
• 모델 도입 평가에는 수학 정확도뿐 아니라 답변 완성률, 지시 이행, 도구 호출을 함께 포함필요가 있다. 한 지표의 개선이 다른 기능의 개선을 보장하지 않았다.
• 영상이 제시하는 산업적 관심 지점은 AI의 연구 수행과 모델 유지보수 자동화다. 구체적인 사업 수익이나 투자 수익률을 판단할 자료는 제공되지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 연구는 동료심사 논문이 아닌 초기 블로그 결과이며, 순전파 예산별 실험이 각각 한 번씩 수행됐다. 실행 간 편차와 성공 확률은 확인되지 않았다.
• 작업 프롬프트에 반복과 미완료를 고치라는 힌트가 포함됐다. 힌트 없이도 같은 문제를 발견하고 같은 수준의 패치를 만들 수 있는지는 열려 있다.
• 외부 재현의 Math 500 점수는 51%였지만, 다른 외부 평가에서는 도구 호출이 292/400에서 261/400으로 하락했다. 평가 조건별 차이와 부작용의 범위를 확인해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 영상에서 안내한 원문 블로그와 GitHub 로그를 찾아 작업 프롬프트, 순전파 예산, 수정 코드, 평가 설정을 확인한다.
• Hugging Face 데모에서 원본과 수정 모델을 비교하되, 짧게 제한된 실시간 응답과 전체 길이의 기록된 응답을 구분해 살펴본다.
• 별도로 보관한 문제로 정확도와 토큰 한도 도달률을 함께 측정하고, 수정 선택에 사용한 문제와 평가 문제를 분리한다.
• 편집 강도별 비교와 같은 크기의 무작위 방향 대조 실험을 포함해 개선이 특정 방향의 수정에서 나오는지 확인한다.

❓ 열린 질문

• 반복 문제를 암시하는 프롬프트가 없어도 AI가 원인을 독립적으로 진단하고 유효한 가중치 편집을 찾아낼 수 있을까?
• 더 큰 모델이나 반복 이외의 실패 유형에서도 소수 가중치 편집이 안정적인 개선으로 이어질까?
• 수학 성능과 답변 완성률을 높이면서 도구 호출 성능 하락을 피할 편집 방향이나 강도를 찾을 수 있을까?