Understanding neural networks through sparse circuits

🖼️ 인포그래픽

Understanding neural networks through sparse circuits 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 대부분의 가중치를 0으로 제한한 희소 신경망을 훈련해, 일부 단순 행동이 작고 분리된 회로로 구현되며 해당 회로를 사람이 추적할 수 있음을 보였다.

📌 핵심 요약

신경망은 수십억 개의 가중치를 학습하며 행동을 형성하기 때문에, 사람이 내부 계산을 명시적인 단계로 해독하기 어렵다.
연구진은 사후적으로 밀집 신경망을 해석하는 대신, 처음부터 뉴런 사이 연결 대부분을 제거한 크고 희소한 모델을 훈련해 계산을 분리하려 했다.
간단한 알고리즘 과제별로 성능을 유지하는 최소 회로를 추출한 결과, 모델을 더 크게 만들면서 희소성을 높이면 능력과 해석 가능성을 함께 개선할 수 있는 경향이 나타났다.
파이썬 문자열의 닫는 따옴표 예제에서는 소수의 잔차 채널, MLP 뉴런, 어텐션 채널만으로 여는 따옴표의 종류를 찾아 동일한 닫는 따옴표를 예측하는 회로를 확인했다.
다만 실험 모델은 최첨단 모델보다 훨씬 작고 내부 계산의 상당 부분이 아직 해석되지 않았으며, 연구진은 기존 밀집 모델에서 희소 회로를 추출하거나 더 효율적인 해석 가능성 중심 훈련법을 개발하는 방안을 제시했다.

🧩 주요 포인트

신경망은 수십억 개의 가중치를 학습하며 행동을 형성하기 때문에, 사람이 내부 계산을 명시적인 단계로 해독하기 어렵다.
연구진은 사후적으로 밀집 신경망을 해석하는 대신, 처음부터 뉴런 사이 연결 대부분을 제거한 크고 희소한 모델을 훈련해 계산을 분리하려 했다.
간단한 알고리즘 과제별로 성능을 유지하는 최소 회로를 추출한 결과, 모델을 더 크게 만들면서 희소성을 높이면 능력과 해석 가능성을 함께 개선할 수 있는 경향이 나타났다.
파이썬 문자열의 닫는 따옴표 예제에서는 소수의 잔차 채널, MLP 뉴런, 어텐션 채널만으로 여는 따옴표의 종류를 찾아 동일한 닫는 따옴표를 예측하는 회로를 확인했다.
다만 실험 모델은 최첨단 모델보다 훨씬 작고 내부 계산의 상당 부분이 아직 해석되지 않았으며, 연구진은 기존 밀집 모델에서 희소 회로를 추출하거나 더 효율적인 해석 가능성 중심 훈련법을 개발하는 방안을 제시했다.

🧠 상세 정리

1. 해석하기 어려운 신경망의 내부 구조

오늘날의 강력한 인공지능을 구동하는 신경망은 사람이 단계별 명령을 직접 작성해서 만드는 시스템이 아니다. 모델은 과제를 익힐 때까지 수십억 개의 내부 연결인 가중치를 조정하며, 개발자는 훈련 규칙을 설계하지만 그 과정에서 구체적으로 어떤 행동이 출현할지는 직접 지정하지 않는다. 그 결과 모델 내부에는 사람이 쉽게 판독하기 어려운 조밀한 연결망이 형성되고, 개별 뉴런도 여러 기능을 동시에 수행하는 것으로 보인다. 과학·교육·의료처럼 현실의 중요한 결정에 인공지능이 영향을 미치는 범위가 커질수록, 특정 출력이 왜 생성됐는지 이해하는 해석 가능성은 감독과 안전 평가를 위한 핵심 과제가 된다.

2. 사고 과정 관찰과 기계론적 해석의 차이

추론 모델은 최종 답에 도달하는 과정에서 자신의 작업을 설명하도록 유도되며, 사고 과정 해석은 이 설명을 이용해 모델의 행동을 감시한다. 현재 추론 모델이 보여주는 사고 과정은 기만과 같은 우려스러운 행동을 파악하는 데 유용한 정보를 제공하지만, 연구진은 이 특성에 전적으로 의존하는 전략이 취약하며 시간이 지나면서 작동하지 않을 수 있다고 지적한다. 이 연구가 초점을 맞춘 기계론적 해석은 모델의 실제 계산을 가장 세밀한 수준에서 역공학해 행동을 설명하려는 접근이다. 기계론적 해석은 당장 활용하기는 더 어렵고 저수준 계산에서 복잡한 행동 설명까지 이르는 경로도 길지만, 더 적은 가정으로 모델 행동을 설명하고 더 높은 확신을 제공할 가능성이 있다.

3. 처음부터 희소하게 훈련하는 핵심 가설

기존의 기계론적 해석 연구는 각 뉴런이 수천 개의 다른 뉴런과 연결된 밀집 신경망에서 출발해 뒤엉킨 계산을 사후적으로 풀어내려 했다. 연구진은 반대로 뉴런 수는 더 많더라도 각 뉴런이 수십 개 정도의 연결만 갖는 신경망을 처음부터 훈련하면, 내부 계산 자체가 더 단순하고 이해하기 쉬워질 수 있다고 보았다. 이를 시험하기 위해 GPT-2와 매우 유사한 구조의 언어 모델을 사용하되, 가능한 가중치 대부분을 0으로 강제하는 작은 변경을 적용했다. 일반적인 밀집 모델에서는 한 층의 뉴런이 다음 층의 모든 뉴런과 연결되지만, 이 희소 모델에서는 각 뉴런이 다음 층의 일부 뉴런하고만 연결되므로 모델이 사용할 수 있는 계산 경로가 크게 제한된다.

4. 최소 회로를 이용한 해석 가능성 평가

연구진은 희소 모델의 계산이 실제로 얼마나 분리됐는지를 측정하기 위해 여러 단순한 모델 행동을 선정하고, 각 행동을 담당하는 부분을 독립적인 회로로 격리할 수 있는지 조사했다. 직접 구성한 알고리즘 과제 모음마다 모델이 해당 과제를 계속 수행할 수 있는 가장 작은 회로가 남을 때까지 모델을 가지치기한 뒤, 그 회로가 얼마나 단순한지 살펴봤다. 실험에서는 더 크고 더 희소한 모델을 훈련할수록 능력이 향상되는 동시에 개별 과제를 수행하는 회로도 더 단순해지는 결과가 나타났다. 같은 희소 모델 크기에서는 가중치를 더 많이 0으로 만들수록 능력은 낮아지고 해석 가능성은 높아졌지만, 전체 모델 크기를 키우면 능력과 해석 가능성 사이의 경계가 바깥쪽으로 이동해 두 특성을 함께 높일 여지가 확인됐다.

5. 파이썬 닫는 따옴표를 예측하는 희소 회로

구체적인 사례는 파이썬 코드를 학습한 모델이 문자열을 올바른 종류의 따옴표로 닫는 과제다. 작은따옴표로 시작한 문자열은 작은따옴표로, 큰따옴표로 시작한 문자열은 큰따옴표로 끝나야 하므로, 모델은 문자열을 연 따옴표의 종류를 기억했다가 끝에서 재현해야 한다. 가장 해석하기 쉬운 희소 모델에서는 수직 잔차 채널 다섯 개, 첫 번째 층의 MLP 뉴런 두 개, 열 번째 층의 어텐션 쿼리·키 채널 하나와 값 채널 하나만으로 이 알고리즘을 수행하는 회로가 나타났다. 이 회로는 두 따옴표를 서로 다른 채널에 부호화하고, 따옴표 존재 여부와 종류를 분류한 뒤, 어텐션으로 중간 토큰을 건너 이전 따옴표를 찾아 그 종류를 마지막 위치로 복사해 일치하는 닫는 따옴표를 예측한다.

6. 행동에 충분하면서도 필요한 연결

연구에서 회로라고 부르는 구조는 단순히 특정 행동과 상관관계가 있어 보이는 연결의 집합이 아니다. 닫는 따옴표 예제에서 표시된 소수의 연결만 남기고 모델의 나머지 부분을 제거해도 해당 과제를 계속 수행하므로, 이 회로는 행동을 구현하기에 충분하다. 반대로 이 회로를 구성하는 몇 개의 핵심 간선을 삭제하면 모델이 과제에 실패하기 때문에, 그 연결들은 행동에 필요한 요소이기도 하다. 이처럼 충분성과 필요성을 함께 확인한 결과는 희소 훈련으로 얻은 작은 회로가 모델의 판단을 사후적으로 설명하는 편의적 묘사가 아니라, 실제 계산을 수행하는 기제임을 보여주는 근거로 사용된다.

7. 변수 바인딩과 복잡한 행동의 부분적 설명

연구진은 닫는 따옴표처럼 단순한 행동뿐 아니라 변수 바인딩과 같이 더 복잡한 행동도 조사했다. 예시 회로에서는 current라는 변수의 형식을 알아내기 위해 한 번의 어텐션 연산이 변수가 정의될 때 변수 이름을 set() 토큰으로 복사하고, 이후 다른 어텐션 연산이 그 토큰에 연결된 형식을 변수의 후속 사용 위치로 전달한다. 모델은 이 전달 과정을 이용해 다음에 올 토큰을 올바르게 추론할 수 있다. 이러한 복잡한 회로는 모든 세부 계산을 완전히 설명하기가 더 어렵지만, 연구진은 모델 행동을 예측하는 데 사용할 수 있는 비교적 단순한 부분 설명은 여전히 얻을 수 있다고 보고한다.

8. 현재의 한계와 후속 연구 경로

이번 연구는 모델 계산을 더 쉽게 이해하려는 장기 목표의 초기 단계이며, 실험한 희소 모델은 최첨단 모델보다 훨씬 작고 내부 계산의 상당 부분도 아직 해석되지 않았다. 연구진은 앞으로 기법을 더 큰 모델로 확장하고 더 많은 행동을 설명하며, 능력 있는 희소 모델에서 복잡한 추론을 구성하는 반복적 회로 유형을 열거해 최첨단 모델 조사에 활용하는 방향을 제시한다. 희소 모델 훈련의 비효율성을 해결하는 방법으로는 기존 밀집 모델에서 희소 회로를 추출하는 경로와, 실제 제품에 적용하기 쉬운 효율적인 해석 가능성 중심 훈련 기법을 개발하는 경로가 언급된다. 다만 현재 결과가 더 강력한 시스템에도 그대로 확장된다는 보장은 없으며, 목표는 신뢰성 있게 해석할 수 있는 모델의 범위를 점진적으로 넓히고 향후 시스템을 분석·디버깅·평가하기 쉬운 도구를 구축하는 것이다.

🧾 핵심 주장 / 시사점

이 연구의 핵심 전환은 이미 형성된 밀집 신경망을 사후적으로 해독하는 데만 의존하지 않고, 훈련 단계에서 연결을 제한해 해석하기 쉬운 계산 구조가 나타나도록 만드는 데 있다.
희소성은 같은 크기의 모델에서 능력과 해석 가능성 사이의 절충을 만들지만, 모델의 전체 규모를 키운 실험에서는 더 높은 능력과 더 단순한 회로를 동시에 얻을 가능성이 관찰됐다.
단순 과제에서는 필요성과 충분성을 갖춘 작은 회로를 확인했지만 복잡한 행동은 부분적으로만 설명됐으므로, 현재 성과는 완전한 모델 해독이 아니라 해석 가능한 범위를 점진적으로 확대하기 위한 초기 근거다.