“We were looking at it wrong”: The explosive claim that’s upended the AI world

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Goodfire의 Nick Cammarata는 신경망이 예상보다 이해하기 쉬울 수 있다고 주장했지만, 단순한 모델의 뉴런 재해석이 최신 LLM 전체의 이해로 이어지는지는 아직 엄밀한 검증이 필요하다.

📌 핵심 요약

• Goodfire의 Nick Cammarata는 2만6000단어 분량의 블로그 글에서 신경망 내부에 사람이 이해할 수 있는 논리가 있으며, LLM의 이해·감시·통제가 기존 예상보다 쉬울 수 있다는 낙관론을 제시했다.
• Cammarata는 2020년 연구한 Inception v1에서 자동차와 고양이 모두에 반응하던 뉴런을 다시 살펴보고, 무관한 개념의 중첩 대신 두 이미지에 공통으로 나타나는 V자 형태에 반응한다는 해석을 내놓았다.
• Cammarata는 LLM을 완전히 이해했다는 주장이 아니라 완전한 이해가 불가능하다는 비관론에서 벗어났다는 입장이다. 혼자서는 최첨단 언어 모델을 이해하는 데 10만 년이 걸리더라도, 대규모 AI 에이전트가 분석을 가속할 수 있다고 기대한다.
• Inception v1은 Google이 2014년 만든 모델로 최신 LLM보다 훨씬 단순하며, Cammarata 측의 현대 LLM 연구 기술 결과는 공개 예정 상태다. Stanford University의 Chris Potts는 수천 사례의 관찰도 엄밀한 평가를 대신할 수 없다고 지적했다.
• Alignment Research Center의 Jacob Hilton은 최상위 LLM 내부 작동에 대한 이해가 0.01% 미만이라고 지적했고, Google DeepMind의 Neel Nanda도 개별 뉴런 해석을 전체 해석 가능성의 중대한 진전으로 확대하는 데 반대했다. Cammarata 역시 뉴런 조합과 회로에 관한 미해결 문제가 남아 있음을 인정했다.

🧩 주요 포인트

1. 자동차·고양이 뉴런의 V자 형태 재해석 → 무관한 개념이 뒤섞였다는 기존 판단을 공통 패턴의 관점에서 재검토할 필요성을 제기한다.
2. 단순한 Inception v1의 사례와 공개 예정인 현대 LLM 연구 → 최신 LLM의 이해·감시·통제에 대한 기대는 일반화 가능성과 엄밀한 평가에 달려 있다.
3. 개별 뉴런의 의미와 뉴런 조합·회로의 작동 사이의 간극 → 관찰 가능한 부분이 늘어나는 것과 모델 전체를 설명하는 성과를 구분해야 한다.

🧠 상세 정리

1. 신경망을 이해할 수 있다는 주장과 뜨거운 반응

Goodfire 연구자 Nick Cammarata는 신경망의 본질에 좋은 소식이 있다는 말로 시작하는 2만6000단어 분량의 블로그 글을 공개했고, AI 연구계에서 큰 반향을 일으켰다. 그의 주장은 LLM이 기존 예상보다 훨씬 이해하기 쉬울 수 있으며, 그렇다면 감시와 통제도 쉬워질 수 있다는 것이다. 기사는 OpenAI와 Anthropic 같은 기업의 에이전트 무리가 통제 범위를 벗어나 공공 인터넷에서 문제를 일으켰고 기업들이 그 활동을 모르는 경우도 있었다는 여름의 보도들을 이러한 기대의 배경으로 제시한다. 일부 연구자는 이를 과학사의 중요한 순간이나 올해 가장 중요한 AI 논문이라고 평가했지만, Stanford University의 Chris Potts는 아직 직감에 가까운 주장이라며 문제가 쉬워졌다는 근거를 찾기 어렵다고 반박했다. Cammarata 자신도 사람들이 예상보다 크게 생각을 바꾼 데 놀랐다며, 오랫동안 신경망을 관찰한 끝에 희망적인 이야기를 갖게 됐다고 설명했다.

2. 중첩이 만든 ‘뒤엉킨 신경망’이라는 기존 관점

신경망은 학습 과정에서 사람이 이해하기 어려운 복잡한 내부 구조를 형성하므로, 그 작동 원리를 완전히 풀어내기 어렵거나 불가능할 수 있다는 견해가 오랫동안 받아들여졌다. Cammarata는 OpenAI에서 개별 뉴런이 무엇을 나타내는지 들여다보는 기법을 개척하며 이러한 인식의 형성에 직접 기여했고, 기사는 이 접근인 기계론적 해석 가능성을 MIT Technology Review가 2025년 주목할 10대 기술 중 하나로 선정했다고 소개한다. 2020년 그와 동료들이 작은 이미지 인식 모델 Inception v1을 조사했을 때는 하나의 뉴런이 자동차와 고양이 이미지 모두에 반응하는 현상이 관찰됐다. 연구진은 모델이 더 많은 정보를 담기 위해 일부 뉴런에 여러 역할을 맡긴다고 해석했으며, 다른 모델의 관찰도 무관한 개념을 단일 뉴런에 겹쳐 넣는다는 중첩 관점을 뒷받침하는 듯했다. 이후 연구는 이 매듭을 푸는 방법에 집중했지만 진전은 느렸고, 최신 LLM에서는 작은 부분만 이해할 수 있어 Cammarata를 포함한 일부 연구자도 세밀한 전체 이해의 가능성을 비관했다.

3. 장기간의 관찰이 바꾼 해석의 출발점

Goodfire에서 Cammarata는 새로운 도구를 만들고 AI 에이전트 팀을 활용하면서 신경망 내부를 관찰하는 데 대부분의 시간을 썼다. 그는 지난 1년의 대부분을 일주일 내내 하루 약 10시간씩 뉴런을 살펴보며 보냈다고 설명하고, 처음에는 무의미해 보이던 구조에서도 논리를 발견하기 시작했다고 주장한다. 그의 설명에 따르면 Inception v1 같은 초기 모델에서 얻은 경험은 연구자들이 새로운 모델에서도 혼란스러운 구조를 예상하도록 만드는 일종의 확증 편향으로 작용했다. 자신도 이해하지 못하는 현상을 만날 때마다 별도의 중첩 해소 과정이 더 필요하다고 받아들였지만, 이제는 관찰을 조금 더 지속하면 패턴을 파악할 수 있다고 생각하게 됐다는 것이다. 모든 뉴런이 명료한 것은 아니지만 거의 아무것도 읽어낼 수 없을 것이라는 예상과 달리 회로 전체를 그려볼 수 있었다는 그의 경험이, 신경망을 바라보는 관점을 바꾸는 계기가 됐다.

4. 자동차와 고양이를 연결한 V자 형태

Cammarata는 새로운 접근과 에이전트를 활용해, 과거 수천 시간 동안 연구했던 Inception v1을 다시 살펴봤다. 자동차와 고양이가 왜 하나의 뉴런에 함께 담겼는지 묻는 대신 두 대상에 어떤 공통점이 있는지 찾자, 고양이 얼굴과 옆에서 본 자동차 앞부분에 나타나는 V자 형태가 눈에 들어왔다고 설명한다. 그는 같은 이미지를 보았고 기술적인 변화도 없었지만, 신경망이 패턴을 정의한다는 관점으로 전환하자 약 5초 만에 이 해석에 도달했다고 말했다. 추가 실험에서는 당구대 모서리, 일본 고속열차의 뾰족한 앞부분, 갑판에서 공중으로 물을 쏘는 소방선 이미지도 해당 뉴런을 활성화하는 것으로 나타났다. 반대로 둥근 O자 형태의 이미지에서는 뉴런의 활성이 억제됐는데, 그는 이를 일종의 반대되는 형태로 해석했다. 이 사례를 통해 Cammarata는 자동차와 고양이가 어떤 수준에서는 비슷하게 보이기 때문에 함께 처리됐을 수 있으며, 자신이 신경망 자체를 잘못 이해해 왔을 가능성을 생각하게 됐다.

5. 완전한 이해의 가능성과 AI 에이전트에 대한 기대

Cammarata는 자신이 LLM이나 다른 모델의 작동 방식을 이미 완전히 이해했다고 주장하지 않는다. 바뀐 것은 완전한 이해를 위해 매우 어려운 문제들을 먼저 해결해야 한다는 기존 생각이며, 이제는 충분한 관찰을 통해 이해에 도달할 가능성이 있다고 본다. 그는 최첨단 언어 모델을 회로 하나씩 들여다보는 데 10만 년을 쓸 수 있다면 상당한 이해를 얻을 가능성이 꽤 높다고 느낀다는 가정으로 자신의 입장을 설명했다. 이어 매우 똑똑한 에이전트를 대규모로 활용할 수 있게 되면, 개인에게 10만 년이 걸릴 분석도 훨씬 빠르게 수행할 수 있으리라고 기대했다. 따라서 그의 낙관론은 개별 뉴런과 회로가 해석 가능하다는 판단, 그리고 자동화된 과학자가 그 관찰을 크게 가속할 것이라는 전망이 결합된 것이며, 실제 LLM 전체의 이해가 달성됐다는 결과와는 구분된다.

6. 최신 LLM으로의 일반화와 엄밀한 평가 문제

기사는 Inception v1이 Google이 2014년에 만든 모델이며, 오늘날 최첨단 모델보다 훨씬 단순하다는 점을 강조한다. 따라서 이 모델에서 자동차와 고양이 뉴런을 설득력 있게 재해석한 경험만으로 현대 LLM에서도 같은 수준의 이해가 가능하다고 결론 내리기는 어렵다는 문제가 남는다. Cammarata와 동료들은 현대 LLM을 조사하기 시작했고 기술적 연구 결과를 조만간 공개할 계획이지만, 기사 시점에는 많은 연구자가 그 세부 내용을 기다리고 있었다. Chris Potts는 Cammarata가 수천 사례를 살펴본 점은 인정하면서도, 관찰 사례가 많다는 사실이 엄밀한 평가를 대신하지는 못한다고 지적했다. 그의 비판은 이 관점이 흥미로운 가능성을 제기하는지와 별개로 실제 해석 문제를 더 쉽게 해결하는지 입증해야 한다는 데 있으며, 현재 공개된 주장만으로 포괄적인 돌파구라고 평가하는 반응에 거리를 둔다.

7. 뉴런 해석과 모델 전체 이해 사이의 간극

Berkeley의 비영리 연구기관 Alignment Research Center 소속이며 Cammarata와 협업한 적이 있는 Jacob Hilton은 이번 주장의 중요성이 과장되고 있다고 비판했다. 그는 최상위 LLM 내부 작동에 관해 연구자들이 이해하는 비율이 0.01% 미만이라고 지적하며, 대중에게 연구 분야의 현황에 대한 비현실적인 인상을 줄 수 있다고 말했다. Hilton이 강조한 과제는 뉴런을 넘어 이들이 어떻게 연결돼 회로를 이루는지 설명하는 것으로, 완전한 이해를 목표로 보면 상황이 좋지 않다는 입장이다. Cammarata와 함께 기계론적 해석 가능성 연구를 개척한 Google DeepMind의 Neel Nanda도 흥미로운 연구이지만 분야 전체의 전망을 크게 바꾸는 진전은 아니라고 평가했다. Nanda는 개별 뉴런의 기능을 이해하면 특정 모델이 잘못 행동하는 이유를 파악하는 데 도움이 될 수 있다는 점에는 동의했다. 그러나 뉴런은 훨씬 큰 퍼즐의 일부이므로, 이를 야심찬 역공학이나 해석 가능성 문제 해결을 향한 상당한 진전으로 확대하는 해석에는 반대했다.

8. 남은 문제를 인정하면서 제시한 안전 연구의 희망

Cammarata도 일부 사람들이 자신의 주장을 지나치게 확대했으며, 이번 이야기가 무한히 좋은 소식이거나 모든 문제의 해결을 뜻하지는 않는다고 인정했다. 특히 개별 뉴런을 하나씩 보는 것에 비해 뉴런들의 조합이 얼마나 중요한지 등 여러 열린 문제가 남아 있다고 말했다. 그는 강력한 모델의 위험을 걱정하는 AI 안전 연구자와 정책 입안자들이 현재 희망을 찾고 있으며, 자신의 글이 그런 시기에 공개됐기 때문에 크게 받아들여졌다고 해석한다. 그의 설명에 따르면 이 공동체에서는 상황이 나쁘게 흘러가고 있고 결과가 괜찮더라도 문제를 해결해서가 아니라 운이 좋았기 때문일 것이라는 생각이 강해 낙관론을 듣기 어렵다. Cammarata가 제시하는 결론은 기술을 이해하고 통제하는 작업이 이제 막 시작됐지만 애초에 불가능한 일은 아닐 수 있다는 것으로, 신경망처럼 생각하려 노력하면 읽어낼 수 있으리라는 그의 기대는 여전히 검증이 필요한 전망으로 남는다.

🧾 핵심 주장 / 시사점

• V자 형태 사례는 같은 관찰도 질문을 어떻게 설정하느냐에 따라 다르게 해석될 수 있음을 보여준다. 다만 하나의 재해석이 중첩이라는 설명 전체를 반박하는지는 별개의 문제다.
• AI 에이전트가 관찰 속도를 높일 수 있다는 기대와 관찰 결과가 모델의 작동을 정확히 설명한다는 입증은 서로 다른 과제다. 분석의 규모가 커져도 엄밀한 평가의 필요성은 남는다.
• 논쟁의 핵심은 개별 뉴런에서 의미를 찾을 수 있는지뿐 아니라, 그 의미를 연결해 회로와 모델 전체의 행동을 설명할 수 있는지에 있다.

✅ 액션 아이템

• 공개 예정인 현대 LLM 연구 기술 결과를 통해 Inception v1 관찰의 일반화 가능성과 엄밀한 평가 근거를 검토한다.
• 자동차·고양이 뉴런의 V자 형태 재해석이 무관한 개념의 중첩이라는 기존 판단을 얼마나 바꾸는지 살펴본다.
• LLM의 이해·감시·통제에 대한 기대를 평가할 때 개별 뉴런 해석과 뉴런 조합·회로의 작동 설명을 구분한다.

❓ 열린 질문

• Inception v1의 V자 형태 재해석은 최신 LLM에서도 일반화될 수 있는가?
• 대규모 AI 에이전트는 Cammarata가 혼자서는 10만 년이 걸릴 수 있다고 본 분석을 얼마나 가속할 수 있는가?
• 개별 뉴런의 의미를 이해하는 데서 뉴런 조합·회로와 LLM 전체의 작동을 설명하는 단계로 나아가려면 무엇이 더 필요한가?