🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

대규모 언어모델은 인간 텍스트의 통계적 구조를 학습해 다음 토큰 확률을 계산하는 거대한 함수이며, 그 유용성과 한계는 이 목표와 불투명성에서 나온다.

📌 핵심 요약

• 글은 언어모델을 이해·추론·지식 같은 인지적 표현으로 설명하기보다, 입력 숫자열을 출력 숫자열로 바꾸는 거대한 함수로 보아야 한다고 주장한다.
• 트랜스포머의 핵심은 어텐션으로, 각 토큰이 주변 토큰들과의 관계에 따라 다르게 처리되도록 하며 문맥 민감성을 만든다.
• 학습 목표는 진실이나 유용성이 아니라 다음 토큰 예측 오류를 줄이는 것이며, 지식·추론처럼 보이는 능력은 이 최적화가 큰 규모에서 만든 부산물이다.
• 모델의 정답과 환각은 모두 인간 텍스트 분포에 맞춘 결과이며, 그럴듯함과 진실이 어긋날 때 모델은 거짓말을 하는 것이 아니라 훈련된 일을 수행하는 것이다.
• 해석가능성은 여전히 핵심 미해결 문제로, 일부 회로와 기능은 분석되고 있지만 대형 모델의 복잡한 출력이 어떻게 만들어지는지 완전한 기능적 설명은 아직 어렵다.

🧩 주요 포인트

1. 글은 언어모델을 이해·추론·지식 같은 인지적 표현으로 설명하기보다, 입력 숫자열을 출력 숫자열로 바꾸는 거대한 함수로 보아야 한다고 주장한다.
2. 트랜스포머의 핵심은 어텐션으로, 각 토큰이 주변 토큰들과의 관계에 따라 다르게 처리되도록 하며 문맥 민감성을 만든다.
3. 학습 목표는 진실이나 유용성이 아니라 다음 토큰 예측 오류를 줄이는 것이며, 지식·추론처럼 보이는 능력은 이 최적화가 큰 규모에서 만든 부산물이다.
4. 모델의 정답과 환각은 모두 인간 텍스트 분포에 맞춘 결과이며, 그럴듯함과 진실이 어긋날 때 모델은 거짓말을 하는 것이 아니라 훈련된 일을 수행하는 것이다.
5. 해석가능성은 여전히 핵심 미해결 문제로, 일부 회로와 기능은 분석되고 있지만 대형 모델의 복잡한 출력이 어떻게 만들어지는지 완전한 기능적 설명은 아직 어렵다.

🧠 상세 정리

1. 인지적 표현이 만드는 혼란

글은 인공지능 분야에서 모델이 이해한다, 추론한다, 배운다, 안다고 말하는 습관이 실제 작동 방식을 흐리게 만든다고 지적한다. 이런 단어들은 인지과학에서 빌려온 표현이지만, 신경망 내부에서 실제로 일어나는 수학적 변환을 설명하는 데에는 오해를 낳을 수 있다. 저자는 그래서 인상적인 은유를 내려놓고 기계 자체에서 다시 출발하자고 제안한다. 핵심은 언어모델을 인간 같은 지능으로 먼저 해석하지 말고, 입력을 받아 확률 분포를 출력하는 함수로 보는 것이다.

2. 신경망과 언어모델의 기본 정체

저자에게 신경망은 매우 많은 조정 가능한 매개변수를 가진 함수다. 대규모 언어모델의 입력은 텍스트 조각인 토큰을 정수로 인코딩한 sequence이고, 출력은 다음에 올 토큰의 확률 분포다. 이 함수는 여러 층의 단순 연산으로 구성되며, 각 층은 선형 변환과 비선형 변환을 거쳐 다음 층으로 값을 전달한다. 따라서 겉보기에는 복잡한 언어 능력을 보이더라도, 기본 작동은 숫자열을 받아 다른 숫자열을 내놓는 계산 과정이라는 점이 글의 출발점이다.

3. 어텐션과 문맥 처리

현대 트랜스포머가 특별한 이유는 각 토큰을 처리하기 전에 다른 모든 토큰과의 관계를 반영하는 어텐션을 사용하기 때문이다. 어텐션은 각 토큰에 대해 주변 토큰들의 표현을 가중합으로 계산하며, 그 가중치는 입력 자체에서 산출된다. 이 구조 덕분에 같은 단어라도 주변 문맥에 따라 다른 방식으로 처리될 수 있으며, 글은 bank가 river와 함께 있을 때와 money와 함께 있을 때 달라지는 예를 든다. 다만 어텐션 연산 자체는 학습된 투영 행렬의 점곱과 softmax로 이루어진 명확한 계산이며, 진짜 어려운 문제는 학습 후 그 투영들이 무엇을 나타내는지 이해하는 데 있다.

4. 학습 목표는 다음 토큰 예측

학습은 무작위에 가까운 초기 매개변수를 가진 거대한 함수에 텍스트를 넣고, 각 위치에서 다음 토큰을 예측하게 하는 과정으로 설명된다. 모델의 예측 분포와 실제 다음 토큰 사이의 cross-entropy loss를 계산한 뒤, 그 오차를 줄이는 방향으로 모든 매개변수를 조금씩 조정한다. 이 과정을 수조 개의 토큰에 반복하면 매개변수는 무작위 상태에서 벗어나 인간 텍스트의 규칙성을 반영하는 구조를 갖게 된다. 중요한 점은 최적화 대상이 진실, 유용성, 일관성 자체가 아니라 오직 다음 토큰 예측이라는 것이다.

5. 지식과 환각의 같은 뿌리

모델이 프랑스의 수도가 파리라고 답할 때, 저자는 이것이 데이터베이스에서 사실을 꺼내는 일이 아니라고 설명한다. 모델은 주어진 토큰열 뒤에 Paris가 올 확률이 매우 높다고 계산할 뿐이며, 그 답이 맞는 이유는 인간 텍스트에서 해당 연관이 강하게 나타나기 때문이다. 따라서 모델의 정확성은 현실을 직접 검증한 결과가 아니라 인간의 정확성이 텍스트 분포에 남긴 통계적 그림자다. 환각도 같은 구조에서 나온다. 그럴듯한 문장과 참인 문장이 어긋날 때, 모델은 거짓말하거나 혼란스러워하는 것이 아니라 그럴듯한 다음 토큰을 생성하도록 훈련된 대로 작동한다.

6. 트랜스포머 내부 구성요소

글은 트랜스포머를 토큰 임베딩, 위치 정보, 어텐션, feed-forward layer, residual stream 같은 구성요소로 나누어 설명한다. 토큰 임베딩은 각 토큰을 고차원 벡터로 바꾸는 lookup table이며, 위치 인코딩이나 rotary position embedding은 토큰이 sequence 안에서 어디에 있는지 알려준다. 어텐션은 query, key, value 투영을 만들고, query와 key의 점곱을 softmax 처리해 value 벡터들의 가중합을 계산한다. 이후 feed-forward layer는 각 토큰에 독립적으로 적용되는 큰 MLP로 작동하며, 어텐션이 정보를 경로화한다면 MLP는 그 정보를 변환하는 역할을 한다고 정리된다.

7. 규모가 만드는 성능과 그 한계

더 큰 모델과 더 많은 데이터가 대부분의 과제에서 더 좋은 성능을 보인다는 점은 경험적으로 관찰된다. 글은 scaling laws가 정해진 compute budget 안에서 모델 크기와 학습 토큰 수를 어떻게 배분할지에 대한 compute-optimal recipe를 제공한다고 설명한다. 예컨대 70B 매개변수 모델은 compute-optimal 관점에서 약 1.4조 토큰으로 학습되어야 한다는 식의 관찰이 제시된다. 그러나 규모가 커져도 모델의 근본적 성격이 바뀌는 것은 명확하지 않다. 70B 모델도 7B 모델과 같은 종류의 연산을 수행하되, 훨씬 더 큰 용량으로 복잡한 패턴을 표현할 수 있을 뿐이라는 것이 글의 신중한 결론이다.

8. RLHF와 선호 정렬의 한계

사전학습된 원시 모델은 학습 데이터의 다양한 텍스트 스타일을 이어 쓰기 때문에 곧바로 유용한 답변 도구로 쓰기 어렵다. 이를 보정하기 위해 RLHF는 인간 평가자가 두 모델 출력 중 더 나은 것을 고르게 하고, 그 선호를 예측하는 보상 모델을 학습시킨 뒤, 언어모델을 그 보상에 맞춰 fine-tuning한다. 하지만 이 절차가 직접 학습하는 것은 진실이 아니라 평가자의 선호다. 평가자가 자신감 있는 답을 선호하면 모델은 더 자신감 있게 말하는 법을 배우고, 긴 답을 선호하면 장황해지는 법을 배울 수 있다. 글은 이를 RLHF 비판이라기보다, 이 기법이 보장할 수 있는 것과 없는 것에 대한 구조적 관찰로 제시한다.

9. 해석가능성과 올바른 정신 모델

저자는 대형 모델의 가장 큰 미해결 문제로 해석가능성을 든다. 기계론적 해석가능성 연구는 특정 attention head가 이전 토큰 출현을 찾거나 간접목적어를 감지하거나 패턴을 복사하는 등 제한된 연산을 수행한다는 구조를 발견해 왔다. 그러나 복잡한 reasoning task에서 입력이 출력으로 이어지는 전체 인과 사슬을 완전히 설명하는 단계에는 이르지 못했다. 모델은 물리적으로 접근 불가능한 black box는 아니며 모든 weight를 읽을 수 있지만, 수십억 매개변수에 분산된 표현이 기능적으로 불투명하다는 점이 문제다. 따라서 적절한 정신 모델은 인간 텍스트의 통계 구조를 고차원적으로 압축한 함수가 context window 안의 정보로 한 번의 forward pass를 수행하며, 토큰별 확률 분포를 생성한다는 것이다.

🧾 핵심 주장 / 시사점

• 언어모델의 유용성을 인정하더라도, 그 유용성이 진실을 직접 학습한 결과가 아니라 텍스트 분포 예측의 부산물이라는 구분이 중요하다.
• 환각, 불일치, 적대적 프롬프트 취약성은 단순 구현 버그라기보다 모델의 학습 목표와 내부 표현의 불투명성에서 비롯되는 구조적 문제로 제시된다.
• 모델을 인간적 이해의 비유로 설명하기보다 함수, 확률 분포, 어텐션, residual stream, 학습 objective로 설명할 때 능력과 한계를 더 정확히 판단할 수 있다.

✅ 액션 아이템

• 언어모델을 지식·추론의 인지 장치가 아닌 입력 수열을 출력 수열로 바꾸는 거대한 함수로 규정하고, 이후 해석 전제를 이 정의로 통일한다.
• 트랜스포머의 어텐션이 주변 토큰 관계에 따라 처리를 바꿔 문맥 민감 출력을 만든다는 점을 반영해 결과 리뷰에서 토큰 상호작용 차이를 점검한다.
• 모델의 학습 목표를 다음 토큰 예측 오차 최소화로 두고, 정답·환각 모두를 텍스트 분포 적합성 산출로 분류해 신뢰성 판단 기준을 정리한다.

❓ 열린 질문

• 거짓처럼 보이는 출력이 실제로는 훈련 목표를 수행한 결과일 때, 어느 범위를 허용 가능한 결과로 받아들일 것인가?
• 해석가능성 한계로 완전 기능 설명이 어렵다면, 어떤 기준으로 대규모 모델의 부분 회로 분석만으로도 판단을 멈추거나 지속할 것인가?
• 다음 토큰 예측 손실 최소화 기반 학습에서 드러나는 지식·추론의 부산물 성격을 어떤 방식으로 품질 평가에 반영해 판단할 것인가?