Stanford CME295 Transformers & LLMs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford CME295 2강은 대규모 언어 모델을 이해하려면 트랜스포머 구조부터 학습 규모·연산 비용·생성 방식·컨텍스트 관리까지 함께 봐야 한다는 점을 설명한다.

📌 핵심 요점

1. BERT와 GPT는 입력을 다루고 과제를 해결하는 방식이 다르다. BERT는 양방향 인코더로 문맥 표현을 학습하고 분류 등에 미세조정하며, GPT는 인과적 어텐션을 쓰는 디코더로 과제를 다음 토큰 생성으로 구성한다. BERT의 마스크 언어 모델링과 다음 문장 예측은 표현을 학습하기 위한 대리 과제다.
2. 모델 확대의 효과는 학습 토큰 수와 연산 예산에 달려 있다. 큰 모델은 토큰 효율이 높지만, 고정된 학습 연산 예산에서는 모델 크기와 데이터 규모의 균형이 중요하다. 학습에 최적인 구성과 실제 서비스 비용에 유리한 구성도 구분해야 한다.
3. 희소 MoE는 토큰마다 일부 전문가만 활성화해 계산 부담을 줄이는 접근이다. 라우터의 선택이 일부 전문가에 집중되면 학습 기회까지 쏠리는 라우팅 붕괴가 생길 수 있어, 부하 균형 보조 손실로 다양한 전문가의 활용을 유도한다. 공유 전문가는 공통 기능의 중복 학습을 줄이려는 설계다.
4. 위치 표현과 추론 구조는 긴 시퀀스를 처리하는 비용과 방식에 영향을 준다. ALiBi는 거리 기반 편향을, RoPE는 쿼리·키의 위치별 회전을 사용한다. 슬라이딩 윈도 어텐션은 직접 참조 범위를 제한하고, KV 캐시와 GQA는 이전 계산의 재사용 및 캐시 메모리 절약을 돕는다. Pre-norm과 RMSNorm은 정규화와 기울기 흐름을 다루는 설계다.
5. 생성 품질과 안정성은 토큰 선택 및 컨텍스트 운영에도 달려 있다. 최고 확률 선택과 beam search, top-k·top-p 샘플링, 온도는 서로 다른 선택 방식을 제공한다. 온도 0에서도 구현에 따라 결과가 달라질 수 있으며, 가이드 디코딩은 출력 구문을 제한한다. 긴 컨텍스트의 검색 저하와 예시 추가의 비용·과적합 가능성도 고려해야 한다.

🧩 배경과 문제 정의

• 텍스트를 수치로 처리하려면 토큰화와 임베딩이 필요하다. 문맥을 반영하지 못하는 Word2Vec과 과거 정보를 잊기 쉬운 RNN의 한계를 넘어, 트랜스포머는 어텐션으로 토큰 간 관계를 직접 연결한다.
• 기계번역에서 성과를 낸 인코더·디코더 구조를 다른 과제에 적용하면서, 입력의 표현을 만드는 BERT와 다음 토큰을 생성하는 GPT라는 두 접근이 발전했다.
• 모델과 학습 데이터를 늘리면 성능이 개선되지만 연산 자원은 제한된다. 모델 크기, 학습 토큰 수, 서비스 비용을 함께 고려해야 하며, 입력마다 모든 매개변수를 계산해야 하는지도 문제가 된다.

🕒 시간순 섹션별 상세정리

1. 토큰화와 문맥 표현에서 트랜스포머로의 전환

• 모델은 텍스트 자체가 아니라 숫자를 처리하므로, 먼저 텍스트를 토큰으로 나눈다. 서브워드 토큰화는 어휘 크기와 입력 시퀀스 길이 사이의 절충이 좋아 널리 사용된다 [01:20]
• 토큰을 임베딩으로 바꾸는 Word2Vec은 문맥을 반영하지 못하고, RNN은 과거 정보를 잊기 쉽다. 2017년의 「Attention Is All You Need」는 순환 구조를 없애고 토큰 사이의 직접 연결로 의미 있는 표현을 계산했다 [02:14]

2. 인코더는 입력을 표현하고 디코더는 출력을 생성한다

• 인코더는 입력 텍스트의 의미 있는 임베딩을 계산한다. 기계번역에서는 번역할 원문이 인코더의 입력이다 [04:08]
• 디코더는 이미 예측한 토큰들과 인코더가 만든 입력 임베딩을 참고하면서 출력 토큰을 하나씩 자기회귀적으로 생성한다 [04:36]

3. BERT의 양방향 어텐션과 분류용 표현

• 2018년에 등장한 BERT는 트랜스포머의 인코더만 사용한다. 셀프 어텐션을 통해 모든 입력 토큰이 서로를 참고하므로 양방향 문맥을 반영할 수 있다 [05:44]
• 입력에 추가한 CLS 분류 토큰도 모든 토큰과 상호작용한다. 따라서 CLS의 최종 임베딩을 입력 시퀀스 전체를 나타내는 표현으로 활용할 수 있다 [06:30]

4. 마스크 언어 모델링으로 문맥에서 토큰을 복원한다

• BERT의 첫 학습 단계인 사전학습은 특정 응용 과제보다 텍스트의 구조를 익히는 데 목적이 있다. 이를 위해 최종 목적을 직접 수행하지 않는 대리 과제를 사용한다 [08:05]
• 마스크 언어 모델링은 입력에서 일부 토큰을 무작위로 선택해 가리거나 손상시키고 원래 토큰을 예측한다. 실제 손상 방식은 편향을 줄이기 위해 단순 마스킹보다 복잡하다 [09:10]

5. 다음 문장 예측으로 문장 간 연결을 학습한다

• 다음 문장 예측인 NSP는 두 문장이 실제로 이어지는지 판별하는 과제다. 연속된 문장 쌍과 그렇지 않은 문장 쌍을 사용해 문장들의 연결 관계를 학습한다 [10:53]
• NSP의 목적은 개별 문장을 넘어 문서 수준의 구조를 익히는 것이다. 이러한 사전학습은 보통 많은 데이터와 비용이 필요하므로 한 번 수행한 뒤 다른 용도에 활용한다 [11:25]

6. 미세조정의 데이터 효율성과 생성의 한계

• 감성 분류에서는 CLS 임베딩을 긍정·부정 클래스에 연결하는 투영층을 사용한다. 정답 레이블이 있는 작은 데이터셋으로 가중치를 조정해 사전학습 표현을 원하는 과제에 맞춘다 [12:26]
• BERT는 양방향 문맥을 활용해 좋은 성능을 얻으며, 미세조정 데이터도 보통 수백 개 수준으로 많지 않아도 된다. 다만 별도의 미세조정을 수행해야 한다는 작업 부담은 남는다 [13:14]

7. GPT는 과제를 다음 토큰 생성으로 통일한다

• GPT는 Generative Pre-trained Transformer의 약자로, 디코더만 사용하고 과제를 텍스트 입력에서 텍스트 출력을 만드는 문제로 구성한다. 기본 동작은 다음 토큰을 하나씩 예측하는 자기회귀 생성이다 [15:19]
• 감성 분류도 “이 문장은 긍정인가, 부정인가?”라는 질문과 대상 문장을 입력하고 답을 생성하게 만들 수 있다. 이 접근에서는 미세조정이 필수 단계가 아니지만, 성능을 더 높이기 위해 사용할 수 있다 [16:04]

8. 입력 처리 방식이 두 생성 구조를 구분한다

• 인코더·디코더와 디코더 전용 모델은 모두 자기회귀적으로 텍스트를 생성한다. 차이는 입력 처리에 있으며, 인코더의 입력 토큰은 서로 양방향으로 상호작용하지만 디코더 전용 모델은 자신과 앞선 토큰만 참고하는 인과적 어텐션을 사용한다 [17:23]
• 원문과 번역문이 구분되는 기계번역에서는 입력을 별도 인코더로 처리하는 방식이 자연스럽다. 일반 텍스트 생성에서는 입력과 출력을 같은 방식으로 처리하는 디코더 전용 구조가 더 일반적이고 단순해 널리 채택됐다 [18:52]

9. 스케일링 법칙과 큰 모델의 토큰 효율

• 디코더 전용 모델은 규모를 키울수록 성능이 개선됐고, 2020년의 연구는 학습 토큰 수와 모델 크기에 따른 성능 개선을 법칙에 가까운 관계로 정량화했다. 이는 이후 모델과 학습 데이터를 계속 확대하는 근거가 됐다 [20:36]
• 큰 모델은 같은 성능에 도달하는 데 필요한 학습 토큰 수가 더 적어 토큰 효율도 높다. 제시된 그래프에서는 테스트 손실이 낮을수록 성능이 좋으며, 큰 모델이 더 적은 처리 토큰으로 낮은 손실에 도달하는 경향을 보인다 [21:45]

10. 제한된 연산 예산과 FLOPs의 의미

• 하드웨어와 연산량이 유한하므로, 주어진 예산을 모델 크기 확대와 학습 토큰 수 증가에 얼마나 배분할지 결정해야 한다 [22:09]
• FLOPs는 부동소수점 연산 횟수로 총연산량을 나타낸다. 언어 모델 학습 연산량의 규모 예시로 약 (10^{25})가 드러난다 [22:40]

11. 모델 크기와 학습 토큰 수의 최적 균형

• 2022년 연구는 정해진 연산 예산에서 모델 크기와 학습 데이터 크기 사이에 최적점이 있음을 보였다. 당시 많은 모델은 학습 토큰 수에 비해 지나치게 커서 충분히 학습되지 않은 상태였다 [24:10]
• 같은 연산 예산에서는 작은 모델을 더 많은 토큰으로 학습하는 편이 큰 모델을 적은 토큰으로 학습하는 것보다 좋은 성능을 냈다. 비교 수치는 기억에 따른 대략값으로, 작은 모델은 약 700억 매개변수와 약 1.4조 학습 토큰, 큰 모델은 2,000억여 매개변수 규모였다 [24:54]

12. 학습의 최적점과 서비스 비용은 다르다

• 학습 연산량에 최적인 구성만으로 실제 사용에 적합한 모델 크기가 결정되지는 않는다. 운영 환경에서 많은 요청을 처리해야 한다면 서비스 비용 때문에 모델을 지나치게 크게 만들지 않을 유인이 있다 [25:50]

13. 다음 토큰 예측의 손실과 데이터 품질

• 다음 토큰 예측에서는 예측이 실제 다음 토큰 레이블에 가까워지도록 학습하며, 제시된 성능 지표의 손실 함수는 교차 엔트로피다 [26:14]
• 데이터 품질의 중요성에 관한 연구들은 서로 다른 결론을 낸다. 사전학습에서는 품질보다 데이터 규모가 더 중요하다는 견해가 제시되며, 이후 학습 단계에서는 품질의 비중이 더 커진다는 구분이 붙는다 [26:42]

14. LLM의 규모와 디코더 전용 구조

• 언어 모델은 토큰 시퀀스에 확률을 부여하며, 여기서는 다음 토큰의 확률을 예측한다. ‘대규모’는 수십억에서 수천억, 최근에는 조 단위의 매개변수와 최소 수천억에서 수십조 토큰에 이르는 학습 데이터, 많은 GPU가 필요한 연산 규모를 가리킨다 [27:37]
• 디코더 전용 트랜스포머는 인코더뿐 아니라 인코더의 표현을 받아들이던 크로스 어텐션도 제거한다. 남은 핵심 구조는 자신과 앞선 토큰을 참고하는 인과적 멀티헤드 어텐션과 피드포워드 신경망이다 [28:43]

15. 입력마다 모든 매개변수를 계산해야 하는가

• 모델이 커지면 입력 하나를 처리할 때 필요한 계산도 많아진다. 따라서 주어진 입력에 대해 모델의 모든 매개변수를 실제로 사용해야 하는지가 새로운 쟁점이 된다 [29:32]
• 수학·물리·생물 등 서로 다른 전문가가 모인 상황에서 수학 질문을 모두에게 물어야 하는지가 비유로 드러난다. 제공된 구간은 이 질문 도중 끝나므로, 선택 방식이나 후속 구조에 대한 결론은 아직 없다 [29:59]

16. 필요한 파라미터만 활성화하는 MoE의 발상

• 입력마다 모델의 일부만 활성화하면 모델 크기를 늘리면서도 매 순전파에서 전체 파라미터를 계산하는 비용을 피할 수 있다. MoE는 LLM 이전부터 존재했던 접근이다 [30:11]
• MoE는 여러 전문가와 게이트 또는 라우터로 구성된다. 라우터는 입력에 어떤 전문가를 사용할지와 각 전문가를 얼마나 반영할지를 결정한다 [30:55]

17. 밀집 MoE와 희소 MoE의 연산 차이

• 밀집 MoE는 모든 전문가를 활성화하고 관련성이 높은 전문가에 더 큰 가중치를 준다. 따라서 전문가별 비중은 달라져도 전체 파라미터를 활성화하는 비용은 남는다 [31:38]
• 희소 MoE는 선택된 전문가만 활성화하고 나머지는 제외한다. 일반적으로 미리 정한 수의 상위 k개 전문가를 선택한다 [32:18]

18. 트랜스포머의 피드포워드 층에 전문가를 배치하는 이유

• MoE는 일반적으로 연산이 많이 집중되는 피드포워드 신경망에 적용한다. 멀티헤드 어텐션은 토큰 사이의 소통을 담당하고, 피드포워드 층은 투영을 통해 표현을 계산한다 [34:13]
• 이 구조에서는 각 전문가가 피드포워드 신경망이며, 라우터가 입력에 따라 활성화할 전문가를 선택한다 [34:39]

19. 학습 초기에 생기는 편향과 라우팅 붕괴

• 라우터의 전문가 선택 방식은 학습과 역전파를 통해 형성된다. 그러나 일부 전문가에만 의존하면 다른 전문가를 충분히 활용하지 못할 수 있다 [35:40]
• 이러한 라우팅 붕괴가 발생하면 실제로 활용되는 모델 규모가 전체 전문가와 가중치 규모보다 작아진다 [36:20]

20. 토큰 단위 라우팅을 고르게 만드는 보조 손실

• 부하 균형 보조 손실은 다른 전문가도 선택하도록 유도한다. 전문가별로 전달되는 토큰 비율이 균등하거나 대체로 균등해지도록 장려하는 방식이다 [37:28]
• 라우팅은 문장 전체가 아니라 토큰 단위로 이루어진다. 같은 입력 문장에서도 각 토큰이 서로 다른 전문가로 전달될 수 있다 [38:06]

21. 이산적인 전문가 선택에서 역전파를 처리하는 방법

• 전문가를 하나나 둘로 선택하는 연산에는 미분 가능성 문제가 있다. 보조 손실에서는 stop-gradient를 사용해 전문가별 토큰 배정 비율을 상수로 취급한다 [38:28]
• 역전파는 라우팅 확률을 통해 수행하므로 라우터는 계속 학습할 수 있다. 이 보조 손실은 다른 전문가의 선택을 유도해 라우팅 붕괴를 완화하지만, MoE 학습에는 다른 어려움도 남는다 [38:45]

22. 다양한 전문가 활용과 공통 계산을 맡는 공유 전문가

• Mistral의 Mixtral 사례에서는 한 층에서 토큰별로 배정된 전문가를 색으로 구분했을 때 다양한 색이 나타난다. 이는 여러 전문가가 실제로 활용되는 사례다 [39:42]
• 최근 설계에는 라우터의 선택과 관계없이 항상 활성화되는 공유 전문가도 포함된다. 모든 토큰에 필요한 공통 계산을 담당하게 하려는 목적이다 [40:32]

23. 세분화된 전문가와 대규모 MoE의 규모

• 전문가 수를 8개나 16개보다 많은 60개 또는 수백 개로 늘리면 더 세밀한 전문화가 가능해진다. 더 세분화된 전문가 구성에서 성능이 높아지는 경험적 결과도 근거로 드러난다 [41:09]
• 최근 공개된 최상위 모델 사례에는 전문가가 384개 또는 256개인 구성이 있으며, 순전파마다 활성화되는 전문가는 대체로 8개 정도다. 공유 전문가를 사용하지 않는 사례도 있다 [41:44]

24. MoE 설계에 맞춰 다시 확인해야 하는 스케일링 법칙

• 앞서 다룬 스케일링 법칙 논문은 밀집 LLM을 대상으로 했으므로, 그 결과가 MoE에도 그대로 성립한다고 단정할 수 없다 [42:44]
• 설계가 기존 실험과 크게 다르다고 판단되면 작은 모델과 적은 토큰으로 해당 구성의 스케일링 관계를 먼저 확인하고, 그 결과로 파라미터를 정하는 접근을 사용할 수 있다 [42:59]

25. 자기 어텐션의 위치 정보 부족과 학습형 위치 임베딩

• 자기 어텐션은 토큰끼리 직접 연결하지만, 별도의 위치 정보가 없으면 각 토큰이 어디에 놓였는지 구별할 정보가 부족하다 [45:41]
• 학습형 위치 임베딩은 위치 인덱스마다 임베딩을 학습하고, 이를 해당 토큰의 임베딩에 더해 위치를 나타낸다 [46:23]

26. 학습 길이를 넘는 위치와 고정 수식의 필요성

• 학습 때보다 긴 시퀀스가 추론 입력으로 들어오면, 학습형 방식에는 이전에 접하지 못한 위치의 임베딩이 없다는 문제가 생긴다 [47:29]
• 원래 트랜스포머는 학습형 방식과 함께 결정적인 수식으로 위치를 표현하는 방식도 시험했다. 고정 수식은 더 긴 시퀀스로 별도 학습하지 않아도 새로운 위치의 표현을 계산할 수 있다 [48:06]

27. 여러 주파수의 사인·코사인으로 위치를 표현하는 구조

• 위치 표현은 각 위치를 구별하면서 가까운 위치끼리 높은 유사도를 갖도록 설계된다. 서로 다른 속도로 움직이는 시계 바늘처럼 여러 주파수를 결합하면 하나의 벡터로 위치를 표현할 수 있다 [49:03]
• 인접한 두 차원에는 사인과 코사인을 짝지어 배치하고, 주파수를 차원 인덱스에 따라 달리한다. 낮은 인덱스는 높은 주파수, 높은 인덱스는 낮은 주파수를 사용한다 [51:12]

28. 위치 벡터의 내적이 상대적 거리를 나타내는 원리

• 두 위치 m과 n의 벡터를 내적하면, 각 사인·코사인 쌍은 삼각함수 항등식에 따라 cos(ωᵢ(m−n))으로 묶인다 [53:22]
• 전체 내적은 이러한 항들의 합이므로 두 위치의 차이인 m−n의 함수가 된다. m과 n이 같으면 각 코사인 항이 최댓값을 가져 유사도도 최대가 된다 [54:55]

29. 위치 정보를 어텐션에 집중하면서 먼 토큰과의 연결을 유지하는 방향

• 위치 정보는 어떤 토큰이 관련 있는지 판단하는 어텐션 층에서 필요하다. 이에 따라 모든 층에 영향을 주는 대신 어텐션 층에 선택적으로 위치 정보를 적용하는 방법이 동기가 된다 [57:13]
• 가까운 토큰이 상대적으로 더 관련 있을 가능성을 반영해도 먼 토큰과의 직접 연결은 유지된다. 먼 토큰의 관련성을 없애거나 상호작용 기회를 차단하는 방식은 아니다 [58:08]

30. 거리별 학습 편향의 한계와 ALiBi

• 어텐션의 softmax 내부에 토큰 위치 m과 n 사이의 거리에 따라 달라지는 편향을 학습하면, 쿼리와 키의 관련성에 거리 정보를 반영할 수 있다. 다만 학습 데이터 자체의 편향 때문에 최적의 값을 얻지 못할 수 있고, 모든 가능한 거리로 일반화하기 어렵다 [1:01:36]
• ALiBi는 토큰 간 거리인 n−m에 따라 선형적으로 변하는 편향을 사용한다 [1:01:55]

31. RoPE의 위치별 회전과 상대 거리 표현

• RoPE는 편향을 더하는 대신 쿼리와 키를 각자의 위치에 따라 회전시킨다. 회전된 벡터로 어텐션을 계산하면 위치 차이 n−m에 의존하는 표현이 나타난다 [1:03:22]
• 2차원 벡터에 회전 행렬을 곱하면 벡터의 각도가 바뀐다. 쿼리를 위치 m에 따라, 키를 위치 n에 따라 회전시키면 두 벡터의 내적에 상대 위치에 따른 회전이 반영된다 [1:07:07]

32. 슬라이딩 윈도 어텐션과 층을 통한 참조 범위 확장

• 모든 층에서 모든 허용 토큰을 참조하면 계산량이 커진다. 슬라이딩 윈도 어텐션은 일정 거리 안의 토큰만 참조하도록 제한하며, 로컬 어텐션이라고도 한다 [1:10:32]
• 한 블록에서 자신과 바로 앞 토큰만 참조하더라도, 여러 블록을 쌓으면 앞 토큰의 표현을 통해 더 먼 토큰의 정보에 접근할 수 있다 [1:12:44]

33. 키·값 캐시의 재사용과 메모리 부담

• 자기회귀 생성에서는 새 토큰의 쿼리를 이전 토큰들의 키와 계속 비교한다. 이전 키를 매번 다시 계산하는 대신 생성 과정에서 저장하면 다음 단계에서 재사용할 수 있다 [1:15:24]
• 생성이 길어질수록 저장해야 하는 키가 늘어난다. 멀티헤드 어텐션에서는 같은 층의 같은 토큰에도 여러 키가 있어 메모리 부담이 커진다 [1:15:52]

34. 헤드 간 키·값 공유와 GQA

• 키·값의 수를 줄이기 위해 여러 헤드가 키·값 투영 행렬을 공유할 수 있다. GQA는 헤드를 여러 그룹으로 나누고 각 그룹 안에서 키·값 행렬을 공유한다 [1:16:51]
• 과거 토큰의 키·값은 이후 생성에도 필요하므로 계속 저장하지만, 쿼리는 해당 단계에서 사용한 뒤 다시 필요하지 않다. 키·값의 서로 다른 투영 수를 줄이는 방식은 캐시 메모리 절약을 겨냥하며, GQA는 현재 널리 사용된다 [1:17:56]

35. Post-norm에서 Pre-norm으로의 전환

• 원래 트랜스포머의 post-norm은 서브레이어 결과를 입력 X에 더한 뒤 정규화한다. 즉, 정규화 대상이 X와 서브레이어 출력의 합이다 [1:18:46]
• 이 구조에서는 잔차 경로의 X도 정규화를 거친다. Pre-norm은 입력을 먼저 정규화해 서브레이어에 넣고 그 결과를 X에 더하므로, 잔차 연결을 통한 기울기 흐름을 유지하는 데 유리하다 [1:19:37]

36. 재중심화를 생략하는 RMSNorm

• 기존 LayerNorm은 활성값을 재중심화하고 학습 가능한 스케일 γ와 편향 β를 사용해 학습 안정성과 수렴을 돕는다 [1:20:05]
• RMSNorm은 재중심화 없이 크기를 조정하고 하나의 스케일 인자를 학습한다. 이러한 방식도 정규화 역할을 충분히 수행할 수 있어 사용되며, 현재는 pre-norm과 RMSNorm의 조합이 흔하다 [1:20:48]

37. 자기회귀 생성과 어휘 공간으로의 투영

• LLM은 이미 처리한 토큰을 바탕으로 다음 토큰을 하나씩 생성하는 자기회귀 과정을 따른다. 시작 토큰에서 출발해 생성한 토큰을 이어 붙이며 시퀀스를 완성한다 [1:21:41]
• 토큰 표현은 자기 어텐션과 피드포워드 신경망으로 구성된 여러 디코더 층을 거친 뒤, 선형 층을 통해 어휘 공간으로 투영된다. 이 출력이 다음 토큰 선택의 기반이 된다 [1:22:13]

38. 최고 확률 토큰 선택의 국소적 한계

• 다음 토큰의 확률 분포에서 가장 확률이 높은 토큰을 선택하는 방식은 매 단계의 선택을 직접 최적화한다 [1:22:37]
• 각 단계에서 가장 좋은 토큰을 골라도 완성된 시퀀스의 결합 확률이 최적이라는 보장은 없다. 바로 다음 선택의 최적성과 전체 시퀀스의 최적성이 다를 수 있다 [1:23:02]

39. Beam search의 제한된 다중 경로 탐색

• 전체 시퀀스의 결합 확률을 완전히 탐색하는 것은 계산 비용이 너무 크다. Beam search는 그 대신 한 번에 k개의 후보 경로를 추적한다 [1:23:27]
• 각 생성 단계에서 후보 경로를 확장하고 그중 가장 좋은 k개를 유지한다. 하나의 경로만 선택하는 방식보다 여러 가능성을 남겨 두지만, 탐색 범위는 제한된다 [1:23:52]

40. 결정적 생성의 반복성과 대화 경험

• 최고 확률 토큰 선택과 beam search는 같은 조건에서 계산을 반복하면 같은 결과를 내는 결정적 방식이다 [1:24:48]
• 동일한 질문에 늘 같은 답을 주면 챗봇이 기계적으로 느껴질 수 있다. 비결정적 생성은 비슷하게 자연스러운 여러 답변을 선택할 여지를 준다 [1:25:49]

41. Top-k와 Top-p를 이용한 확률적 선택

• 확률 분포에서 다음 토큰을 샘플링하면 결정적인 선택에서 벗어날 수 있다. Top-k는 전체 어휘 대신 확률이 가장 높은 k개 토큰 안에서 선택한다 [1:27:17]
• Top-p는 후보 토큰들의 누적 확률을 기준으로 선택 범위를 정한다 [1:27:31]

42. 요약과 평가에서 필요한 재현성

• 텍스트 요약처럼 같은 입력에 같은 출력을 원하는 작업에서는 결정적 생성이 유용할 수 있다 [1:27:54]
• LLM을 평가자로 사용하는 경우에도 부여하는 점수의 일관성이 필요하다. 다른 많은 용도에서는 비결정적 생성이 더 매력적일 수 있지만, 선택은 작업의 요구에 달려 있다 [1:28:16]

43. 온도가 확률 분포의 집중도를 바꾸는 방식

• 마지막 선형 층은 토큰의 임베딩 공간을 어휘 공간으로 투영하고, softmax는 그 출력값을 확률 분포로 바꾼다 [1:28:50]
• 온도 T는 이 확률 분포를 조절하는 매개변수다. 일반적인 softmax는 T가 1인 경우에 해당한다 [1:29:18]

44. 온도는 출력 확률의 집중도와 무작위성을 연속적으로 조절한다

• 온도가 작으면 가장 높은 값을 가진 항목의 확률이 1에 가까워지고 나머지는 0에 가까워진다. 온도가 커지면 확률 분포가 점차 균등해진다 [1:30:19]
• 결정성은 켜거나 끄는 이분법적 선택에만 해당하지 않는다. 온도 설정을 통해 출력의 무작위성을 연속적으로 조절할 수 있다 [1:30:43]

45. 온도 0에서도 배치 처리와 연산 순서가 결과를 바꿀 수 있다

• 추론 시 임베딩과 가중치, 연산이 고정되어 있으므로 온도 0에서는 이론적으로 결정적인 결과를 기대할 수 있다. 그러나 실제 추론 엔진은 요청을 다른 요청과 함께 배치로 처리하며, 일부 구현은 배치 구성에 따른 결과의 불변성을 지키지 못한다 [1:31:05]
• 부동소수점 덧셈은 결합법칙을 만족하지 않아 계산 순서가 결과에 영향을 준다. 큰 수에 작은 수를 더한 뒤 큰 수를 빼면 0이 나올 수 있지만, 큰 수끼리 먼저 상쇄하면 작은 수가 남을 수 있다 [1:32:15]

46. 가이드 디코딩은 다음 토큰을 제한해 출력 구문을 통제한다

• JSON 형식이 잘못되면 후속 파싱이 실패한다. 모델에 JSON 출력을 요청하는 방식은 가벼운 모델에서도 대체로 잘 작동하지만, 요구되는 100%의 형식 준수를 보장하지는 못한다 [1:34:04]
• 가이드 디코딩은 목표 언어의 구문에 따라 다음 단계에서 선택할 수 있는 토큰을 제한한다. JSON을 생성할 때 현재 위치에 허용되는 기호와 토큰만 선택하도록 제약하는 방식이다 [1:34:39]

47. 컨텍스트 한도는 입력과 생성 결과를 함께 고려해야 한다

• 모델은 프롬프트를 입력받아 토큰을 하나씩 자기회귀적으로 생성한다. 각 다음 토큰 예측 시점에 입력으로 들어가는 토큰들이 컨텍스트를 구성하고, 생성된 토큰들은 출력 토큰에 해당한다 [1:35:34]
• 생성한 토큰도 이후 예측의 입력으로 다시 들어가므로, 컨텍스트를 사용자 입력만으로 계산하면 안 된다. 입력에 사용할 수 있는 분량은 출력 길이와 연결되며, 최대 컨텍스트 길이를 제한하는 이유에는 계산상의 제약도 있다 [1:36:30]

48. 긴 컨텍스트는 필요한 정보의 검색을 어렵게 만들 수 있다

• 컨텍스트 로트는 입력이 길어질수록 필요한 정보를 찾아내기 어려워지는 현상이다. 긴 입력 속에 특정 정보를 넣고 검색하게 하는 ‘건초더미 속 바늘 찾기’ 테스트에서 이런 성능 저하가 나타난다 [1:38:33]
• 검색 실패에는 모델 자체의 한계뿐 아니라 주변 정보가 만드는 잡음도 영향을 준다. 입력을 계속 늘리면 특정 정보를 정확히 찾기 어려워질 위험이 커지므로, 컨텍스트 압축과 새 대화 시작이 유효한 관리 방법이 된다 [1:39:02]

49. 인컨텍스트 학습은 예시로 동작을 유도하지만 과적합과 비용이 따른다

• 인컨텍스트 학습은 가중치를 조정하는 대신 원하는 문제와 해답의 예시를 입력에 제공한다. 예시 없이 질문하는 제로샷과 달리, 질문·답변 예시는 모델이 응답 형식과 필요한 추론을 암묵적으로 파악하도록 도울 수 있다 [100:13] [1:39:07]
• 추론 모델의 성능이 좋아지면서 퓨샷 학습의 사용은 줄어드는 추세다. 제공한 특정 예시에 과적합할 수 있기 때문에, 예시를 지시문으로 바꾸거나 사람이 작성한 지시문을 사용하는 접근도 활용된다 [100:53] [1:39:48]

50. 추론 과정의 예시와 여러 경로의 합의로 성능과 안정성을 높인다

• 사고의 연쇄인 Chain-of-Thought는 퓨샷 프롬프트에 정답에 도달하는 추론 과정까지 포함한다. 해당 연구에서는 모델이 추론 경로를 학습하면서 전반적인 성능이 향상되었다 [101:44] [1:41:44]
• Chain-of-Thought는 인컨텍스트 학습에만 한정되지 않는다. 사고 토큰을 사용하는 추론 모델에도 같은 개념이 적용된다 [102:10] [1:41:59]

🧾 결론

• LLM은 다음 토큰을 예측하는 모델이지만, 실제 동작을 이해하려면 어텐션·위치 정보·학습 목적·디코딩을 연결해서 봐야 한다.
• 모델의 전체 파라미터 수만으로 성능이나 비용을 판단하기 어렵다. 학습 토큰 수, 활성화되는 전문가, 추론 메모리와 요청 규모가 함께 작용한다.
• 출력의 일관성, 형식 준수, 긴 입력에서의 정보 검색은 각각 확인해야 할 문제다. 하나의 설정으로 모두 해결된다고 볼 수 없다.
• 인컨텍스트 예시와 추론 경로의 활용은 응답을 유도하는 방법이지만, 토큰 비용과 예시 편향을 함께 평가해야 한다.

📈 투자·시사 포인트

• AI 서비스의 경제성을 검토할 때 학습 연산량과 운영 비용을 나누어 봐야 한다. 학습 효율이 좋은 모델이 많은 요청을 처리하는 서비스에서도 가장 경제적이라는 보장은 없다.
• MoE 모델의 규모를 비교할 때는 전체 파라미터와 토큰당 활성 파라미터를 구분필요가 있다. 전문가 수뿐 아니라 라우팅이 실제로 다양한 전문가를 활용하는지도 중요하다.
• 긴 컨텍스트를 지원한다는 설명만으로 실사용 가치를 판단하기 어렵다. 필요한 정보의 검색 정확도, 캐시 메모리, 입력·출력 토큰 비용을 함께 살펴야 한다.
• 구조화된 출력을 후속 시스템에 연결하는 서비스에서는 자연스러운 문장 생성 외에 구문 준수와 재현성을 확인해야 한다. 강의는 특정 기업이나 자산의 투자 수익을 판단할 근거를 제공하지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 모델 크기와 학습 토큰의 비교 수치는 기억에 따른 대략값으로 제시됐다. 매개변수당 약 20토큰이라는 관계도 모든 모델과 운영 조건에 적용되는 고정 규칙으로 해석하면 안 된다.
• 앞서 소개한 스케일링 법칙은 밀집 LLM을 대상으로 한다. 전문가 수와 활성화 방식이 다른 MoE에 그대로 적용되는지는 별도 확인이 필요하다.
• 데이터 품질과 규모의 중요성에 관한 연구는 서로 다른 결론을 내며, 사전학습과 이후 학습 단계도 구분된다. 어느 한쪽이 항상 더 중요하다고 단정하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• BERT의 양방향 표현 학습과 GPT의 인과적 다음 토큰 생성을 비교하고, 사용할 과제를 분류·표현 중심인지 생성 중심인지 정리한다.
• 모델을 비교할 때 전체 파라미터, 활성 파라미터, 학습 토큰 수, 학습 연산량, 서비스 비용을 구분해 기록한다.
• MoE 설계를 검토한다면 전문가별 토큰 배정과 선택 집중을 확인하고, 기존 밀집 모델의 스케일링 관계가 해당 구성에도 맞는지 점검한다.
• 요약·평가·대화 등 작업별로 일관성과 다양성의 요구를 정한 뒤, 디코딩 방식과 온도를 비교한다. 재현성이 필요한 경우 같은 입력을 반복 실행해 결과를 확인한다.

❓ 열린 질문

• 주어진 학습 예산과 예상 요청량을 함께 고려할 때, 모델 크기와 학습 토큰 수의 적절한 균형은 어떻게 달라지는가?
• 전문가 수, 공유 전문가, 활성 전문가 수가 달라진 MoE에서는 어떤 스케일링 관계가 나타나는가?
• 위치 표현을 학습 길이 밖으로 계산할 수 있다는 점은 실제 긴 컨텍스트의 검색 성능에 얼마나 기여하는가?