Stanford CME295 Transformers & LLMs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

스탠퍼드 CME295의 LLM 학습 강의는 학습 방식과 규모에서 응답 평가, 추론 토큰, 모델 붕괴 문제까지 다룬다.

📌 핵심 요점

1. 학습 방식과 목표를 살펴본다. 교사 강요(teacher forcing), 입력에 따른 토큰 예측, 학습에서 최대화하려는 양이 언급된다. 다만 제공된 발췌에는 정확한 목적함수와 설명이 온전히 담겨 있지 않다.
2. 학습 규모와 지속 여부가 판단 대상이다. 수조에서 수십조 토큰 규모의 학습, 학습을 더 진행할 가치가 있는지에 대한 질문, 비용 지출이 등장한다. 구체적인 비용이나 중단 기준은 확인되지 않는다.
3. 학습과 추론의 시퀀스 길이 차이를 다룬다. 짧은 시퀀스로 학습한 모델을 더 긴 입력의 추론에 활용하는 문제와 위치 임베딩이 언급된다. 적용 기법과 성능 결과는 발췌만으로 특정하기 어렵다.
4. 원하는 응답을 학습시키고 평가하는 문제가 이어진다. 특정 프롬프트에서 행동을 모방하는 설명, SFT의 프롬프트 분포, 좋은 답과 나쁜 답의 구별, 보상 모델이 등장한다. 보상 모델이 선호하는 출력과 실제 좋은 답의 관계도 검토할 쟁점이다.
5. 추론 과정과 모델 학습의 한계로 논의가 확장된다. 추론 사슬과 추론 토큰, 교사 모델, 모델 붕괴가 언급된다. 각각의 구체적인 학습 절차와 인과관계는 원문 확인이 필요하다.

🧩 배경과 문제 정의

• 디코더 중심 트랜스포머는 모델 크기와 학습 토큰 수를 늘릴수록 성능이 개선되지만, 제한된 연산량에서는 두 요소의 균형이 필요하다.
• 용도마다 별도 모델을 학습하는 대신, 대규모 사전학습으로 언어 지식을 습득한 뒤 여러 과제에 재사용하는 접근이 기반이 된다.
• 학습 목표와 손실함수뿐 아니라 데이터의 품질·혼합 비율, 긴 문맥에 대한 적응이 LLM의 최종 능력을 좌우한다.

🕒 시간순 섹션별 상세정리

1. 모델 확장은 학습량과 연산 효율을 함께 요구한다

• 인코더를 제거한 디코더 중심 구조는 문제를 텍스트 입력과 출력으로 통일하며, 모델 크기와 학습 토큰 수가 늘수록 성능이 개선된다. Chinchilla 연구는 파라미터당 대략 20개 토큰의 학습을 제안하며 기존 대형 모델의 학습량 부족을 지적했다. [00:31]
• 전문가 혼합 모델은 순전파마다 일부 전문가만 활성화하며, 연산이 많이 발생하는 피드포워드 신경망에 적용할 수 있다. [02:06]

2. 사전학습으로 습득한 언어 지식을 여러 과제에 재사용한다

• 전통적인 방식은 스팸 탐지, 감성 추출, 번역처럼 용도마다 별도 모델을 학습했다. [03:49]
• 전이학습은 한 번의 대규모 사전학습으로 언어를 익힌 뒤, 그 모델을 출발점으로 특정 용도에 맞게 조정한다. [04:12]

3. 다양한 자료를 다음 토큰 예측 문제로 학습한다

• 사전학습 자료에는 여러 언어의 텍스트, 프로그래밍 코드, 수학과 과학 자료 등이 포함된다. [05:28]
• 다음 토큰 예측은 앞선 텍스트를 입력으로 받아 바로 다음 토큰을 맞히는 과정을 텍스트 전체에 적용한다. [06:06]

4. 정답 토큰을 입력하는 교사 강요는 병렬 학습을 가능하게 한다

• 학습에서는 전체 시퀀스를 한꺼번에 입력해 각 위치의 다음 토큰을 병렬로 예측할 수 있다. 교사 강요는 모델의 예측 결과와 관계없이 실제 정답 토큰을 다음 위치의 입력으로 사용한다. [07:29]
• 정답을 입력받는 학습과 자신이 생성한 결과를 입력받는 추론 사이에는 불일치가 생긴다. [08:32]

5. 마스킹된 자기 어텐션은 미래 토큰의 참조를 차단한다

• 각 위치는 자기 자신과 앞선 토큰만 참조하므로, 전체 시퀀스를 병렬 처리해도 다음 토큰의 정답을 미리 볼 수 없다. [09:25]
• 모델의 출력은 앞선 토큰 시퀀스를 조건으로 한 다음 토큰의 확률이다. [10:09]

6. 교차엔트로피는 학습 데이터의 확률을 최대화하는 목표에서 나온다

• 학습은 모델이 학습 데이터에 부여하는 확률을 최대화하는 파라미터를 찾는 과정이다. [10:49]
• 시퀀스 확률은 각 토큰의 조건부 확률을 곱한 값으로 분해된다. 작은 확률들을 계속 곱하면 수치적으로 불안정해질 수 있어, 로그를 취해 로그 확률의 합으로 바꾼다. [11:48]

7. BPB는 토크나이저가 다른 모델의 손실 비교를 돕는다

• 토큰당 교차엔트로피의 절대값은 토크나이저에 따라 달라지므로, 서로 다른 토크나이저를 사용하는 모델의 손실을 그대로 비교하기 어렵다. [14:48]
• BPB는 교차엔트로피에 토큰 수를 곱하고 입력의 바이트 수와 log 2로 나누어, 바이트당 비트 단위의 값으로 환산한다. [15:40]

8. 데이터가 제한되면 같은 자료의 반복 학습도 도움이 된다

• 웹, 코드 저장소, 수학·과학 자료로 구성한 대규모 말뭉치는 언어와 코드의 패턴을 학습하는 기반이며, 규모는 통상 수조 토큰에 이른다. [17:14]
• 데이터가 제한된 조건을 조사한 연구에서는 같은 토큰을 최대 네 번 반복 학습하는 것이 성능 향상에 도움이 됐다. 고유 토큰의 양, 데이터 품질, 반복 횟수를 함께 고려해야 한다. [18:11]

9. 데이터 품질과 혼합 비율은 통제된 실험으로 평가한다

• DataComp LM은 모델 구조의 영향을 통제해, 성능 차이 중 데이터 품질에서 비롯되는 효과를 분리하려는 접근이다. [19:16]
• 서로 다른 데이터 혼합으로 여러 소형 모델을 학습하고 성능을 비교하면, 대규모 학습에 사용할 유망한 혼합 비율을 추정할 수 있다. [20:09]

10. 수십조 토큰 규모의 학습에는 복잡한 데이터 준비와 인프라가 필요하다

• 데이터 준비는 여러 단계를 거치는 복잡한 작업이며, 사전학습 데이터 규모는 수조 토큰에서 수십조 토큰까지 커지고 있다. [20:54]
• GLM5의 학습량은 30조 토큰으로 드러난다. 이처럼 큰 규모의 모델과 데이터를 처리하려면 적절한 학습 인프라가 필요하다. [21:31]

11. 중간학습은 목표 용도에 가까운 지식을 강화한다

• 중간학습은 사전학습 이후 목표 과제와 더 밀접한 지식을 주입하는 단계다. [22:06]
• 추론 능력을 강화하려는 경우 코드와 수학 자료의 비중을 높이는 식으로, 더 높은 품질의 데이터를 사용하면서 다음 토큰 예측을 계속한다. [22:29]

12. 짧은 문맥의 사전학습만으로 긴 입력에 적응하기는 어렵다

• 사전학습은 효율을 위해 보통 수천 토큰 길이의 시퀀스를 사용하지만, 실제 입력은 수만 또는 수십만 토큰에 이를 수 있어 별도의 적응이 필요하다. [23:01]
• RoPE에는 학습되는 파라미터가 없지만, 짧은 시퀀스로만 학습한 모델은 긴 위치에서 발생하는 회전을 경험하지 못했으므로 긴 입력에서 혼란을 겪을 수 있다. [23:41]

13. RoPE 주파수 보간은 긴 문맥의 위치 차이에 대한 적응을 돕는다

• 긴 문맥 학습은 모델을 긴 시퀀스에 노출하면서 RoPE 주파수를 조정한다. YaRN은 이러한 문맥 확장 방법의 한 예다. [24:31]
• 주파수를 보간하면 긴 위치 차이도 짧은 문맥 학습에서 경험한 주파수 범위 안에 들어가도록 조정할 수 있어 학습 부담을 줄인다. [25:07]

14. 긴 문맥 학습은 계산량과 장거리 의존 데이터 확보가 어렵다

• 전체 자기 어텐션의 복잡도는 입력 길이의 제곱에 비례하므로, 수천 토큰에서 수십만 토큰으로 확장하면 연산량이 크게 증가한다. [27:58]
• 먼 과거의 정보를 실제로 사용해야 뒤쪽 토큰을 예측할 수 있는 학습 자료를 확보하기도 어렵다. 입력이 길다는 조건만으로 장거리 정보 활용을 학습시킬 수는 없다. [28:19]

15. 학습으로 획득한 지식의 시점은 학습 데이터의 범위에 연결된다

• 사전학습, 중간학습, 긴 문맥 학습에는 큰 비용이 들지만, 이를 거친 모델은 텍스트와 코드의 패턴 및 데이터에 포함된 지식을 습득한다. [29:05]
• 모델 카드의 지식 기준일은 학습 데이터가 어느 시점까지 포함됐는지를 나타낸다. [29:39]

16. 학습 기준일에 고정되는 모델의 지식

• 예시 모델의 학습 데이터는 2026년 4월 30일까지다. 학습 기준일 이후에 발생한 사건은 학습 과정에서 접하지 않았으므로, 모델 자체의 지식만으로는 알 수 없다. [30:00]

17. 사전학습만으로는 질문에 대한 답변이 보장되지 않는다

• 사전학습과 중간학습, 긴 문맥 학습을 마친 모델에 곰 인형을 세탁기에 넣어도 되는지 물어도, 다음 토큰 예측으로 학습한 모델은 질문에 답하기보다 문장을 이어 쓸 수 있다. [30:39]
• 곰 인형의 소재와 부속품을 나열하는 출력은 자연스러운 텍스트지만 세탁 가능 여부를 해결하지 못한다. 유용한 조수가 되려면 질문에 답하는 행동을 추가로 학습해야 한다. [31:29]

18. SFT는 지시와 응답 쌍으로 원하는 행동을 학습한다

• 지도 미세조정은 모델의 행동을 원하는 방향으로 바꾸는 단계다. 조수처럼 행동하게 하려면 지시를 입력으로, 바람직한 응답을 출력으로 구성한 학습 쌍을 사용한다. [32:04]
• 학습 목적은 여전히 다음 토큰 예측이다. 지시를 조건으로 정답 응답의 토큰을 예측하며, 교차 엔트로피 손실을 사용할 수 있다. [32:39]

19. SFT 데이터는 목적에 맞게 구성하고 응답에만 손실을 적용한다

• SFT 데이터는 원하는 행동에 맞춰 구성한다. 특정 문체의 시 쓰기처럼 좁은 용도에는 해당 유형의 예시를 집중적으로 사용할 수 있다. [35:39]
• 좁은 용도에는 수백~수천 개, 다양한 과제를 수행하는 조수에는 수백만 개의 예시를 사용할 수 있다. 어느 경우든 사전학습보다 데이터 규모가 훨씬 작다. [36:02]

20. SFT의 답변 품질은 학습 예시와 프롬프트 분포에 좌우된다

• SFT를 거친 모델은 곰 인형 세탁 질문에 손상 가능성을 설명하고 손세탁을 권하는 식으로 직접 답할 수 있다. 다만 답변의 친절함이나 말투까지 사용자의 선호에 맞는다는 보장은 없다. [37:42]
• 모델은 SFT 예시의 행동을 그대로 따르려 하므로, 학습 데이터는 원하는 출력과 정확히 맞는 높은 품질을 갖춰야 한다. [38:47]

21. LoRA는 저랭크 행렬로 학습할 파라미터를 줄인다

• 수십억~수천억 개의 파라미터를 가진 모델은 이미 텍스트 지식을 갖추고 있다. 행동을 조정하는 데 모든 파라미터를 갱신해야 하는지가 미세조정 비용의 핵심 문제다. [39:32]
• LoRA는 사전학습 가중치 W0를 유지하고, 저랭크 행렬 B와 A로 표현하는 추가 변화량을 학습한다. 원하는 행동에 도달하는 데 전체 가중치를 바꿀 필요가 없다는 접근이다. [40:23]

22. LoRA는 과제별 저장 공간을 절약하고 적용 행렬을 확장한다

• 스팸 분류, 감성 추출, 번역에 각각 미세조정을 적용해도 사전학습 가중치는 공유할 수 있다. 과제별로 작은 행렬 A와 B만 저장하므로 모델 전체를 각각 보관하는 것보다 저장 공간이 줄어든다. [41:35]
• 초기 LoRA는 셀프 어텐션 내부 행렬에 적용하는 방식이 제안됐다. 이후에는 파라미터와 연산이 많이 집중된 피드포워드 신경망의 행렬에도 적용해 성능을 높이는 방향이 권장된다. [42:41]

23. 범용 조수와 특수 용도는 미세조정 전략이 다르다

• 범용 조수는 일반적으로 과제마다 별도 가중치를 선택하기보다 하나의 큰 모델이 여러 질문을 처리하도록 학습한다. 과제별 미세조정은 매우 구체적이고 맞춤화된 용도에서 주로 필요하다. [43:40]
• SFT 데이터가 적더라도 수십억~수천억 개의 파라미터를 갱신하려면 큰 하드웨어 자원이 필요하다. 이미 지식이 있는 모델의 행동을 조금 바꾸는 데 전체 파라미터를 다시 조정하는 것은 비효율적일 수 있다. [44:24]

24. 반복되는 특수 작업은 미세조정으로 프롬프트 비용을 줄일 수 있다

• 파라미터 갱신 시점과 빈도는 사용 목적에 따라 달라진다. 특정 작업을 반복하고 비용이 중요하다면, 매번 긴 행동 지시를 입력하는 대신 한 번 미세조정한 모델을 여러 차례 재사용할 수 있다. [45:55]

25. SFT 이후에도 선호하지 않는 응답을 구별해야 한다

• 곰 인형과 할 활동을 제안해 달라는 요청에 인형과 시간을 보내지 말라고 답하면, 형식상 답변은 했어도 원하는 응답은 아니다. 지시 수행 능력에 더해 인간의 선호에 맞추는 학습이 필요하다. [47:08]
• SFT는 주어진 입력에서 어떤 출력을 따라야 하는지 가르치지만, 어떤 출력을 피해야 하는지를 직접 비교해 가르치지는 않는다. 주어진 정답을 모방하는 학습만으로는 모델이 실제로 만드는 바람직하지 않은 출력을 충분히 다루기 어렵다. [47:43]

26. 선호 응답 쌍을 수집하고 이상 행동의 원인을 점검한다

• 같은 프롬프트에 대해 선호하는 응답과 선호하지 않는 응답을 한 쌍으로 수집한다. 이를 통해 원하는 출력과 피해야 할 출력을 함께 학습할 근거를 마련한다. [48:15]
• 사람은 응답의 절대적인 품질 점수를 정하기보다 두 응답 중 어느 쪽이 더 나은지 판단하기 쉽다. 선호도 학습은 SFT보다 프롬프트 분포에 덜 민감하다는 장점도 있다. [48:43]

27. 선호 데이터는 절대 평가·쌍별 비교·목록 순위로 수집한다

• 개별 응답에 절대 점수를 주는 방식은 사람이 일관되게 판단하기 어렵다. 쌍별 비교는 두 응답 중 더 나은 것을 고르고, 목록 방식은 여러 응답을 선호 순서로 정렬한다. [50:19]
• 수집의 단순성 때문에 실제 선호 데이터는 대체로 쌍별 비교 방식으로 모은다. [51:07]

28. RLHF는 보상 모델 학습과 응답 정책 개선을 연결한다

• 수집한 예시 밖에서도 응답의 좋고 나쁨을 판단하려면 보상 모델이 필요하다. 보상 모델은 프롬프트와 응답을 받아 그 응답의 품질을 점수로 평가하도록 학습한다. [51:19]
• 다음 단계에서는 높은 보상 점수를 받는 응답을 늘리고 낮은 점수의 출력을 피하도록 언어 모델을 조정한다. [52:01]

29. Bradley–Terry 모형은 보상 차이를 선호 확률로 바꾼다

• 보상 모델은 프롬프트에 대한 각 응답에 점수를 부여한다. Bradley–Terry 모형은 응답 yi가 yj보다 선호될 확률을 두 응답의 보상 차이에 시그모이드를 적용한 값, 즉 σ(ri − rj)로 표현한다. [54:13]
• 시그모이드는 1 / (1 + exp(−x))이며, 입력이 매우 작아지면 0에, 매우 커지면 1에 가까워진다. 따라서 보상 차이를 0과 1 사이의 선호 확률로 나타낼 수 있다. [55:45]

30. 쌍별 손실은 선호 응답이 이길 확률의 음의 로그다

• 학습 목표는 데이터에서 선호 응답이 비선호 응답보다 선호될 확률을 최대화하는 것이다. Bradley–Terry 모형을 대입하면 각 쌍에 대해 σ(rθ(x, yw) − rθ(x, yl))를 크게 만들어야 한다. [57:33]
• 로그는 단조 증가하므로 로그 확률을 최대화해도 목표는 같다. 작은 확률값의 수치적 불안정성을 줄이고 최소화 문제로 표현하기 위해, 보상 차이에 적용한 시그모이드의 음의 로그를 손실로 사용한다. [58:55]

31. 보상 모델은 LLM 백본이나 인코더로 응답을 평가한다

• LLM에 입력한 마지막 토큰의 임베딩에 분류 헤드를 붙이면 기존 백본을 활용해 보상 모델을 구성할 수 있다. [1:00:13]
• 인코더 전용 모델로 전체 입력을 처리하는 방식도 가능하며, RLHF의 보상 학습에는 인간 선호 레이블이 필요하다. [1:00:38]

32. RLHF는 보상을 높이면서 기준 모델과의 이탈을 제한한다

• LLM이 생성한 응답을 보상 모델로 평가하고 그 결과로 LLM의 가중치를 갱신한다. 이 단계에서 보상 모델의 가중치는 고정한다. [1:02:14]
• 목적함수는 보상 극대화와 기준 모델로부터의 이탈 억제를 함께 반영한다. 기존 응답 능력을 보존하고 불완전한 보상 평가에 과도하게 끌려가지 않도록 하기 위해서다. [1:03:07]

33. DPO는 선호 응답과 비선호 응답의 상대 확률을 직접 학습한다

• RLHF는 보상 모델과 강화학습, 세심한 하이퍼파라미터 선택이 필요하다. DPO는 이 선호 최적화 문제를 지도학습 형태로 다룬다. [1:05:39]
• DPO의 손실은 기준 모델 대비 선호 응답의 생성 확률을 높이고 비선호 응답의 생성 확률을 낮추도록 유도한다. [1:06:46]

34. RLHF와 DPO는 학습에 사용하는 응답의 출처가 다르다

• RLHF는 보상 모델 학습과 강화학습의 두 단계로 구성되어 계산 부담이 클 수 있으며, DPO는 지도학습 방식으로 선호를 반영한다. [1:10:24]
• RLHF는 학습 중 모델이 실제 생성한 응답을 사용하는 온폴리시 방식이다. DPO는 모델이 직접 생성했다고 보장할 수 없는 고정 응답을 사용하는 오프폴리시 방식이다. [1:10:51]

35. 추론 학습은 별도 지시 없이 풀이 과정을 생성하도록 한다

• 추론은 문제를 해결하는 능력으로 정의된다. 강좌 코드를 아는 것과 달리, 출생 연도로 나이를 계산하는 문제는 필요한 정보를 조합하고 계산해야 한다. [1:12:19]
• 사고 사슬 프롬프팅은 예시를 통해 답변 전에 풀이 과정을 출력하도록 유도한다. 추론 모델 학습의 목표는 매번 이런 지시를 주지 않아도 모델이 스스로 해당 행동을 하도록 만드는 것이다. [1:13:11]

36. 추론 모델의 확산과 함께 인터페이스도 바뀌었다

• 2024년 9월 OpenAI의 수학·코딩 성능 개선 공개 이후 다른 주요 연구소에서도 같은 전략을 사용하는 모델이 등장했으며, 2025년 1월의 공개 가중치 모델 논문은 훈련 방법을 구체적으로 다뤘다. [1:14:06]
• 2025년에는 모델 이름, 사고 시간, 추론 과정 표시가 추론 모델을 구분하는 단서였다. 이후 추론 모델이 널리 쓰이면서 인터페이스에서는 사고 노력 설정이 주요 단서로 남았다. [1:15:09]

37. 추론 과정 보호에는 사용자 정보와 학습 자산 보호가 걸려 있다

• 추론 과정에는 이전 사용자 입력과 대화 정보가 포함될 수 있다. 일부 제삼자 제공자의 API에서 전체 추론 과정을 복원한 연구 사례는 이런 정보의 노출 위험을 보여준다. [1:16:02]
• 고품질 추론 과정은 다른 모델의 성능을 높이는 학습 자료가 될 수 있다. 사용자 정보 노출과 타사의 학습 활용을 막으려는 목적이 추론 과정 공개를 제한하는 이유다. [1:17:01]

38. 숨겨진 추론 토큰도 비용에 포함되며 노력 수준을 조절할 수 있다

• 답변 전 추론 과정도 모델의 출력에 해당한다. 사용자는 화면에 보이는 답변뿐 아니라 일반적으로 숨겨진 추론 토큰에 대해서도 비용을 부담하므로 예산에 이를 포함해야 한다. [1:18:01]
• 모델은 학습을 통해 프롬프트별로 필요한 추론 노력의 크기를 구분할 수 있으며, 사용자도 사고 노력 설정으로 이를 조절할 수 있다. [1:18:38]

39. 수학과 코딩에서는 검증 가능한 보상으로 추론을 학습한다

• 코딩 문제는 테스트 케이스 실행으로, 수학 문제는 정답과의 비교로 결과의 옳고 그름을 확인할 수 있다. 이런 검증 결과를 학습 보상으로 사용할 수 있다. [1:19:19]
• 보상은 최종 답의 정확성과 추론 과정의 포함 여부를 함께 반영하도록 설계할 수 있으며, 추론용 토큰을 포함하는 형식도 평가 대상이 된다. [1:20:24]

40. GRPO는 같은 문제의 응답들을 비교해 상대적으로 좋은 출력을 강화한다

• GRPO는 하나의 프롬프트에 여러 응답을 생성하고 정확성을 평가한다. 각 응답이 그룹에 비해 얼마나 좋은지를 나타내는 어드밴티지를 계산해 더 좋은 응답의 생성을 늘린다. [1:21:02]
• 목적은 어드밴티지를 높이면서 기준 모델에서 지나치게 벗어나지 않는 것이다. 정답과의 비교로 보상을 계산하므로 별도의 보상 모델이 필요하지 않다. [1:21:52]

41. 강화학습 진행에 따라 추론 성능과 풀이 길이가 함께 증가한다

• 제시된 학습 결과에서는 강화학습 단계가 진행될수록 추론 문제의 성능이 향상된다. [1:22:44]
• 같은 결과에서 실제 생성된 추론 과정의 길이도 점차 증가한다. [1:23:03]

42. 기존 방식은 조밀한 지도와 모델 자체 출력 활용을 동시에 충족하기 어렵다

• 최종 결과만 평가하는 보상은 전체 출력이 맞았는지 틀렸는지만 알려준다. GRPO에서는 어떤 토큰이 좋거나 나빴는지 구분하는 신호를 얻지 못한다. [1:23:35]
• 토큰별 지도는 조밀한 신호를 제공하지만 모델이 생성하지 않은 고정 시퀀스에 의존할 수 있다. 반대로 모델 자체 출력을 활용하는 강화학습은 시퀀스 단위의 희소한 보상에 의존한다. [1:23:59]

43. 온폴리시 증류는 학생의 생성에 교사의 토큰별 지도를 결합한다

• 온폴리시 증류는 학생 모델이 직접 생성한 응답의 각 토큰을 교사 모델로 평가하고, 학생과 교사의 예측 차이에 페널티를 준다. [1:25:20]
• 학생이 생성한 시퀀스를 사용하므로 온폴리시이며, 매 토큰에서 지도 신호를 받으므로 조밀한 학습이 가능하다. [1:26:26]

44. 공개 모델의 기술 보고서로 실제 학습 구성을 살펴본다

• Artificial Analysis의 지능 지수는 여러 벤치마크를 하나의 수치로 집계해 모델을 비교한다. 공개 모델은 폐쇄형 최상위 모델보다 다소 뒤처지는 경우가 있지만, 가중치와 학습 방법을 공개하는 이점이 있다. [1:28:02]
• GLM5의 기술 보고서는 앞서 다룬 학습 개념을 실제 구성과 연결하는 사례로 쓰인다. 각 학습 단계에 어떤 요소가 들어가는지 살펴보는 기준이 된다. [1:28:46]

45. 사전학습용 웹 데이터는 AI 생성 콘텐츠 등을 걸러내야 한다

• 첫 단계인 사전학습의 주요 목표는 언어를 배우는 것이며, 웹 데이터가 학습 자료로 들어간다. 일반적인 수집원으로 Common Crawl을 활용한다. [1:29:21]
• 웹 데이터에는 AI 생성 콘텐츠 등으로 오염된 부분이 많아, 휴리스틱을 적용해 데이터를 걸러내고 규모를 줄이는 과정이 필요하다. [1:29:39]

46. 지식·코딩·추론 데이터 구성과 사전학습 방식

• 위키피디아 같은 권위 있는 사이트는 일반 지식의 주요 공급원이지만, 주요 사이트에 없는 지식은 별도로 선별해야 한다. 코딩은 에이전트의 기반이므로 사전학습부터 포함하며, 비중이 낮은 모바일 관련 코드와 논문·수학·과학 중심의 추론 자료도 보강한다. [1:30:07]
• 사전학습은 대체로 짧은 문맥에서 진행된다. GLM5는 약 4K 토큰 문맥을 사용하며, 먼저 웹 데이터로 언어 구조를 익힌 뒤 웹 비중을 줄이고 코딩·추론 데이터를 섞는다. [1:31:40]

47. 모델 붕괴를 유발하는 분포 손실과 데이터 선별

• 유한한 표본은 원래 데이터 분포의 드문 사례를 모두 담지 못한다. 완벽한 모델을 가정해도 출력 분포가 원래 분포와 달라지며, 실제 모델의 근사 오차가 차이를 더한다. [1:33:58]
• 후속 훈련에서 공급자와 전문가가 주입하는 선호는 특정 표현의 빈도를 원래 분포보다 높일 수 있다. 이러한 왜곡은 모델 생성 데이터를 사용할 때 데이터 선별의 중요성을 높인다. [1:34:56]

48. 중간학습을 통한 문맥 확장과 장문 정보 활용

• GLM5의 중간학습은 문맥 길이 확장을 목표로 하며, 관심 분야의 고품질 장문 데이터를 사용한다. 코드에서는 이슈·PR·코드 변경 내역을 함께 다루고, 책 전체도 학습 자료에 넣을 수 있다. [1:36:00]
• 긴 문맥에서는 앞서 나온 사실을 기억하지 못하는 문맥 부패가 발생할 수 있다. 합성 데이터 중간에 사실을 삽입하고 뒤에서 다시 참조하게 하는 방식으로 이를 훈련에 반영할 수 있다. [1:36:49]

49. SFT의 고품질 응답 학습과 손실 적용 범위

• SFT는 모델을 유용한 어시스턴트로 만드는 단계다. 학습 토큰 규모는 크게 줄고 데이터 품질은 높아지며, 일반적인 도움 제공 능력과 함께 추론·코딩 능력에 비중을 둔다. [1:38:11]
• 도구 호출에 이르는 추론 과정을 학습 데이터에 포함하면 도구 사용에 필요한 추론 능력을 기를 수 있다. think 토큰 사이의 추론은 사용자에게 표시되지 않는 작업 공간으로 쓰이며 과금 토큰에 포함된다. [1:38:20]

50. 강화학습의 평가 방식과 단계 간 능력 보존

• GLM5의 추론 RL은 수학 경시 문제처럼 답을 검증할 수 있는 과제를 활용한다. 에이전트 RL은 테스트 실행 등이 가능한 하네스에서 동작하며, 실패하던 테스트를 통과시키는 버그 수정처럼 행동 결과를 검증한다. [100:07] [1:38:30]
• 일반 RL은 지시 이행, 감성 지능, 과제별 품질 같은 개방적인 평가 차원을 다루며, 유용한 답변에 대한 데이터 큐레이터의 판단도 반영한다. 생성한 답변의 평가에 따라 특정 토큰이 나올 확률을 높이는 식으로 학습한다. [100:52] [1:39:10]

51. 기술 보고서에 드러나지 않는 데이터 구성의 한계

• 공개 가중치 모델의 기술 논문은 많은 세부 사항을 제공하지만, 학습 데이터 구성의 핵심을 모두 공개하지는 않는다. [102:38] [1:40:30]
• 일부 공급자가 다른 공급자의 데이터 증류를 문제 삼는 의혹이 있다. 이런 데이터가 학습 혼합물에 포함됐을 가능성은 있지만, 기술 보고서에 명시되지 않아 사실로 단정할 수 없다. [102:51] [1:41:31]

52. 추론 훈련이 에이전트 설계와 수학 문제 해결에 미치는 영향

• 코딩 에이전트 pi는 최소한의 하네스로 높은 성능을 지향한다. RL로 모델의 추론 능력이 발전하면 하네스에 많은 맥락을 넣을 필요가 줄어들 수 있고, 하네스 엔지니어링의 필요성도 감소할 수 있다. [103:13] [1:42:31]
• 추론 데이터와 훈련의 성과는 수학 분야의 발전으로도 계속된다. 최근 OpenAI가 미해결 문제에 대한 해법을 공개한 사례가 있다. [104:02] [1:43:31]

🧾 결론

• 이 강의의 범위는 토큰 예측 학습에만 머물지 않고 응답 품질 평가와 추론 관련 학습 문제까지 이어진다.
• 학습 규모, 프롬프트 분포, 응답 평가 기준은 강의 내용을 정리할 때 구분해서 살펴볼 주요 축이다.
• 현재 자료는 짧게 끊긴 자막 발췌이므로 개념의 등장 여부는 확인할 수 있지만, 수식·기법·실험 결과까지 확정하기에는 부족하다.

📈 투자·시사 포인트

• 학습 비용 검토: 대규모 토큰 학습과 비용이 함께 언급된다. 모델 개발사의 경제성을 평가할 때는 추가 학습의 비용과 성능 개선을 함께 확인하는 질문으로 연결할 수 있다.
• 품질 평가 검토: 좋은 답의 구별과 보상 모델이 다뤄진다. 모델을 비교할 때 어떤 기준으로 응답 품질을 측정했는지 확인필요가 있다.
• 활용 조건 검토: 시퀀스 길이와 프롬프트 분포가 등장한다. 실제 사용 환경이 학습·평가 조건과 얼마나 다른지 점검하는 관점으로 활용할 수 있다.
• 제공된 발췌에는 기업별 실적, 학습 단가, 성능 비교 수치가 없어 특정 기업의 투자 매력이나 수익성을 판단할 근거는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

• 자막이 일정 간격의 짧은 문장 조각으로 제공되어 개념 사이의 연결, 조건, 예외가 상당 부분 빠져 있다. 강의 전체의 논증을 복원한 요약으로 읽어서는 안 된다.
• 학습 목적함수, 배치 관련 기호, 학습 중단 기준, 긴 시퀀스 처리 기법의 정확한 정의는 확인되지 않는다.
• 보상 모델, 추론 토큰, 교사 모델, 모델 붕괴는 언급되지만 구체적인 알고리즘이나 실험 결과는 발췌에 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 08:01~13:41 원문을 확인해 교사 강요와 토큰 예측의 관계, 학습 목적함수를 정리한다.
• 18:41~29:32에서 추가 학습의 판단 기준, 토큰 규모, 시퀀스 길이, 비용에 관한 설명을 확인한다.
• 49:07~1:05:04에서 SFT의 프롬프트 분포와 응답 비교·보상 모델의 평가 기준을 확인한다.
• 1:18:10~1:36:41에서 추론 토큰, 교사 모델, 모델 붕괴의 정의와 강사가 제시한 조건을 확인한다.

❓ 열린 질문

• 추가 학습을 계속할지 결정할 때 강의는 어떤 비용·성능 기준을 제시하는가?
• 짧은 시퀀스 학습을 긴 시퀀스 추론에 연결할 때 어떤 방법과 제약을 설명하는가?
• 보상 모델이 선호하는 응답과 실제 좋은 응답 사이의 차이를 어떻게 평가하거나 줄이는가?