Stanford CME295 Transformers & LLMs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford CME295 Transformers & LLMs를 중심으로, 보상의 성격이 학습 방식을 결정한다. SFT 이후 인간의 선호를 반영하거나 추론 능력을 높이는 데 강화학습을 사용한다. R를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 보상의 성격이 학습 방식을 결정한다. SFT 이후 인간의 선호를 반영하거나 추론 능력을 높이는 데 강화학습을 사용한다. RLHF는 인간의 응답 쌍 선호로 보상 모델을 학습하고, RLVR은 수학 정답이나 코드 테스트처럼 검증 가능한 결과를 보상으로 사용한다.
2. 정책경사와 표본 재사용이 최적화의 뼈대다. 기대 보상을 높이도록 응답의 생성 확률을 조정한다. 자기회귀 응답 생성은 비용이 크지만, 완성된 응답의 토큰 확률은 병렬로 평가할 수 있다. 이전 정책의 응답을 재사용할 때는 현재 정책과 이전 정책의 확률비로 보정한다.
3. PPO는 가치모델로 상대적 성과를 평가하고 정책 변화를 제어한다. 가치모델과 GAE를 활용해 토큰별 어드밴티지를 추정한다. 이전 정책에 대한 확률비 클리핑과 고정된 기준 정책에 대한 KL 페널티는 서로 다른 비교 대상을 사용한다. 가치모델은 정책과 함께 학습하므로 추가 자원이 필요하다.
4. GRPO는 가치모델 부담을 줄이지만 응답 단위 평가의 한계가 남는다. 같은 프롬프트에서 생성한 응답들의 보상을 비교해 어드밴티지를 계산한다. 최종 답이 맞으면 잘못된 중간 추론도 강화될 수 있으며, 응답 길이 정규화와 보상 표준편차 정규화는 각각 길이 편향과 입력별 학습 편향을 만들 수 있다. DAPO와 Dr. GRPO는 길이 정규화를 수정하는 접근으로 소개된다.
5. 온폴리시 증류는 학생이 생성한 문맥에서 토큰별 신호를 얻는다. 교사가 학생의 각 토큰을 평가하므로 최종 결과 보상보다 조밀한 피드백을 제공한다. 다만 교사의 오류와 역량에 의존한다. 정답을 추가 문맥으로 제공하는 자기 증류와 도메인별 전문가를 활용하는 다중 교사 증류는 이러한 제약을 완화하는 방향이다.

🧩 배경과 문제 정의

• 사전학습은 텍스트와 코드의 패턴을 익히게 하고, 지도 미세조정(SFT)은 질문에 답하는 등 유용한 행동을 학습시킨다. 여기에 인간의 선호를 반영하거나 추론 능력을 높이기 위해 강화학습 기반 학습을 적용한다.
• 답변의 품질은 말투처럼 주관적인 선호로 평가할 수도 있고, 수학 정답이나 코드 테스트처럼 검증 가능한 기준으로 평가할 수도 있다. 평가 방식에 따라 보상을 구성하는 방법이 달라진다.
• 핵심 문제는 기대 보상을 높이는 정책경사를 구하고, 매번 새로운 응답을 생성해야 하는 학습 비용을 줄이는 것이다.

🕒 시간순 섹션별 상세정리

1. 사전학습은 대규모 데이터에서 다음 토큰 예측을 학습한다

• 사전학습은 모델이 텍스트와 코드를 이해하도록 수조 개 토큰 규모의 데이터를 사용한다. 웹과 책 등을 어떤 비율로 섞을지가 중요한 데이터 구성 문제다. [01:50]
• 교차엔트로피 손실은 모델이 예측해야 할 다음 토큰에서 벗어나는 정도를 벌점으로 반영한다. [02:04]

2. SFT는 출력 토큰을 학습해 모델을 유용하게 만든다

• SFT는 텍스트와 코드를 이해하는 모델을 질문에 답하는 어시스턴트처럼 유용한 모델로 조정한다. [02:53]
• 손실은 여전히 교차엔트로피지만, 출력 쪽 토큰의 예측 오류에만 적용한다. 따라서 학습 목표는 출력에 대한 다음 토큰 예측이다. [03:11]

3. 선호 조정과 추론 강화에 강화학습을 적용한다

• SFT를 마친 모델에 인간의 선호를 반영하는 단계가 선호 조정이며, 여기에 강화학습 기반 방법을 사용한다. [03:33]
• 추론 능력을 높이는 데도 강화학습 기법을 사용한다. 선호 조정과 추론 강화에서는 어떤 목적함수를 구성하고 최적화할지가 핵심 문제다. [04:18]

4. 보상·확률비·정책과 최적화 방향을 구분해야 한다

• 보상은 보통 R로 표기하지만, 일부 논문에서는 같은 기호를 확률비에도 사용한다. 두 개념을 구분하기 위해 확률비에는 ρ를 사용한다. [05:42]
• 이전 정책과 기준 정책 등 여러 정책이 등장하며, 논문마다 표기 관례가 달라 혼동할 수 있다. [05:56]

5. 강화학습은 정책에 따라 행동하고 누적 보상을 높인다

• 에이전트는 특정 상태의 환경과 상호작용하며 다음 상태로 이동할 행동을 선택한다. 행동 선택 규칙은 보통 πθ로 나타내는 정책이다. [07:18]
• 에이전트는 행동 후 보상을 받으며, 강화학습의 목표는 수집하는 보상의 합을 최대화하는 것이다. [07:37]

6. LLM의 정책은 토큰 또는 응답의 확률분포다

• LLM을 에이전트로 보면 입력이 상태이고, 다음에 생성할 토큰이 행동이다. 입력에 대해 모델이 출력하는 토큰 확률분포가 정책 πθ에 해당한다. [08:27]
• 토큰별 보상을 정의하기 어려운 경우가 많아 응답 전체를 행동으로 취급하기도 한다. 이때 상태는 프롬프트이고, 정책은 해당 프롬프트에서 특정 응답을 생성할 확률이며, 보상은 응답에 부여한다. [09:14]

7. RLHF는 인간의 상대적 선호로 보상을 학습한다

• 절대적인 정답이 없는 문제에서는 응답의 품질 평가가 주관적이다. 예를 들어 인간은 말투가 더 좋은 응답에 높은 선호를 부여할 수 있다. [10:17]
• Bradley–Terry 정식화는 응답 쌍의 선호를 이용해 보상 모델을 학습하는 데 쓰인다. 인간 피드백으로 응답의 품질을 정량화하는 이러한 방법을 RLHF라고 부른다. [11:06]

8. RLVR은 정답과 테스트로 검증 가능한 보상을 사용한다

• 수학 문제의 정답을 알고 있거나 코드가 테스트를 통과하는지 확인할 수 있다면, 응답의 정확성을 결정적인 방식으로 검증할 수 있다. [11:46]
• 이러한 방법은 검증 가능한 보상을 사용하는 강화학습인 RLVR에 해당하며, 주로 수학과 코딩 같은 추론 문제에 적용된다. 이 경우에도 보상은 토큰별이 아니라 완성된 응답 수준에서 주어진다. [12:16]

9. 보상 평가와 정책 업데이트를 연결한다

• 선호 조정에서는 LLM이 생성한 응답과 프롬프트를 고정된 보상 모델에 넣는다. 이 평가에서 얻는 기대 보상을 높이도록 LLM의 매개변수를 조정한다. [13:18]
• 추론 문제에서는 최종 답을 결정적인 방식으로 평가하고, 그 결과를 이용해 정책인 LLM의 매개변수를 조정한다. [13:51]

10. 최적화 목표는 현재 정책에서 얻는 기대 보상의 최대화다

• 목표는 정책 πθ에서 궤적을 표본화할 때 얻는 보상의 기댓값을 최대화하는 매개변수 θ를 찾는 것이다. 매개변수를 업데이트하려면 이 목적함수의 경사가 필요하다. [15:56]
• 경사는 함수가 가장 가파르게 증가하는 방향과 그 크기를 나타낸다. 다차원 입력에서는 각 입력 차원에 대한 편미분을 모아 경사를 구성한다. [17:02]

11. 로그 미분 항등식으로 정책경사를 유도한다

• 기대 보상을 정책 확률과 보상의 곱에 대한 적분으로 표현한다. 보상은 고정되어 있고 정책 확률이 θ에 의존하므로, 필요한 정칙성 조건을 가정하면 정책 확률에 경사를 적용할 수 있다. [18:40]
• 로그 미분 항등식 ∇θ log πθ = ∇θπθ / πθ를 이용하면, 정책 확률의 경사를 πθ ∇θ log πθ로 바꿀 수 있다. [19:24]

12. 정책경사는 보상에 따라 행동 확률을 조정한다

• 정책경사는 양의 보상을 받은 행동의 확률을 높이고, 음의 보상을 받은 행동의 확률을 낮추는 방향으로 모델을 유도한다. [21:59]
• LLM에서는 먼저 프롬프트를 선택하고, 그 프롬프트를 조건으로 모델의 응답을 표본화한다. 따라서 기댓값은 프롬프트와 각 프롬프트에 대한 응답의 표본화를 함께 포함한다. [23:46]

13. 보상으로 가중한 경사를 사용해 경사상승을 수행한다

• 프롬프트 x에서 응답 y를 생성하고, 프롬프트와 응답에 대한 보상을 평가한다. 이어 보상에 로그 정책 확률의 경사를 곱해 업데이트에 사용할 경사를 계산한다. [24:33]
• 기대 보상을 최대화해야 하므로 매개변수는 θ ← θ + α∇θJ처럼 경사 방향으로 더해 갱신한다. 이는 손실을 줄이는 경사하강이 아니라 경사상승이다. [24:56]

14. 온폴리시 학습은 반복적인 응답 생성 비용이 크다

• 현재 정책에서 생성한 응답으로 업데이트하는 온폴리시 설정에서는, 사전학습이나 SFT처럼 고정된 응답을 사용하는 대신 모델이 직접 응답을 생성해야 한다. [25:24]
• 매 업데이트를 위해 응답을 생성하는 과정은 비싸다. 자기회귀 생성에서는 앞 토큰을 얻어야 다음 토큰을 생성할 수 있어, 응답 내부의 토큰 생성을 한꺼번에 병렬화할 수 없다. [25:46]

15. 고정 정책의 표본으로 현재 정책의 기대 보상을 표현한다

• 현재 정책의 기대 보상을 나타내는 적분에 고정 정책의 확률을 곱하고 나누면, 보상에 현재 정책 확률과 고정 정책 확률의 비율을 곱한 형태를 얻는다. [27:42]
• 이에 따라 목적함수를 Eτ∼πfixed[R(τ)·πθ(τ)/πfixed(τ)]로 다시 표현할 수 있다. 궤적을 표본화하는 분포가 현재 정책에서 고정된 매개변수의 정책으로 바뀐다. [28:42]

16. 중요도 표본추출 비율로 생성한 응답을 재사용한다

• 고정 정책으로 응답을 한 번 생성한 뒤, 그 응답들을 여러 업데이트에 사용하는 방식을 생각할 수 있다. 이때 각 궤적의 보상에는 현재 정책 확률을 고정 정책 확률로 나눈 비율을 곱한다. [29:23]
• 이 재가중은 현재 정책의 기대 보상이라는 목표를 유지하면서 매번 응답을 새로 생성해야 하는 부담을 줄이기 위한 방법이다. 여기에 사용하는 확률비를 중요도 표본추출 비율이라고 부른다. [29:55]

17. 응답 생성과 정책 확률 평가는 계산 비용이 다르다

• 응답 생성은 앞서 만든 토큰을 입력으로 다음 토큰을 생성하는 과정을 반복해야 한다. 반면 이미 완성된 응답을 평가할 때는 모든 토큰을 입력으로 넣어 확률을 병렬로 계산할 수 있다 [30:15]
• 디코더 전용 LLM의 마스킹된 자기어텐션은 각 위치가 자신과 이전 위치만 참조하도록 하므로, 전체 응답을 한꺼번에 입력하면서도 각 토큰의 조건부 확률을 구할 수 있다 [32:15]

18. 절대 보상 대신 기준선과의 차이를 사용해 분산을 줄인다

• 좋은 응답의 보상이 101이고 나쁜 응답의 보상이 100이면, 두 응답 모두 큰 양의 보상을 받는다. 보상에 비례해 정책을 갱신하는 방식에서는 좋은 응답과 나쁜 응답의 생성 확률을 모두 크게 높이는 업데이트가 발생한다 [33:47]
• 반복 학습으로 원하는 방향에 도달할 수는 있지만, 좋은 응답과 나쁜 응답에 대한 큰 업데이트가 섞이면서 그래디언트의 분산이 커진다 [34:59]

19. 완성 응답 단위의 보상은 잘못된 추론까지 강화할 수 있다

• 테디가 든 밀봉된 상자를 부엌으로 옮겼을 때, 모델이 “테디가 상자에서 나와 부엌으로 걸어갔다”고 추론하고 최종 답을 부엌이라고 하면 결론은 맞지만 중간 과정은 틀리다 [36:34]
• 완성 응답 전체에 같은 보상을 적용하면 잘못된 추론을 포함한 모든 토큰의 생성 확률이 높아진다. 따라서 응답의 어느 토큰이 결과에 기여했는지 구분하는 명시적인 토큰 단위 기여도 할당이 필요하다 [37:12]

20. 정책의 과도한 변화는 보상 해킹과 기존 능력 손실을 부른다

• 강화학습을 시작하는 정책은 이미 사전학습과 SFT를 거쳐 유용한 상태이므로, 학습 과정에서 출발 정책으로부터 지나치게 멀어지지 않도록 제약할 필요가 있다 [37:39]
• 강의의 질을 박수의 강도로만 평가하면 수업과 무관한 농담에 집중할 유인이 생길 수 있다. 마찬가지로 불완전한 보상 모델만 최적화하면 실제 목표를 달성하기보다 보상 체계를 공략하는 보상 해킹이 발생할 수 있다 [38:13]

21. PPO는 상대적 성과와 정책의 근접성을 함께 다룬다

• PPO는 Proximal Policy Optimization의 약자로, 단순한 보상 대신 어드밴티지를 최대화하고 이전 정책으로부터 지나치게 멀어지지 않도록 한다 [40:40]
• 어드밴티지는 응답 자체가 얼마나 좋은지를 넘어, 해당 프롬프트에서 기대하던 수준에 비해 얼마나 좋은지를 나타내는 기준선 대비 평가다 [41:43]

22. 부분 응답의 기대 최종 보상이 토큰 평가의 기준선이 된다

• 부분적으로 생성된 응답에서 현재 정책에 따라 나머지 토큰을 계속 샘플링했을 때 얻을 기대 최종 보상을 생각할 수 있다. 이 값은 해당 생성 상태에서 무엇을 기대해야 하는지 나타낸다 [42:52]
• “in the box”라는 응답의 예에서는 “in”까지 생성했을 때 기대 보상을 0.6, “the”까지는 0.7, “box”까지는 0.95, 완성 시에는 1로 가정한다. 정답을 특정하는 “box”에서 값이 크게 상승한다 [43:12]

23. 가치함수의 차이로 개별 토큰의 기여를 근사한다

• 단순화한 계산에서 “box”의 어드밴티지는 해당 토큰을 포함한 가치에서 직전 가치를 뺀 0.95 − 0.7 = 0.25다. 이는 토큰 하나가 기대 보상을 얼마나 높였는지 나타낸다 [44:23]
• 가치함수는 프롬프트와 부분 응답을 바탕으로 현재 정책을 따라 계속 생성했을 때의 기대 보상을 예측하며, 출력의 각 토큰 위치에 값을 부여한다 [44:51]

24. 현재 토큰이 미래에 미치는 영향도 기여도에 반영한다

• 어떤 토큰은 높은 보상을 받을 가능성을 즉시 높이는 동시에, 이후 토큰들이 더 좋은 결과를 만들 수 있는 상태를 조성한다. 따라서 현재 토큰의 기여를 바로 다음 변화만으로 모두 설명하기는 어렵다 [47:07]
• 일반화 어드밴티지 추정(GAE)은 미래의 가치 변화도 현재 토큰과 연결하는 아이디어다. 이후 성과를 현재 행동 하나의 공으로 전부 돌릴 수는 없지만 일부 기여는 인정해야 한다는 관점이며, 구체적인 방법은 강의와 시험 범위 밖으로 드러난다 [48:07]

25. 가치 모델은 변화하는 정책과 함께 학습한다

• 정책과 가치함수는 구분되는 모델로 설명되며, 실제로는 정책 손실과 가치 손실을 포함하는 목적함수로 함께 학습한다. 가치함수의 출력이 정책의 입력으로 직접 들어가는 구조는 아니다 [49:25]
• 보상 모델은 미리 학습하지만 가치 모델은 정책과 동시에 학습한다. 가치 모델이 예측해야 하는 대상이 현재 학습 중인 정책을 따라 생성했을 때의 기대 보상이기 때문이다 [49:58]

26. 이전 정책의 응답을 재사용하려면 중요도 샘플링 보정이 필요하다

• 응답 생성 비용을 줄이기 위해 한 정책으로 배치를 생성하고, 같은 배치로 정책을 여러 번 업데이트한다. 업데이트가 시작되면 배치를 생성했던 정책은 현재 정책과 구분되는 이전 정책 π_old가 된다 [51:28]
• 이전 정책에서 샘플링한 데이터를 현재 정책의 목적에 맞게 사용하려면, 어드밴티지에 현재 정책과 이전 정책의 확률 비율을 곱한다. 이 보정항이 중요도 샘플링 비율이며, 보상과 혼동하지 않도록 ρ로 표기한다 [52:13]

27. 클리핑은 확률 비율을 계속 밀어붙이는 유인을 줄인다

• 확률 비율 ρ가 1이면 해당 행동에 대한 현재 정책과 이전 정책의 확률이 같다. 양의 어드밴티지에 비율을 곱한 목적함수는, 별도의 제약이 없으면 해당 행동의 확률을 계속 높이도록 유도한다 [55:00]
• 목적함수를 클리핑하면 일정 영역에서 그래디언트가 0이 되어, 이미 높아진 확률을 더 높일 유인이 사라진다. 이를 통해 이전 정책으로부터 지나치게 멀어지는 업데이트를 억제한다 [56:06]

28. KL 발산으로 기준 정책과의 차이에 페널티를 부과한다

• KL 발산은 두 확률분포 P와 Q의 차이를 정량화하며, 이산적인 경우 P의 확률로 가중한 log(Pᵢ/Qᵢ)를 사용한다. 연속적인 경우에는 적분 형태가 된다 [57:54]
• 정책의 변화를 제어하는 또 다른 방법은 현재 정책과 다른 정책의 차이에 대한 페널티를 손실함수에 넣는 것이다 [58:26]

29. 고정된 기준 정책과 배치마다 바뀌는 이전 정책을 구분한다

• π_ref는 학습의 기준이 되는 기본 정책이고, π_old는 현재 재사용하는 응답들을 생성한 정책이다. 두 정책은 역할이 다르므로 수식에서 정책의 첨자를 구분해야 한다 [59:03]
• 한 배치를 생성한 정책을 π_old로 두고 여러 번 업데이트한 뒤, 새 배치를 생성하면 그때의 정책이 새로운 π_old가 된다. 반면 π_ref는 학습 내내 고정되어 현재 정책과의 비교 기준으로 남는다 [59:24]

30. DPO의 β와 KL 페널티가 연결되는 이유

• Bradley–Terry 기반 선호 목적함수는 선택된 응답과 탈락한 응답의 보상 차이에 시그모이드를 적용한다. 보상을 현재 정책과 기준 정책의 확률비에 대한 로그에 β를 곱한 값으로 표현할 때, 이 β는 KL 페널티의 β와 연결된다 [1:01:11]
• 선호 손실은 선택된 응답의 생성 확률을 높여 보상 차이를 키우도록 유도한다. β가 크면 기준 정책에서 조금만 달라져도 시그모이드가 1에 가까운 영역에 도달하므로, 정책을 더 멀리 바꿀 유인이 줄어든다 [1:02:51]

31. 현재 정책·이전 정책·기준 정책의 서로 다른 역할

• 현재 정책 πθ는 업데이트 대상이고, 이전 정책 πold는 학습 배치를 생성한 정책이며, 기준 정책 πref는 출발점이 되는 기본 모델이다. 확률비에는 보통 이전 정책을, 기준 모델과의 편차 계산에는 기준 정책을 사용한다 [1:04:05]
• 이전 정책에 대한 확률비 클리핑과 기준 정책에 대한 제약을 함께 적용할 수 있다. 전자는 반복 업데이트의 변화 폭을 제한하고, 후자는 최초 기준 모델로부터의 편차를 제한한다 [1:04:28]

32. PPO의 기준선과 안정화 장치, 가치함수 학습의 부담

• PPO는 가치함수를 기준선으로 활용해 어드밴티지를 계산한다. 이전 정책에 대한 클리핑과 기준 정책에 대한 KL 페널티는 정책 변화를 제어하는 수단이며, 방법에 따라 하나만 사용하거나 함께 사용한다 [1:05:25]
• PPO 논문의 L은 최소화할 손실이 아니라 최대화할 목적함수다. 또한 R 표기는 보상이 아니라 확률비를 뜻하므로 수식의 의미를 구분해야 한다 [1:06:23]

33. GRPO는 응답 그룹의 보상으로 가치함수를 대체한다

• GRPO는 Group Relative Policy Optimization으로, 별도의 가치함수 없이 어드밴티지를 최대화한다. 같은 프롬프트에 여러 응답을 생성하고 서로 비교해 보상의 기준을 얻는다 [1:07:42]
• 정책이 생성한 G개 응답을 보상모델이나 결정적인 평가 방식으로 채점한다. 각 응답의 보상에서 그룹 평균을 빼고 그룹 보상의 표준편차로 나누면, 그룹 안에서 상대적으로 얼마나 좋은 응답인지 나타내는 어드밴티지를 얻는다 [1:10:24]

34. PPO는 가치모델과 GAE로 업데이트 신호를 만든다

• PPO의 예시 절차에서는 프롬프트로 응답을 생성하고, 프롬프트와 응답을 보상모델에 넣어 평가한다. KL 페널티를 보상의 일부에 포함하는 구현도 있다 [1:11:48]
• 가치모델은 현재 정책을 계속 따를 때 기대되는 최종 보상을 토큰별로 예측한다. 어드밴티지 계산에는 단순한 가치함수 차이보다 복잡한 GAE, 즉 Generalized Advantage Estimation을 사용할 수 있다 [1:12:24]

35. 고정하는 모델과 함께 학습하는 모델의 구분

• 기준 모델은 출발점의 상태로 고정한다. 보상모델을 사용하는 경우에도 미리 학습한 모델을 활용하며, 이 강화학습 단계에서 다시 학습하지 않는다 [1:13:34]
• 정책모델은 학습 대상이며, PPO에서는 가치모델도 정책과 함께 학습한다. 가치모델이 예측해야 할 기대 보상이 정책 변화에 따라 달라지므로 두 모델을 맞춰가야 한다 [1:13:50]

36. PPO와 GRPO가 공유하는 확률비·클리핑·KL 제어

• 두 목적함수에는 학습 중인 정책의 확률을 배치 생성에 사용한 이전 정책의 확률로 나눈 비율이 공통으로 등장한다 [1:14:42]
• 두 방식 모두 클리핑으로 이전 정책에서 지나치게 멀어지는 업데이트를 제한한다 [1:15:05]

37. 완성 응답 단위와 토큰 단위 어드밴티지의 차이

• GRPO는 일반적으로 완성 응답 단위로 어드밴티지를 계산한다. 수식에 토큰 인덱스가 있어도 토큰별 어드밴티지를 반드시 사용한다는 뜻은 아니며, 토큰별 기여를 구분하는 추가 수단이 필요해 응답 단위 계산이 흔히 사용된다 [1:15:55]
• GRPO의 응답별 어드밴티지는 그룹 보상의 평균과 표준편차로 계산한다. 반면 PPO는 정책과 함께 학습하는 토큰 단위 가치함수를 이용해 토큰별 어드밴티지를 계산한다 [1:16:53]

38. 응답 길이 정규화가 긴 오답을 선호하게 만드는 문제

• 수학·추론 문제에 GRPO를 적용한 사례에서는 답을 내기 전 추론 과정을 생성하도록 유도하면서 성능이 높아졌다. 그러나 학습 중 응답 길이는 성능이 정체된 뒤에도 계속 증가하는 경향을 보였다 [1:18:27]
• 응답 길이의 역수로 정규화하면 짧은 응답에 속한 토큰이 목적함수에 더 크게 기여한다. 따라서 짧은 응답에서는 양의 어드밴티지에 따른 증가와 음의 어드밴티지에 따른 감소가 모두 더 크게 작용한다 [1:20:22]

39. DAPO와 Dr. GRPO의 길이 정규화 수정

• DAPO는 모든 토큰이 동일한 비중으로 기여하도록 응답별 길이 대신 전체 출력의 토큰 수 합을 기준으로 정규화한다 [1:22:42]
• Dr. GRPO는 해당 길이 정규화 항을 없애는 방향을 취한다 [1:23:02]

40. 보상 표준편차로 나눌 때 생길 수 있는 편향

• 어드밴티지를 보상의 표준편차로 나누면 입력의 복잡도에 따라 서로 다른 표준편차가 적용될 수 있다. 이 차이가 학습에 편향을 도입할 가능성이 있다 [1:23:12]
• 이러한 문제를 줄이기 위한 선택지로 표준편차로 나누는 연산을 제거할 수 있다 [1:23:36]

41. 비대칭 클리핑으로 낮은 확률의 행동을 더 탐색한다

• 클리핑의 상한과 하한에 같은 ε을 사용하면, 원래 확률이 매우 낮은 행동은 확률을 늘릴 수 있는 절대적인 여유도 작다. 확률 0.001과 ε 0.2의 예시는 낮은 확률의 출력을 충분히 탐색하기 어려운 상황을 보여준다 [1:23:40]
• 탐색 다양성을 높이기 위해 클리핑의 하한과 상한에 서로 다른 ε을 선택할 수 있다 [1:24:24]

42. 최종 결과의 보상만으로는 중간 추론을 정확히 평가하기 어렵다

• GRPO는 그룹 평균을 기준으로 그래디언트의 잡음을 줄이고, 클리핑과 KL 페널티로 업데이트 크기를 제어한다. 그러나 일반적인 응답 단위 계산에는 명시적인 토큰별 기여 배분이 없다 [1:24:35]
• 밀폐된 상자 안에서 움직이는 곰 인형의 예시에서, 검증 가능한 최종 답만 평가하면 중간 추론의 옳고 그름은 보상에 직접 반영되지 않는다. 잘못된 중간 단계의 토큰도 최종 결과와 같은 어드밴티지를 받을 수 있다 [1:25:22]

43. 과정 감독은 단계별 라벨과 더 세밀한 평가를 요구한다

• 최종 결과 감독 대신 과정 감독을 적용하려면 토큰별 어드밴티지가 의미를 갖도록 별도의 라벨이 필요하다. 언급된 논문에서는 추론을 단계별로 나누고 각 단계를 따로 평가한다 [1:27:15]
• 단계 안에서도 정확히 무엇이 잘못됐는지 모호할 수 있다. 오류 위치를 더 세밀하게 구분하려다 보면 결국 토큰 수준까지 라벨링해야 하는 문제가 반복될 수 있으며, 토큰마다 보상을 주는 모델을 학습하기도 어렵다 [1:27:59]

44. 온폴리시 학습을 유지하면서 추가 모델 학습을 피하려는 제안

• 유지하려는 조건은 학습 대상 모델 자신의 출력으로 학습하는 온폴리시 방식이다. 동시에 최종 결과만으로 모든 토큰을 평가하는 한계를 보완하되, 이를 위해 추가 모델을 학습하지 않으려 한다 [1:28:51]
• 손실 측면에서는 다음 토큰 예측을 사용하는 방안이 제안된다. 이 구간에서는 구체적인 목적함수나 적용 절차까지 제시되지 않는다 [1:29:33]

45. 학생 분포를 기준으로 삼는 역방향 KL의 의미

• KL(P‖Q)는 P가 지배하는 세계를 Q로 근사할 때의 손실로 해석할 수 있으며, 두 분포의 순서를 바꾸면 값이 달라진다. 일반적인 증류는 교사를 첫 번째 인자로 두지만, 학생에 대한 온폴리시 학습에서는 학생을 첫 번째 인자로 두는 역방향 KL을 사용한다 [1:32:24]
• 역방향 KL은 교사 확률이 높아도 학생 확률이 거의 없는 토큰에는 작은 페널티를 준다. 반대로 교사 확률이 매우 낮은 토큰에 학생이 확률을 부여하면 큰 페널티가 생기며, 학생의 제한된 표현력과 결합해 교사 분포의 봉우리에 집중하는 모드 추구 성향으로 계속된다 [1:33:46]

46. 토큰별 교사 평가는 학생이 만든 문맥에 의존한다

• 학생이 프롬프트에 대한 응답을 생성하면, 교사는 매 토큰마다 그때까지의 문맥에서 해당 토큰이 얼마나 타당한지 평가한다. 밀봉된 상자 속 Teddy의 위치를 묻는 예시에서, 학생이 생성한 “climbs”는 교사 분포에서 확률이 낮아 페널티를 받는다 [1:35:03]
• 앞서 생성한 토큰도 이후 평가의 문맥에 포함된다. 이미 Teddy가 기어오른다는 문맥이 생기면 걷는 행동도 가능한 것으로 해석될 수 있어, 처음의 잘못된 전제에 이어지는 토큰이 모두 강하게 처벌되는 것은 아니다 [1:36:01]

47. 조밀한 학습 신호와 제한된 자원에서의 효율

• 온폴리시 증류는 최종 결과 단위 대신 토큰마다 학습 신호를 제공한다. SFT와 달리 학생이 직접 생성한 응답을 대상으로 학습하므로, 자신의 생성 과정에서 나타나는 문제를 개선할 수 있다 [1:36:31]
• 같은 계산량에서 더 좋은 성과를 얻는 결과가 드러난다. 조정할 가중치의 랭크를 달리한 실험에서도 SFT 이후 남아 있던 성능 차이가 온폴리시 증류를 거치며 크게 줄어, 파라미터와 계산 자원이 제한된 상황에서의 활용 가능성을 보여준다 [1:37:03]

48. 보상 모델 해킹 문제를 줄이지만 교사에 의존한다

• 별도의 보상 모델이 없으므로 그 보상 모델을 속이는 문제가 없다. 증류 손실을 0으로 낮추는 극단적인 경우에도 학생이 교사 분포와 일치하게 되므로, 목표에 부합하는 결과가 된다 [1:38:01]
• 최전선 모델을 학습할 때는 자신보다 강한 교사가 없을 수 있다. 또한 정답 라벨을 신호로 사용하는 GRPO와 달리 교사의 출력 분포에 의존하므로, 교사의 오류나 관심 도메인에 대한 불완전한 지식이 한계가 될 수 있다 [1:38:23]

49. 정답을 추가 문맥으로 제공하는 온폴리시 자기 증류

• 교사 분포는 학생이 생성한 토큰을 입력으로 넣는 티처 포싱 방식으로 얻는다. 이때 교사용 프롬프트에 정답과 정답에 이르는 내용을 추가하면, 더 많은 정보를 조건으로 다음 토큰 분포를 구할 수 있다 [1:39:34]
• 온폴리시 자기 증류는 프롬프트와 완성된 정답을 제공한 뒤 다시 답하도록 하는 방식으로 학생과 비교할 분포를 만든다. 같은 모델을 이 역할에 사용할 수 있어 별도의 더 강한 교사가 필요하다는 제약을 완화한다 [100:21] [1:39:49]

50. 빠른 모델의 성능 향상과 기존 지식 보존에 활용한다

• 이미 가장 강한 모델이라면 온폴리시 증류의 추가 이득이 작을 수 있지만, 과거에 학습한 지식을 잃지 않도록 자기 증류를 적용하는 용도로 활용할 수 있다 [101:01] [1:40:04]
• 같은 모델 계열에서는 빠른 Flash 모델에 온폴리시 증류를 적용하고, Pro 모델에는 GRPO처럼 더 많은 계산량과 정답 기반 신호를 사용하는 기법을 적용하는 구성이 가능하다. 이는 모델의 역할에 따른 활용 예시다 [101:37] [1:40:19]

51. 도메인별 전문가를 교사로 활용하는 다중 교사 증류

• 교사 한 모델의 능력에 묶이는 한계를 줄이기 위해, 도메인별 검증 가능한 보상으로 전문가 모델을 만든 뒤 해당 도메인의 전문가를 상대로 온폴리시 증류를 수행할 수 있다 [102:12] [1:41:25]
• 단일 모델에 여러 목표를 위한 강화학습 후처리를 적용하면 망각이 발생하거나 같은 파라미터를 여러 목적에 사용해야 할 수 있다. 도메인별 교사를 활용하는 다중 교사 방식은 이러한 상황에서 더 효율적인 방법으로 나타났다 [102:53] [1:42:26]

🧾 결론

• 좋은 보상을 정의하는 일과 그 보상을 적절한 토큰에 배분하는 일은 별개의 문제다. 최종 정답률만으로 중간 추론의 정확성을 보장할 수 없다.
• PPO와 GRPO의 차이는 가치모델 유무뿐 아니라 어드밴티지의 계산 단위와 학습 신호를 만드는 방식에 있다. 두 방식 모두 확률비와 정책 변화 제어를 활용한다.
• 온폴리시 증류는 학생 자신의 생성 과정에 토큰별 피드백을 제공하는 대안이다. 교사 품질과 계산 자원, 정답 검증 가능성을 함께 고려해 방법을 선택해야 한다.

📈 투자·시사 포인트

• 모델 개발의 효율을 평가할 때는 학습 대상 모델 외에도 가치모델·보상모델·교사모델의 유지와 평가 비용을 살펴볼 필요가 있다. 가치모델을 없애도 응답 생성과 채점 비용은 남는다.
• 응답 길이 증가는 추론 품질 개선의 충분한 증거가 아니다. 강의에서 소개한 GRPO 사례처럼 성능이 정체된 뒤에도 길이가 늘 수 있으므로 정확도와 생성량을 함께 확인해야 한다.
• 빠른 모델에는 온폴리시 증류를, 더 강한 모델에는 정답 기반 강화학습을 적용하는 역할별 구성이 제시된다. 이는 모든 모델에 같은 후처리 방식을 적용할 필요가 없음을 시사한다.
• 도메인별 전문가를 교사로 활용하는 방식은 여러 목표를 순차적으로 학습할 때의 망각과 자원 배분 문제에 대응하는 선택지다. 다만 이 자료만으로 특정 기업의 경쟁력이나 투자수익을 판단할 수는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

• 온폴리시 증류가 같은 계산량에서 더 좋은 성과를 냈다는 설명에는 구체적인 모델 규모·벤치마크·개선 폭이 제공되지 않는다. 다른 환경에서도 같은 효율을 보이는지는 확인이 필요하다.
• 인접한 가치함수 값의 차이는 토큰 기여도를 설명하기 위한 단순화다. 실제 GAE 계산과 KL 추정 방식의 세부 사항은 제공된 설명만으로 재현하기 어렵다.
• KL 페널티의 위치와 적용 방식은 구현마다 다르다. PPO와 GRPO를 비교할 때 강의의 예시 수식을 모든 구현의 공통 규칙으로 해석해서는 안 된다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 대상 과제의 평가 기준을 인간 선호와 검증 가능한 정답으로 구분하고, 사용할 보상 신호를 명시한다.
• 수식과 구현에서 현재 정책·배치 생성용 이전 정책·고정 기준 정책을 구분하고, 확률비와 KL 항의 비교 대상을 확인한다.
• PPO·GRPO·온폴리시 증류를 비교할 때 응답 생성량과 보조 모델 비용을 포함한 계산 예산을 맞추고 성능을 기록한다.
• 최종 정답률과 함께 중간 추론 오류, 응답 길이, 기존 능력의 유지 여부를 점검한다.

❓ 열린 질문

• 가치모델 없이 토큰별 기여를 더 정확하게 구분하면서, 추가 평가모델의 학습 부담도 피할 수 있는가?
• 교사가 학생보다 강하지 않거나 관심 도메인에서 틀릴 때, 자기 증류와 다중 교사 증류는 어느 정도까지 한계를 보완할 수 있는가?
• 동일한 계산 예산에서 정답 기반 강화학습과 온폴리시 증류의 조합은 과제와 모델 역할에 따라 어떻게 달라져야 하는가?