🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford AA203 19강은 PPO로 모델 프리 정책 최적화를 정리한 뒤, 동역학 모델의 불확실성을 계획에 반영해 샘플 효율적인 모델 기반 강화학습을 구현하는 원리를 설명한다.

📌 핵심 요점

1. 정책 그래디언트는 실제 강화학습 목적함수를 직접 높이지만, 온정책 데이터의 제한적 재사용 때문에 TRPO와 PPO는 대리 목적함수와 정책 이탈 제한을 도입한다.
2. PPO의 클리핑 목적함수는 새 정책과 이전 정책의 확률비를 제한해 지나친 업데이트를 억제하면서도 복구 방향의 경사는 유지한다.
3. 모델 기반 강화학습은 전이 데이터를 모아 동역학 모델을 학습하고 그 모델로 계획함으로써 실제 환경 상호작용을 줄이지만, 정책이 만드는 상태 분포 이동과 외삽 오차에 취약하다.
4. 우연적 불확실성과 인식적 불확실성을 구분하고, 베이지안 사후분포·가우시안 프로세스·부트스트랩 앙상블로 가능한 모델과 미래를 함께 평가해야 한다.
5. PETS는 신경망 앙상블, 교차엔트로피 계획, 후퇴 지평 재계획을 결합해 모델 불확실성 아래의 기대 보상을 계산하며 높은 샘플 효율성을 보여준다.

🧩 배경과 문제 정의

• 마지막 강의는 모델 프리 강화학습의 정책 최적화를 마무리한 뒤 모델 기반 강화학습으로 전환한다.
• 정책 그래디언트는 강화학습의 실제 목적함수를 직접 최적화하며 REINFORCE와 액터-크리틱 알고리즘의 기반이 된다.
• TRPO와 PPO는 대리 목적함수를 이용해 정책 업데이트를 수치 최적화 문제로 다루려는 접근이다.

🕒 시간순 섹션별 상세정리

1. 정책 최적화와 기존 강화학습 방법의 차이

• 정책 그래디언트는 실제 강화학습 목적함수의 기울기를 계산해 REINFORCE와 액터-크리틱을 도출하는 반면, Q-learning은 목적함수를 직접 최적화하지 않고 고정점 반복으로 가치를 갱신한다. [01:43]

2. TRPO와 PPO가 해결하려는 정책 업데이트 문제

• 온정책 학습은 새 데이터를 모으기 전 한 번의 업데이트에 그치기 쉬우므로, TRPO와 PPO는 같은 데이터로 여러 번 갱신할 수 있는 대리 최적화 문제를 만든다. [02:45]

3. 정책 그래디언트를 재현하는 대리 목적함수

• 대리 목적함수는 값 자체보다 미분 결과가 원하는 정책 그래디언트와 일치하도록 설계되며, 자동 미분으로 정책 파라미터의 갱신 방향을 얻는다. [04:45]

4. 중요도 샘플링 목적함수와 정책 그래디언트의 동치

• 현재·이전 정책의 행동 확률밀도 비율을 쓰는 중요도 샘플링 목적함수는 연쇄법칙에 따라 로그 정책 목적함수와 같은 그래디언트를 만든다. [05:38]

5. 이전 정책 데이터의 재가중과 연속 갱신

• 확률비는 이전 정책 데이터를 새 정책 기준으로 재가중해 연속 갱신을 가능하게 하지만, 원래 정책에서 지나치게 벗어나지 못하게 하는 조건이 필요하다. [07:47]

6. 정책 이탈을 제한하는 신뢰 영역과 KL 제약

• 신뢰 영역은 파라미터 거리 대신 두 정책의 행동 분포 사이 KL 발산을 델타 이내로 묶어, 유효한 어드밴티지 추정 주변에서 업데이트하도록 한다. [09:45]

7. TRPO의 성과와 실용적 한계

• TRPO는 연속 제어에서 신뢰도 높은 성과를 냈지만 제약 최적화와 켤레기울기법 구현이 복잡하고, 대규모 심층 신경망에서는 실용적 한계가 나타난다. [11:21]

8. TRPO에서 PPO로의 전환

• PPO는 TRPO의 정책 이탈 억제 목표를 유지하면서 복잡한 2차 최적화를 제거하며, 페널티 방식과 경험적 클리핑 방식으로 비제약 최적화를 수행한다. [13:10]

9. PPO 클리핑 목적함수의 구성

• PPO는 정책 비율과 어드밴티지의 곱 및 클리핑된 항 중 작은 값을 택하며, 비율을 1−ε와 1+ε 사이로 제한해 보수적인 하한 목적함수를 구성한다. [14:52]
• 클리핑 범위 밖의 불리한 변화를 포화시키되 이전 정책으로 복구하는 경사는 유지하는 구조 덕분에, PPO는 널리 쓰이는 강화학습 알고리즘이 됐다. [17:14]

10. 동적 계획법에서 모델 프리 학습으로

• 동적 계획법은 알려진 MDP와 동역학으로 한 단계 기댓값을 정확히 계산하지만, 모델을 알아야 한다는 제약 때문에 몬테카를로와 시간차 학습이 필요해진다. [18:37]

11. 몬테카를로와 시간차 학습의 차이

• 몬테카를로 return은 비편향이지만 분산이 크고 종결 상태까지 기다려야 한다. [19:20]
• 시간차 학습은 환경 표본 추출과 부트스트래핑을 결합해 한 단계 미래 추정치를 기준으로 현재 가치를 갱신한다. [19:56]

12. TD 업데이트와 함수 근사의 연결

• TD는 한 단계 표본으로 온라인 갱신하며 낮은 분산과 부트스트래핑 편향을 절충하고, 함수 근사에서는 개별 표가 아니라 파라미터 공간을 업데이트한다. [20:49]

13. 가치 기반 방법과 일반화 정책 반복

• 정책 평가와 탐욕적 정책 개선을 번갈아 수행하는 일반화 정책 반복은 SARSA·Q-learning으로 구현되며 심층 신경망을 사용하는 DQN까지 확장된다. [22:02]

14. 정책 경사와 공통 강화학습 골격

• 정책 경사는 높은 보상을 얻은 행동의 확률을 높이지만 분산이 커서 baseline과 액터-크리틱의 critic이 필요하다. [22:59]
• 샘플 생성과 return·가치·모델 추정 뒤 정책을 개선하는 공통 골격에서 Q-learning은 탐욕적 개선을, 정책 최적화는 경사 기반 개선을 사용한다. [24:44]

15. 알고리즘 선택을 좌우하는 문제 조건

• 온정책·오프정책 여부, 환경 상호작용 비용, 연속·이산 행동 공간, 종결 상태 유무가 데이터 재사용성과 알고리즘 선택을 좌우한다. [25:40]

16. 샘플 효율성에 따른 방법론의 스펙트럼

• 온정책 정책 경사보다 액터-크리틱이 더 적은 환경 표본을 요구하며, 오프정책 Q-learning은 다른 정책이나 오프라인 데이터를 재사용해 샘플 효율성을 높인다. [26:15]

17. 모델 기반 강화학습의 기본 레시피

• 탐색 정책으로 상태·제어·다음 상태 전이를 모으고, 회귀나 지도학습으로 동역학 모델을 적합한 뒤 기존 최적제어 도구로 계획한다. [28:43]
• 제곱오차 최소화나 로그우도 최대화로 학습한 모델을 이용하는 단순한 계획 절차도 일부 문제에서는 작동한다. [29:57]

18. 동역학 모델이 일반화하는 조건과 한계

• 제한된 파라미터의 올바른 함수 클래스를 가정하면 시스템 식별이 일반화될 수 있지만, 고용량 비선형 모델은 미관측 영역에서 잘못 외삽할 수 있다. [30:41]

19. 계획 정책이 만드는 상태 분포 이동

• 탐색 정책은 상태 공간 일부만 방문하므로 학습 데이터와 동역학 모델도 제한된 상태 분포를 중심으로 형성된다. [31:49]
• 학습 모델로 만든 새 계획 정책은 다른 상태 분포를 유도하며, 모방학습의 공변량 이동과 같은 일반화·외삽 문제가 생긴다. [32:46]

20. 재계획·데이터 갱신과 불확실성 정량화

• 가까운 미래만 계획하고 실제 상태를 다시 관측하는 후퇴 지평 방식은 먼 미래로 누적되는 모델 오차를 줄인다. [33:29]
• 계획 정책의 전이를 데이터에 추가해 모델을 반복 적합해도 실패 가능성은 남으므로, 모델의 신뢰 범위를 다루는 불확실성 정량화가 필요하다. [34:39]

21. 고용량 동역학 모델의 과적합과 최적화 위험

• 고용량 모델은 관측점을 잘 맞추면서도 데이터 사이와 바깥에서 크게 틀릴 수 있고, 계획기는 보상을 과대예측한 영역을 선택해 외삽 오차를 증폭할 수 있다. [36:22]

22. 불확실성을 이용한 모델 오류 완화

• 불확실성은 하나의 다음 상태가 아니라 가능한 미래 상태와 발생 확률을 함께 나타내는 분포로 표현된다. [37:44]
• 행동은 단일 예측 결과가 아니라 모델 분포 아래의 기대값으로 평가해 긍정적 예측 오류의 영향을 억제할 수 있다. [38:28]

23. 절벽 환경에서의 후보 궤적 비교

• 절벽 환경에서는 목표까지의 거리뿐 아니라 실패 위험이 중요하며, 후보 궤적 종점 주변의 범위는 예상 도달 위치의 불확실성을 나타낸다. [39:57]

24. 예측 불확실성이 기대 보상에 미치는 영향

• 평균 종착점이 목표에 가까워도 예측 분산이 커 절벽 밖에 도달할 가능성이 높으면 기대 보상이 낮아지므로, 궤적을 모델 아래의 기대 보상으로 비교해야 한다. [40:49]

25. 출력분포의 엔트로피를 이용한 불확실성 표현

• 이산 상태에는 범주형 분포를, 연속 상태에는 평균과 분산을 가진 가우시안 분포를 사용하며, 출력 엔트로피나 표준편차를 불확실성 척도로 삼을 수 있다. [42:25]

26. 우연적 불확실성과 인식적 불확실성의 차이

• 출력 엔트로피는 관측 과정에 내재한 잡음인 우연적 불확실성을 주로 나타낸다. [42:43]
• 같은 데이터에 부합하는 여러 모델이 공존하는 인식적 불확실성은 출력 엔트로피만으로 부족하며, 베이지안 통계가 대표적인 대안이 된다. [44:46]

27. 파라미터 사후분포로 표현하는 모델 불확실성

• 베이지안 접근은 하나의 최적 파라미터 대신 데이터와 양립할 수 있는 파라미터들의 사후분포를 유지한다. [45:34]
• 미래 예측은 모든 파라미터의 예측을 그 파라미터가 맞을 확률로 가중해 적분한 예측 사후분포로 계산한다. [46:34]

28. 회귀 사례에서 데이터가 불확실성을 줄이는 과정

• 관측점이 적으면 절편과 기울기의 사후분포가 넓고 여러 회귀선이 가능하며, 이를 평균화하면 넓은 예측 신뢰구간이 형성된다. [48:44]
• 데이터가 충분해지면 파라미터 추정과 예측 불확실성이 참값 주변으로 집중된다. [49:37]

29. 가우시안 프로세스와 함수 분포

• 가우시안 프로세스는 가능한 함수들에 확률을 부여하고, 관측 데이터가 들어오면 사전분포를 데이터와 일치하는 사후분포로 해석적으로 갱신한다. [50:36]
• 데이터는 다변량 가우시안으로 모델링되며, 표본 벡터의 각 성분을 위치별 함수값으로 대응시킨다. [51:10]
• 표본 차원을 늘리면 더 촘촘한 함수 근사가 만들어지며, 이것이 함수에 대한 분포라는 표현의 실질적 의미다. [52:20]

30. 고차원 표본과 함수값의 대응

• 고차원 가우시안 표본 벡터를 미세한 격자의 함수값으로 순서대로 펼치면 연속 함수에 가까운 표현을 구성할 수 있다. [54:55]

31. 가우시안 프로세스의 데이터 효율성과 확장 한계

• 가우시안 프로세스는 적은 데이터에서도 정확한 사후분포와 정돈된 신뢰구간을 제공한다. [55:38]
• 정확한 계산에는 데이터 수에 따라 커지는 행렬 역산이 필요해 고차원·대규모 데이터로의 확장이 어렵다. [56:48]

32. 부트스트랩 앙상블의 불확실성 추정 원리

• 여러 모델을 같은 데이터에 독립적으로 학습시키면 관측 영역에서는 예측이 비슷하지만 데이터에서 멀어질수록 달라지며, 모델 간 불일치가 불확실성 신호가 된다. [58:15]

33. 앙상블 예측 결합과 사후분포 표현

• 여러 신경망의 서로 다른 다음 상태 예측을 평균해 최종 예측값을 만들 수 있다. [58:47]
• 무작위 초기화와 확률적 경사하강법은 모델들을 서로 다른 θ와 국소 최솟값으로 보내 사후분포의 경험적 표본처럼 작동하게 한다. [1:00:00]
• 해 공간이 다봉형이면 독립 앙상블이 해석적 분포 계산 없이도 사후분포의 여러 의미 있는 모드를 포착할 수 있다. [1:01:12]

34. 무작위 학습과 디랙 분포의 결합

• 신경망 복사본마다 무작위 초기화와 확률적 학습을 적용해 구별되는 최종 θ를 얻는다. [1:02:10]
• 각 θ에 확률질량을 집중한 디랙 분포들을 평균하면 실제 파라미터 사후분포를 이산적으로 근사할 수 있다. [1:03:01]

35. 예측 사후분포와 앙상블 평균의 연결

• 예측 사후분포는 각 파라미터의 예측을 그 파라미터가 맞을 확률로 가중해 평균한다. [1:03:53]
• 앙상블은 연속 사후분포 전체의 적분 대신 학습된 θ들에 놓인 디랙 근사로 같은 가중 평균 구조를 구현한다. [1:04:43]

36. 모델 기반 강화학습의 기본 절차와 불확실성

• 정책으로 전이를 수집하고 모델을 학습한 뒤 그 모델로 계획하는 것이 모델 기반 강화학습의 기본 순환이다. [1:05:00]
• 모델 예측의 불확실성을 추정하면 후보 행동을 평가할 때 계획 결과의 신뢰도까지 반영할 수 있다. [1:05:20]

37. 사후분포 표본을 이용한 기대 보상 계산

• 계획기가 만든 후보 행동 시퀀스를 동역학 모델의 근사 파라미터 사후분포와 결합해 평가한다. [1:05:44]
• 사후분포에서 모델 하나를 뽑아 궤적과 누적 보상을 계산한다. [1:06:08]
• 여러 모델에서 생성된 미래 궤적과 보상을 평균해 모델 불확실성 아래의 기대 보상을 근사한다. [1:08:18]

38. 불확실성 기반 계획의 적용 조건

• 선형 시불변 모델을 충분히 정확히 추정할 수 있다면 추가적인 불확실성 정량화가 필요하지 않을 수 있다. [1:08:46]
• 복잡한 동역학을 고용량 모델로 근사할 때는 불확실성 영향이 커지며, 파라미터 사후분포 기반 기대값이 이를 다루는 선택지가 된다. [1:09:55]

39. PETS의 앙상블 기반 모델 예측 제어

• PETS는 신경망 앙상블로 모델 사후분포를 근사하고, 교차엔트로피 방법으로 만든 후보 계획을 여러 모델의 미래 예측으로 평가한다. [1:10:55]
• 전체 행동 계획 중 첫 행동만 실행하고 새 상태에서 다시 계획하는 후퇴 지평 방식을 사용한다. [1:11:23]
• 실제 환경 상호작용을 모델 내부 예측으로 대체해 PPO·Soft Actor-Critic과 비슷한 수렴 성능에 더 적은 환경 시간 단계로 도달하는 샘플 효율성을 추구한다. [1:12:56]

40. 문제에 따른 알고리즘 선택

• 특정 방법을 일률적으로 선호하기보다 문제에 맞춰 선택해야 하며, 현재는 PPO와 Soft Actor-Critic 같은 모델 프리 방법이 기술적으로 더 성숙하다. [1:13:40]
• 개방 루프·폐루프·동적계획법·강화학습·모방학습은 서로 배타적인 경쟁 방법이라기보다 결합 가능한 도구들이다. [1:14:54]

41. 세계 표현과 고수준 확률적 의사결정

• 자율주행 의사결정은 의미론적 지도 같은 세계 표현에서 시작한다. [1:15:26]
• 차선 변경 같은 불확실한 고수준 행동은 폐루프 동적계획법 계열이 결정하고, 그 결과를 하위 계층의 목표로 전달한다. [1:16:05]

42. 고수준 목표의 궤적 변환과 추적

• 개방 루프 기법은 차선 변경 목표를 동역학·안전 제약이 포함된 세밀한 참조 궤적으로 변환한다. [1:16:48]
• 모델 예측 제어는 더 정밀한 동역학과 안전 제약을 반영하며 참조 궤적을 시간에 따라 추적한다. [1:17:37]

43. 하드웨어 실행과 스택 전반의 안전 통합

• PID 제어는 계획과 추적 결과가 실제 액추에이터에서 목표 궤적을 따르도록 만드는 마지막 실행 계층을 맡는다. [1:18:41]
• Hamilton-Jacobi 도달 가능성 분석은 방문해서는 안 되는 상태의 안전 정보를 계획과 추적 모듈에 제공한다. [1:19:02]
• 동적계획법, 개방 루프 계획, 모델 예측 제어, PID, 안전 분석은 하나의 자율 시스템 스택에서 함께 결합된다. [1:19:52]

44. 제어 모듈을 통합적으로 이해하는 관점

• 개별 제어·학습 개념뿐 아니라 모듈의 결합 방식과 각 접근의 장단점을 상위 수준에서 판단하는 역량이 중요하다. [1:20:01]
• 엔드투엔드 학습은 인식에서 제어 계층으로 확장되고 있지만 현재는 주로 개방 루프 제어와 폐루프 궤적 추종 사이까지 도달했다. [1:20:48]
• 적극적인 엔드투엔드 접근에서도 세밀한 제어, 강제 제약, 실제 환경 안정성이 필요한 저수준 구성요소는 대체로 유지된다. [1:21:06]

🧾 결론

• 모델 프리와 모델 기반 강화학습의 핵심 차이는 모델 유무만이 아니라, 데이터를 재사용하고 불확실한 예측을 의사결정에 반영하는 방식에 있다.
• 고용량 동역학 모델에서는 훈련 적합도보다 미관측 영역의 불확실성과 계획기가 악용할 수 있는 긍정적 예측 오류를 관리하는 일이 중요하다.
• 실제 시스템은 동적계획법, 개방 루프 계획, 모델 예측 제어, PID, 안전 분석을 계층적으로 결합하며, 하나의 알고리즘이 전체 스택을 대체한다고 보기 어렵다.

📈 투자·시사 포인트

• 실제 환경 상호작용 비용이 큰 분야에서는 최종 성능뿐 아니라 같은 성능에 도달하기까지 필요한 환경 시간 단계가 핵심 평가 지표가 된다.
• 불확실성 정량화, 앙상블 동역학, 재계획 능력은 고용량 모델을 실제 제어에 적용할 때 신뢰도를 좌우하는 기반 역량으로 해석할 수 있다.
• 모델 프리 알고리즘은 현재 더 성숙하고 모델 기반 강화학습은 발전 중이므로, 기술 평가는 유행보다 문제 조건·샘플 효율성·안전 계층 통합 여부를 함께 봐야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• PETS와 PPO·Soft Actor-Critic의 비교 방향은 제시되지만, 과제별 수치·하이퍼파라미터·평가 조건은 제공되지 않아 모델 기반 방법의 보편적 우위를 단정할 수 없다.
• 부트스트랩 앙상블은 서로 다른 최적화 결과를 사후분포의 표본처럼 사용하지만, 실제 다봉형 사후분포를 얼마나 충실하게 포착하는지는 별도 검증이 필요하다.
• 출력분포의 엔트로피는 주로 우연적 불확실성을 나타내므로, 미관측 영역에서 커지는 인식적 불확실성까지 자동으로 설명한다고 볼 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 행동 공간, 에피소드 구조, 환경 상호작용 비용, 동역학 식별 가능성을 기준으로 모델 프리와 모델 기반 접근의 적합성을 먼저 분류한다.
• 같은 환경 시간 단계와 평가 조건에서 PPO·Soft Actor-Critic 기준선과 모델 기반 방법의 학습 속도 및 최종 성능을 비교한다.
• 학습된 동역학 모델의 관측 분포 내부 오차와 미관측 영역의 외삽 오차를 분리해 검사한다.
• 우연적·인식적 불확실성을 구분하고, 앙상블 예측 분산이 실제 모델 오류와 함께 증가하는지 검증한다.

❓ 열린 질문

• 어떤 문제 규모와 데이터 조건에서 PETS의 샘플 효율성 이점이 PPO나 Soft Actor-Critic보다 일관되게 유지되는가?
• 베이지안 사후분포, 가우시안 프로세스, 부트스트랩 앙상블 가운데 고차원 동역학의 인식적 불확실성을 가장 실용적으로 포착하는 방법은 무엇인가?
• 엔드투엔드 학습이 개방 루프 계획과 폐루프 추종을 넘어 저수준 제어·강제 안전 제약까지 안전하게 대체하려면 어떤 조건이 필요한가?