Stanford AA203 Optimal and Learning-Based Control

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford AA203 Optimal and Learning-Based Control를 중심으로, 강의는 샘플링을 활용하는 학습 맥락에서 시간차 학습을 소개하고, 임의로 초기화된 가치함수를 반복적으로 갱신하는 접근을 다룬다를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 강의는 샘플링을 활용하는 학습 맥락에서 시간차 학습을 소개하고, 임의로 초기화된 가치함수를 반복적으로 갱신하는 접근을 다룬다.
2. 상태에서 선택한 행동과 이후 관측을 바탕으로 행동가치를 갱신하며, 이 추정값이 정책을 평가하고 개선하는 기준으로 작동한다.
3. 그리드 월드와 네 방향 행동을 예로 들어 탐욕 정책, 최적 정책, 학습 중 행동 선택이 어떻게 연결되는지 설명한다.
4. 행동을 생성한 정책과 평가·학습하려는 정책이 다를 수 있다는 점을 통해 정책 간 학습 구분과 훈련 성능 해석의 중요성을 제시한다.
5. 작은 장난감 환경을 넘어가면 가치함수 근사가 필요하며, 심층학습과 강화학습을 결합할 때 롤아웃 표본 사이의 높은 상관성이 핵심 문제로 등장한다.

🧩 배경과 문제 정의

• 모방학습은 전문가 행동을 재현하지만, 강화학습은 환경과의 시행착오를 통해 정책을 학습한다.
• 정확한 동적계획법은 상태 전이 확률을 알아야 하므로, 동역학 모델이 없는 환경에서는 상호작용 표본을 활용하는 Monte Carlo와 temporal-difference 학습이 필요하다.
• 가치 기반 모델 프리 강화학습의 핵심 과제는 정책의 가치를 예측하는 데서 나아가, SARSA와 Q-learning 같은 알고리즘으로 최적 정책을 찾는 것이다.

🕒 시간순 섹션별 상세정리

1. 모방학습에서 가치 기반 강화학습으로

• 모방학습은 전문가 행동의 재현을 목표로 하지만, 강화학습은 환경과의 시행착오에서 성과를 높이는 행동을 학습한다. [00:18]
• 이후의 핵심 범위는 모델 프리 강화학습에 속하는 가치 기반 방법이며, 구체적인 알고리즘 범주를 차례로 다룬다. [00:34]

2. 예측과 제어의 차이 및 정확한 방법의 한계

• 예측은 주어진 정책의 가치를 추정하는 문제이고, 제어는 성능 척도를 최적화하는 정책 자체를 찾는 문제다. [01:21]
• 정책 반복과 가치 반복은 MDP를 정확하게 풀 수 있지만, 상태와 행동에 따른 전이 확률을 완전히 알아야 한다는 제약이 있다. [01:40]

3. 롤아웃과 벨만 방식의 가치 계산

• 롤아웃 트리의 흰 노드는 상태, 검은 노드는 가능한 행동을 나타내며, 정책의 상태 가치는 가능한 미래 말단 결과의 기댓값에 해당한다. [02:52]
• 동적계획법은 무한한 미래를 직접 시뮬레이션하는 대신 즉시 보상과 다음 상태의 할인된 가치를 결합하는 한 단계 계산을 사용한다. [03:37]

4. Monte Carlo와 TD 학습의 업데이트 차이

• Monte Carlo는 에피소드가 종료될 때까지 관측한 모든 보상을 합산한 반환값 G_t를 목표로 사용하므로, 업데이트 전에 말단 상태에 도달해야 한다. [04:38]
• TD 학습은 실제 한 단계 보상을 표본으로 얻고 다음 상태의 추정 가치를 부트스트랩해, Monte Carlo와 동적계획법의 요소를 결합한다. [05:00]

5. 일반화 정책 반복과 Monte Carlo 제어

• 일반화 정책 반복은 현재 정책의 가치를 추정하는 정책 평가와, 갱신된 가치로 더 나은 정책을 만드는 정책 개선을 번갈아 수행한다. [06:31]
• 두 과정을 반복하면 최적 가치 함수와 대응 정책으로 수렴하는 것을 목표로 하며, 제어 문제를 반복적인 평가·개선 구조로 바꾼다. [07:03]

6. SARSA와 오프폴리시 학습으로 이어지는 로드맵

• 가치 기반 방법의 대표 알고리즘인 SARSA와 Q-learning을 통해 온폴리시와 오프폴리시 학습의 차이를 구체화한다. [08:11]
• 가치 함수 근사는 큰 상태·행동 공간으로 알고리즘을 확장하고, 이후 심층 강화학습 방법과 응용으로 연결된다. [08:37]

7. TD 학습의 분산과 온라인 학습 이점

• Monte Carlo 반환은 에피소드 끝까지 이어지는 모든 확률적 전이를 포함하지만, TD 목표는 한 번의 전이만 표본화하므로 일반적으로 분산이 더 낮다. [09:42]
• TD 학습은 한 단계마다 가치 추정치를 갱신할 수 있어 온라인 학습이 가능하고, 말단 상태가 없는 불완전한 시퀀스에서도 작동한다. [10:53]

8. SARSA의 TD 백업과 다섯 요소

• SARSA는 현재 Q 추정치를 즉시 보상과 다음 상태·행동의 Q 추정치로 구성된 TD 목표 방향으로 이동시킨다. [11:54]
• 업데이트에는 현재 상태 S, 현재 행동 A, 보상 R, 다음 상태 S′, 다음 행동 A′가 필요하며, 이 다섯 요소의 머리글자가 SARSA라는 이름을 만든다. [12:25]

9. SARSA 의사코드와 epsilon-greedy 행동 선택

• Q 함수를 0과 같은 임의 값으로 초기화한 뒤, 현재 상태에서 epsilon-greedy 정책에 따라 행동을 선택하며 학습 루프를 시작한다. [13:56]
• epsilon 확률로 무작위 행동을 선택하고 1-epsilon 확률로 Q 값이 가장 큰 행동을 선택해 탐색과 활용을 함께 유지한다. [14:32]

10. 한 단계 업데이트와 바람 부는 그리드월드

• SARSA의 Q 함수는 환경에서 한 단계 진행한 결과만으로 갱신되므로, 전체 에피소드 대신 국소적인 선행 관측을 반복해 가치 정보를 전파한다. [16:27]
• 바람 부는 그리드월드에서는 에이전트가 네 방향으로 움직이지만, 열마다 다른 세기의 바람이 아래에서 위로 밀어 올려 실제 이동 경로를 바꾼다. [17:11]

11. 최단시간 보상과 직관에 반하는 최적 경로

• 목표는 시작점에서 목표 셀까지 걸리는 시간을 최소화하는 것이며, 매 시간 단계에 -1 보상을 부여해 짧은 경로에 더 높은 반환을 준다. [18:00]
• 바람이 강한 구간에서는 아래쪽으로 곧장 이동하려는 경로가 계속 위로 밀려 목표에 닿지 못하므로, 먼저 천장으로 이동한 뒤 되돌아오는 경로가 최적이다. [19:06]

12. SARSA의 수렴과 TD 백업의 가치 전파

• SARSA를 그리드월드에 적용하면 바람의 영향을 우회하는 최적 정책으로 수렴하며, 성공 횟수는 환경과 상호작용한 시간 단계에 따라 증가한다. [19:37]
• 초기 Q 함수와 정책은 무작위여서 목표 도달이 거의 없지만, 우연한 첫 성공 이후 TD 백업이 좋은 결정의 가치를 시작점 방향으로 전파한다. [20:21]

13. 비종료 정책에서 Monte Carlo가 실패하는 이유

• 그리드월드의 에피소드는 목표에 도달해야 종료되므로, 무작위 탐색이나 잘못된 정책이 목표를 찾지 못하면 Monte Carlo 업데이트에 필요한 반환을 얻을 수 없다. [21:32]
• 정책이 순환 경로에 갇히면 Monte Carlo는 종료를 기다리느라 Q 함수를 갱신하지 못하지만, TD는 매 단계 누적되는 음의 보상을 즉시 가치에 반영한다. [22:19]

14. 온폴리시와 오프폴리시의 구분

• 온폴리시는 환경에서 현재 행동을 생성하는 정책 자체를 평가하거나 개선하지만, 오프폴리시는 데이터를 만든 정책과 다른 목표 정책을 평가하거나 개선한다. [23:47]
• SARSA는 epsilon-greedy 정책으로 환경을 탐색하면서 바로 그 epsilon-greedy 정책의 Q 값을 개선하므로 온폴리시 알고리즘이다. [25:34]

15. 오프폴리시 학습이 필요한 세 가지 이유

• 로봇처럼 실제 환경과 무한히 상호작용할 수 없는 분야에서는 인간이나 다른 에이전트가 만든 관측으로 별도의 목표 정책을 학습할 수 있어야 한다. [27:08]
• 정책이 순차적으로 개선될 때 과거 정책들이 생성한 데이터를 버리지 않고 재사용하면, 제한된 상호작용에서 더 많은 학습 정보를 얻을 수 있다. [27:55]

16. 목표 정책의 대안 후속 행동

• 행동 정책 μ가 현재 상태·행동, 보상, 다음 상태와 실제 다음 행동으로 구성된 사건 묶음을 생성하며, 이는 SARSA에서 사용한 상호작용 방식과 같다. [30:04]
• 목표 정책에서 별도의 후속 행동을 선택하면 현재 Q 값을 실제 다음 행동이 아니라 그 대안 행동의 가치 쪽으로 갱신할 수 있다. [30:27]

17. Q-learning의 행동 정책과 목표 정책

• Q-learning의 목표 정책은 Q 값을 최대화하는 그리디 정책이며, 학습 대상은 이 정책이 나타내는 최적 정책이다. [31:31]
• 행동 정책은 입실론-그리디로 정의되어 일부 행동을 무작위로 선택하므로, 환경 탐색과 학습 목표가 서로 분리된다. [31:58]

18. 최대 Q 값으로 구성되는 TD 목표

• 오프폴리시 TD 목표는 즉시 보상과 목표 정책이 선택한 대안 후속 행동의 할인된 Q 값으로 구성된다. [32:25]
• 목표 정책의 행동이 Q에 대한 argmax이므로 후속 행동의 Q 값은 행동 전체에 대한 최대 Q 값이 되고, TD 목표는 보상과 할인된 최대 Q 값의 합으로 단순화된다. [33:15]

19. Q-learning 갱신 절차

• 각 상태에서 입실론-그리디 행동을 선택해 보상과 다음 상태를 관측한 뒤, 최대 후속 Q 값을 사용하는 갱신을 반복한다. [34:41]
• 환경에서 실행되는 다음 행동은 행동 정책이 만들지만, 갱신에 사용되는 후속 행동은 목표 정책이 가상으로 선택한 그리디 행동이다. [35:50]

20. Q-learning의 최적성 수렴

• 일정한 정규성 가정 아래 Q-learning은 최적 행동 가치 함수로 수렴하며, 그 결과 최적 정책을 학습할 수 있다. [37:24]
• 수렴 결과는 행동 정책과 목표 정책의 차이를 이해하는 기반이지만, 실제 학습 중 성능은 탐색 행동의 영향을 별도로 받는다. [37:52]

21. 절벽 환경의 위험과 보상 구조

• 수정된 그리드월드는 시작점에서 목표점까지 이동하되, 경로 아래쪽에 실패 영역인 절벽을 배치해 SARSA와 Q-learning의 차이를 드러낸다. [38:20]
• 일반 이동은 매 시점 -1의 보상을 받고 절벽에 빠지면 -100을 받으므로, 짧은 경로와 탐색 중 추락 위험 사이에 뚜렷한 절충이 생긴다. [38:41]

22. SARSA와 Q-learning이 학습하는 정책의 차이

• 훈련 에피소드의 누적 보상에서는 SARSA가 Q-learning보다 높은 성능을 보이지만, 이 차이는 최종 그리디 경로의 길이만으로 설명되지 않는다. [39:19]
• 온폴리시 SARSA는 탐색까지 포함한 최적 입실론-그리디 정책을 학습하는 반면, 오프폴리시 Q-learning은 행동 정책과 분리된 최적 그리디 정책을 학습한다. [39:45]

23. 탐색이 만드는 안전 경로와 훈련 손실

• Q-learning의 최종 경로는 절벽 가까이 지나가므로 입실론-그리디 탐색 중 무작위 행동이 발생하면 절벽에 빠져 큰 음의 보상을 받을 수 있다. [40:38]
• SARSA는 탐색의 불확실성을 가치 갱신에 반영해 천장 쪽으로 우회하는 더 안전한 경로를 선택하며, 그 결과 훈련 중 누적 보상이 높아진다. [41:08]

24. 안전성 해석과 평가 방식의 주의점

• SARSA가 항상 더 안전하게 수렴하는 것은 아니며, 절벽 사례의 결과는 입실론과 학습률을 포함한 하이퍼파라미터 설정에 의존한다. [41:23]
• 입실론을 감쇠시키고 무작위성 및 스텝 크기에 적절한 조건을 두면 SARSA도 최적 정책으로 수렴할 수 있다. [41:39]

25. 고차원 환경으로의 확장 문제

• 작은 장난감 환경에서 작동한 표 기반 알고리즘은 Go나 현실 세계처럼 상태 공간이 거대한 시스템으로 확장되어야 한다. [45:57]
• Go의 보드 구성은 약 10의 170제곱 개에 이를 수 있고 현실 환경은 더 고차원일 수 있어, 모든 상태를 개별적으로 다루는 방식은 실용적이지 않다. [46:29]

26. 표 형식 가치 함수의 두 가지 병목

• 표 형식 가치 함수는 각 상태 또는 상태-행동 쌍마다 별도의 값을 저장하므로 상태 수가 커지면 메모리 요구량이 감당하기 어려워진다. [47:21]
• 각 항목을 갱신하려면 해당 상태를 직접 방문해야 하므로 차원의 저주가 발생하고, 방대한 상태 공간에서는 충분한 경험을 모으기 어렵다. [48:17]

27. 가치 함수 근사의 압축과 일반화

• 가치 함수 근사는 조회 테이블을 파라미터 θ를 가진 함수로 대체해 상태를 실수 가치로, 또는 상태와 행동을 Q 값으로 매핑한다. [48:35]
• 상태별 값을 모두 저장하지 않고 파라미터만 저장해 메모리 비용을 압축하며, 한 상태에서 얻은 정보가 유사한 상태의 가치 추정에도 반영될 수 있다. [49:32]

28. 가치 함수 근사의 출력 구조

• 상태 가치 근사기는 상태 하나를 입력받아 V 값을 출력하고, 기본 Q 근사기는 상태와 행동을 함께 입력받아 해당 쌍의 Q 값을 출력한다. [50:59]
• 이산 행동 공간에서는 상태만 입력받아 가능한 모든 행동의 Q 값을 동시에 출력하는 구조도 사용할 수 있지만, 연속 행동 공간에는 그대로 적용하기 어렵다. [51:54]

29. 다중 Q 출력의 계산 효율

• 상태-행동별로 Q 값을 하나씩 출력하면 그리디 행동을 찾기 위해 가능한 행동 수만큼 함수를 호출하고 argmax를 계산해야 한다. [54:15]
• 상태 입력 한 번으로 모든 이산 행동의 Q 값을 출력하면 한 번의 추론 결과에서 최대값을 선택할 수 있어 행동 수가 많을 때 계산량을 줄인다. [55:00]

30. 가치 추정을 위한 회귀와 경사하강법

• 가치 함수 학습은 파라미터화된 예측값과 정책의 참 가치 사이의 평균제곱오차 같은 목적함수를 최소화하는 회귀 문제로 구성된다. [56:29]
• 확률적 경사하강법은 예측 오차와 가치 함수의 파라미터 기울기를 이용해 스텝 크기 α만큼 θ를 음의 기울기 방향으로 갱신한다. [57:14]

31. Monte Carlo와 TD 목표를 이용한 실전 학습

• 참 가치 함수는 직접 알 수 없으므로 예측값과 참값의 오차를 그대로 최소화한다는 정의만으로는 실제 학습 목표를 만들 수 없다. [58:31]
• Monte Carlo 방식은 관측된 반환을 회귀 목표로 사용해 파라미터를 갱신하고, TD 방식은 현재 추정한 미래 가치를 포함한 TD 목표를 대신 사용한다. [58:45]

32. 표형 가치 갱신에서 함수 근사 회귀로

• 표형 방식은 보상의 합인 반환값이나 즉시 보상과 추정 미래 가치를 결합한 TD 타깃으로 조회표의 개별 항목을 갱신한다. [1:00:00]
• 함수 근사에서는 반환값과 TD 타깃을 입력·출력 쌍의 정답으로 사용해 회귀 문제를 구성하고, 조회표 항목 대신 파라미터 θ를 갱신한다. [1:00:42]

33. Q 함수 근사와 Fitted Q Iteration

• Q 함수 근사는 예측 Q 값과 실제 Q 함수의 오차를 최소화하려 하지만 실제 Q 함수는 관측할 수 없어 몬테카를로 반환이나 TD 타깃으로 대체한다. [1:02:23]
• TD 타깃을 회귀 목표로 사용하는 방식은 Fitted Q Iteration이며, 수집한 전이 데이터에 Q 함수를 적합해 정책 평가를 수행한다. [1:03:03]

34. 일반화된 정책 반복과 강화학습 골격

• 정책 평가 단계에서 환경 데이터를 수집해 TD 타깃을 잘 추정하는 Q 함수를 학습하고, 갱신된 Q 함수로 ε-greedy 정책 개선을 수행한다. [1:03:16]
• Fitted Q-learning은 정책으로 전이를 생성하고 TD 회귀 타깃을 계산한 뒤 Q 함수를 갱신하며, 마지막에는 ARGMAX 방식으로 정책을 개선한다. [1:04:33]

35. 이미지 입력을 사용하는 Deep Q-Network

• DQN은 약 2014년부터 Atari 게임을 이미지로 직접 관측하고 제어하는 데 활용되며, 심층학습의 표현 능력과 강화학습을 결합한 주요 성과가 됐다. [1:05:46]
• 원시 이미지를 합성곱 신경망의 여러 층으로 처리한 뒤 현재 상태에서 가능한 각 행동의 Q 값을 출력해, 하나의 네트워크가 모든 이산 행동의 가치를 제공한다. [1:06:58]

36. 심층 Q 학습을 불안정하게 만드는 두 문제

• Experience replay와 fixed Q target은 DQN 성공에 핵심적인 안정화 장치이며, 각각 순차 표본의 상관성과 회귀 타깃의 변동 문제를 다룬다. [1:08:14]
• 에이전트의 연속된 전이는 서로 강하게 상관돼 IID 데이터를 가정하는 일반적인 회귀 학습에 불리하고, θ가 갱신될 때 TD 타깃도 함께 변해 최적화가 불안정해진다. [1:09:13]

37. Replay memory를 이용한 전이 비상관화

• DQN은 ε-greedy 정책으로 행동한 뒤 상태, 행동, 보상, 다음 상태로 구성된 전이를 replay memory에 저장한다. [1:10:24]
• 최신 전이를 순서대로 학습하지 않고 큰 버퍼에서 전이를 표본 추출하면 시간적으로 인접한 데이터가 분리돼 학습 배치의 상관성이 낮아진다. [1:11:01]

38. Experience replay의 학습 효과

• 단일 rollout에서 연속으로 얻는 전이들은 상태가 조금씩 이어지므로 서로 강하게 상관되며, 이를 온라인으로 즉시 사용하면 편향된 방향의 연속 갱신이 발생할 수 있다. [1:11:45]
• 관측한 전이를 대규모 데이터셋 형태의 버퍼에 누적하고 무작위로 추출하면 서로 떨어진 경험을 함께 사용해 Q 네트워크 회귀를 안정화할 수 있다. [1:12:40]

39. 두 Q 네트워크로 고정 타깃 구성

• 움직이는 타깃 문제를 줄이기 위해 같은 구조의 Qθ와 Qφ를 두고, Qθ는 계속 학습하되 Qφ는 지연된 타깃 네트워크로 유지한다. [1:13:24]
• 초기의 Qφ가 가치 값을 부정확하게 추정하더라도 일정 기간 고정돼 있으면 회귀 목표가 시간에 따라 일관되므로 학습 안정성이 높아진다. [1:14:55]

40. 타깃 네트워크 갱신과 Polyak averaging

• 일정한 주기로 Qφ를 최신 Qθ에 맞춘 뒤 다시 고정하면, Qθ는 이전보다 개선된 타깃을 향해 학습하면서 급격히 움직이는 목표를 피할 수 있다. [1:15:08]
• 파라미터를 한 번에 복사하는 갱신은 타깃에 큰 도약을 만들 수 있어, 최근에는 Qφ를 Qθ의 이전 값들과 부드럽게 혼합하는 Polyak averaging이 널리 사용된다. [1:16:12]

🧾 결론

• 가치 기반 강화학습의 핵심은 장기 성과를 직접 알 수 없는 상황에서 가치함수와 행동가치를 표본으로 추정하는 데 있다.
• 행동가치 추정과 탐욕적 행동 선택을 결합하면 정책 평가와 정책 개선을 하나의 반복 학습 과정으로 연결할 수 있다.
• 함수 근사는 대규모 문제로 확장할 수 있게 하지만, 근사 오차와 상관된 학습 표본 때문에 안정성 검토가 함께 필요하다.

📈 투자·시사 포인트

• 강화학습 기업이나 제품을 평가할 때 모델 규모뿐 아니라 가치 추정, 정책 평가, 훈련 안정성을 함께 살펴야 한다.
• 장난감 환경의 높은 점수가 실제 규모의 환경에서도 유지되는지는 별도 검증이 필요하므로 벤치마크와 운영 성능을 구분해야 한다.
• 심층학습 기반 강화학습의 경쟁력은 데이터 수집량뿐 아니라 상관된 표본과 함수 근사를 안정적으로 처리하는 학습 설계에서 갈릴 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제공된 세부 내용은 자막에서 추출된 짧은 문장 조각이므로 각 알고리즘의 수식, 가정, 수렴 조건은 확인할 수 없다.
• 서로 다른 정책을 평가하고 학습한다는 대목은 확인되지만, 구체적인 알고리즘 명칭과 정책 구분의 엄밀한 정의는 출처 조각만으로 확정하기 어렵다.
• 함수 근사와 상관된 롤아웃 표본이 언급되지만, 이를 완화하는 구체적 기법과 구현 조건은 제공된 자료에 명시되어 있지 않다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 강의 원본에서 행동가치 업데이트에 사용된 정의와 수식을 확인한다.
• 그리드 월드 예제에서 탐욕 정책과 최적 정책의 행동 선택 차이를 직접 재현한다.
• 행동 생성 정책과 평가 대상 정책이 다른 사례를 구분해 학습 로그를 비교한다.
• 함수 근사 적용 전후의 점수, 변동성, 표본 상관성을 함께 기록한다.

❓ 열린 질문

• 행동가치 업데이트가 최적 정책으로 이어지기 위해 강의에서 요구한 조건은 무엇인가?
• 함수 근사를 도입했을 때 가치 추정 오차와 훈련 불안정성을 어떤 기준으로 진단하는가?
• 상관된 롤아웃 표본이 실제 학습 성능에 미치는 영향을 강의 예제에서는 어떻게 측정했는가?