Stanford AA203 Optimal and Learning-Based Control

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

스탠퍼드 AA203의 강화학습 기초 강의는 동적 계획법에서 몬테카를로·시간차 학습으로 확장하며, 경험으로 가치를 추정하고 탐색을 통해 정책을 개선하는 원리를 설명한다.

📌 핵심 요점

1. 강화학습의 목표는 환경과 상호작용하며 기대 누적 할인 보상을 최대화하는 정책을 찾는 것이다. MDP는 상태·행동·전이·보상·할인율로 문제를 표현하고, 가치함수와 벨만 방정식은 정책 평가와 개선의 기준을 제공한다.
2. 동적 계획법은 알려진 전이 동역학으로 다음 상태의 기대값을 계산한다. 가치 반복은 벨만 최적 방정식을 반복 적용하고, 정책 반복은 정책 평가와 탐욕적 개선을 번갈아 수행한다. 표 기반 표현은 상태·행동 공간이 커질수록 저장과 계산 부담이 커진다.
3. 몬테카를로는 종료된 에피소드의 실제 할인 수익을 평균해 가치를 추정한다. 최초 방문과 매 방문 방식은 같은 상태의 반복 방문을 반영하는 기준이 다르다. 블랙잭 예제에서는 500,000회 평가가 10,000회 평가보다 추정 잡음이 작았다.
4. 시간차 학습(TD)은 즉시 보상과 다음 상태의 가치 추정치로 현재 가치를 갱신한다. 에피소드 종료를 기다리지 않아 계속 진행되는 환경에도 적용할 수 있다. 다만 부정확한 다음 상태 가치가 목표에 편향을 만들 수 있으며, 목표의 분산은 일반적으로 몬테카를로 수익보다 작다.
5. 모델 없이 정책까지 개선하려면 행동 가치 Q와 탐색이 중요하다. V만 추정하면 탐욕적 개선에 전이 동역학이 여전히 필요하지만, Q에서는 행동을 직접 선택할 수 있다. ε-greedy는 무작위 행동의 가능성을 남겨 초기 경험에 따른 탐욕적 선택의 고착을 완화한다.

🧩 배경과 문제 정의

• 모방학습은 전문가의 시연에서 정책이나 보상 목적을 배우지만 시연 성능의 제약을 받는다. 강화학습은 환경과의 상호작용 및 시행착오를 통해 최적 제어 해법을 찾는다.
• 마르코프 결정 과정(MDP)의 목표는 기대 누적 할인 보상을 최대화하는 정책을 찾는 것이다. 가치함수와 벨만 방정식은 정책을 평가하고 개선하는 기반이다.
• 00:00~30:00 구간은 모델을 아는 경우의 표 기반 동적 계획법에서 출발해, 전이 모델 없이 경험으로 가치를 추정하는 몬테카를로 학습까지 다룬다.

🕒 시간순 섹션별 상세정리

1. 모방학습에서 상호작용 기반 강화학습으로

• 행동 복제는 전문가의 행동을 모방하는 정책을, 역강화학습은 전문가가 최적화하는 보상 목적을 학습한다. 모방학습의 성능은 전문가 시연의 수준에 제약받는다. [00:30]
• 강화학습은 환경과의 상호작용을 통한 시행착오로 최적 제어 문제를 푼다. 시스템 동역학을 알아야 하는 가치 반복·정책 반복을 토대로, 경험에서 배우는 모델 프리 방법을 구성한다. [01:58]

2. MDP의 구성과 누적 보상 최대화

• MDP는 상태 공간, 행동 공간, 전이 분포, 보상함수, 할인율로 구성된다. 전이 분포는 현재 상태와 행동에 따른 다음 상태를, 보상함수는 행동의 성공 정도를 수치로 나타낸다. [02:53]
• 할인율은 단기 보상과 장기 보상의 비중을 조절하고 무한 보상 합을 수학적으로 다루는 데 도움을 준다. 최적 정책은 시간에 따른 기대 누적 할인 보상을 최대화한다. [03:24]

3. 상태 가치함수와 벨만 고정점

• 상태 가치함수 V는 특정 상태에서 시작해 정책 π를 따를 때 얻는 기대 보상을 나타낸다. 같은 상태라도 따르는 정책에 따라 가치가 달라진다. [04:12]
• 벨만 최적 방정식은 즉시 보상과 다음 상태의 기대 가치를 결합해 최적 가치를 규정한다. 고정된 정책의 가치도 벨만 기대 방정식이라는 고정점 관계를 만족한다. [04:40]

4. Q함수로 정책을 추출하는 표 기반 표현

• Q함수는 특정 상태에서 특정 행동을 한 뒤 정책 π를 따를 때의 기대 미래 보상을 나타낸다. 상태별로 Q가 가장 큰 행동을 선택하면 Q함수에서 정책을 직접 추출할 수 있다. [05:32]
• 함수 근사를 쓰지 않는 표 기반 방법에서는 V를 상태별 값의 표로, Q를 모든 상태·행동 쌍의 값으로 저장한다. 유한한 상태와 행동을 열거해 가치 계산과 행동 선택을 수행한다. [06:20]

5. 가치 반복과 정책 반복의 계산 구조

• 가치 반복은 벨만 최적 방정식을 반복 적용해 최적 가치함수로 수렴한다. 정책 반복은 현재 정책의 가치를 평가하는 단계와 그 가치에 따라 행동을 바꾸는 탐욕적 개선 단계를 번갈아 수행한다. [07:29]
• 정책 평가는 벨만 기대 방정식을 반복 적용하고, 정책 개선은 행동별 기대 보상이 가장 큰 선택을 취한다. 두 단계 모두 다음 상태의 기대값을 계산하기 위해 동역학 모델을 사용한다. [09:23]

6. 16칸 격자에서 최단 도달 목표 설정

• 격자 환경은 비종료 상태 14개와 목표인 종료 상태 2개로 구성된다. 목표에 도달할 때까지 매 이동에 보상 -1을 부여하면, 누적 보상 최대화가 가능한 한 빨리 목표에 도달하는 행동을 유도한다. [10:01]
• 행동은 상하좌우 네 방향이며 격자 밖으로 이동하려 하면 현재 위치에 머문다. 계산을 단순화하기 위해 할인율 γ=1인 비할인 MDP를 사용한다. [10:46]

7. 무작위 정책의 가치 평가와 초기화

• 초기 정책은 네 행동을 같은 확률로 선택하고 가치함수는 0으로 시작한다. 각 상태의 갱신값은 이동 보상 -1에 다음 상태들의 기존 가치 평균을 더해 계산한다. [11:14]
• 가치함수를 0으로 초기화하는 것은 필수 규칙이 아니다. 문제에 대한 사전 지식을 초기값에 반영하면 수렴을 앞당길 수 있으며, 반복 평가를 수렴할 때까지 수행하면 현재 정책의 가치를 얻는다. [14:10]

8. 평가한 가치에 따른 탐욕적 정책 개선

• 정책 평가가 끝나면 계산한 가치로 행동별 기대 보상을 비교해 정책을 개선한다. 개선 단계는 각 상태에서 해당 값을 최대화하는 행동을 선택한다. [15:42]
• 격자 예제에서는 모든 이동의 즉시 보상이 -1로 같으므로, 가치가 가장 높은 이웃 상태로 향하는 행동이 유리하다. 이 규칙으로 무작위 정책을 목표 방향으로 이동하는 정책으로 바꾼다. [16:02]

9. 평가 조기 종료와 수렴 판정의 주의점

• 정책 평가가 완전히 수렴하기 전에도 정책 개선을 수행할 수 있다. 단순한 격자 예제에서는 조기에 최적 정책을 얻기도 하지만, 일반적인 문제에서 같은 결과를 보장하지는 않는다. [16:59]
• 표 기반 설정의 수렴 성질과 실제 종료 기준은 구분해야 한다. 반복 간 가치 변화량인 델타 등을 종료 기준으로 사용할 수 있지만, 모든 경우에 적용할 단일한 최선의 기준은 없다. [18:06]

10. 정확한 동적 계획법의 모델·규모 제약

• 가치 반복과 정책 반복은 갱신에 전이 동역학을 요구한다. 실제 전이 모델을 모르는 MDP에서는 환경과 상호작용해 얻은 표본으로 기대값을 근사한다. [19:13]
• 모든 상태와 행동의 값을 저장하고 순회하면 큰 메모리 부담과 느린 수렴이 발생할 수 있다. 표본 기반 근사는 모델 접근 문제를, 함수 근사는 큰 상태·행동 공간의 표현 문제를 다루는 수단이다. [19:52]

11. 몬테카를로 학습의 궤적과 경험적 평균

• 몬테카를로 학습은 정책을 환경에서 실행해 종료 조건까지의 상태·행동 궤적을 수집한다. 환경에서 얻은 경험을 가치함수 추정의 표본으로 사용한다. [21:03]
• 한 시점 이후 궤적에서 얻는 보상의 합이 그 시점의 수익이다. 여러 궤적에서 얻은 수익의 경험적 평균으로 기대 미래 보상, 즉 가치함수를 근사한다. [22:11]

12. 완결된 에피소드로 정책 가치 추정

• 몬테카를로 방법은 전이 모델 없이 경험한 에피소드에서 직접 학습한다. 전체 수익을 계산해야 하므로 에피소드가 끝나야 하며, 여기서 다루는 방식은 종료 가능한 에피소드형 MDP에 적용한다. [23:31]
• 상태 가치는 해당 상태에서 정책을 따를 때의 할인 수익에 대한 조건부 기대값이다. 몬테카를로 정책 평가는 동역학으로 이 기대값을 정확히 계산하는 대신 관측 수익의 평균을 사용한다. [24:33]

13. 최초 방문·매 방문 방식과 충분한 탐색

• 최초 방문 몬테카를로는 에피소드에서 특정 상태를 처음 방문한 시점의 수익만 평균에 반영한다. 방문 횟수와 누적 수익으로 평균을 계산하며, 표본이 충분히 늘어나면 실제 기대값에 가까워진다. [26:01]
• 매 방문 몬테카를로는 한 에피소드에서 같은 상태를 다시 방문해도 각 방문의 수익을 평균에 포함한다. 최초 방문 방식은 두 번째 이후 방문을 제외하므로, 두 방법은 반복 방문 경험을 활용하는 방식이 다르다. [26:58]

14. 모델 프리 학습에서도 시뮬레이터 활용 가능

• 모델 프리는 가치 계산에 알려진 시스템 동역학 모델을 직접 사용하지 않는다는 뜻이다. 시뮬레이터와 상호작용해 표본을 수집하는 것은 이 정의와 양립한다. [29:09]
• 모델 프리 갱신식은 전이 동역학의 해석적 표현 대신 상호작용에서 얻은 경험을 사용한다. 환경을 모사하는 시뮬레이터도 이 경험을 제공하는 구체적인 수단이 될 수 있다. [29:37]

15. 모델 프리의 의미와 블랙잭 상태 표현

• 운전 시뮬레이터 내부에 복잡한 모델이 있어도 가치 추정 과정에서 전이 동역학을 사용하지 않으면 모델 프리 학습에 해당한다. [30:00]
• 블랙잭 상태는 플레이어의 카드 합계 12~21, 딜러의 공개 카드 A~10, 사용 가능한 에이스 유무로 구성한다. 이 세 요소에 따라 같은 정책의 기대 성과가 달라진다. [30:58]

16. 블랙잭 행동·보상과 평가할 정책

• 플레이어는 카드 받기를 멈추는 Stand와 추가 카드를 받는 Hit 중 선택한다. 종료 시 승리는 +1, 무승부는 0, 패배는 음의 보상이며, Hit로 21을 넘으면 음의 보상과 함께 게임이 끝난다. [31:41]
• 합계가 12 미만이면 자동으로 Hit한다고 가정하고, 평가 대상 정책은 20 이상에서 Stand, 그 외에는 Hit를 선택한다. 몬테카를로 샘플링으로 이 고정 정책의 상태별 가치를 추정한다. [32:30]

17. 에피소드 수에 따른 가치 추정의 정확도

• 10,000회와 500,000회 게임으로 정책을 평가하고, 딜러의 공개 카드와 플레이어 합계에 따른 가치 표면을 비교한다. 사용 가능한 에이스가 있는 경우와 없는 경우를 따로 살펴본다. [33:12]
• 500,000회 결과는 10,000회 결과보다 추정 잡음이 작다. 경험적 평균으로 기댓값을 근사하므로 에피소드가 많아질수록 실제 가치에 가까워진다. [34:09]

18. 카드 조건으로 해석하는 가치함수

• 플레이어 합계가 20이나 21이면 정책이 Stand를 선택하고 강한 패를 유지하므로 승리 가능성이 높아진다. 이 때문에 해당 상태들의 추정 가치가 크게 상승한다. [35:16]
• 딜러의 공개 카드가 에이스이면 딜러에게 유리해 플레이어의 가치가 낮아진다. 에이스를 여러 방식으로 활용할 수 있다는 게임 특성이 추정 가치의 차이와 연결된다. [35:44]

19. 몬테카를로 가치 추정의 점진적 업데이트

• 에피소드가 순차적으로 도착할 때 모든 관측값을 저장하거나 평균을 처음부터 다시 계산할 필요는 없다. 기존 평균에 새 관측값과의 차이를 반영하면 평균을 점진적으로 갱신할 수 있다. [37:05]
• 가치 추정치도 기존 값에서 새로 관측한 수익 방향으로 갱신한다. 누적 평균 형태의 업데이트 외에 학습률 α로 갱신 폭을 조절하는 형태를 사용할 수 있다. [38:03]

20. TD의 핵심 원리인 샘플링과 부트스트래핑

• TD는 몬테카를로처럼 전이 동역학을 몰라도 경험으로 학습하면서, 동적 계획법처럼 다른 가치 추정치를 이용해 현재 추정치를 갱신한다. 이 부트스트래핑 덕분에 에피소드의 최종 결과를 기다리지 않아도 된다. [39:09]
• 전이 동역학 없이 정확한 기댓값을 계산할 수 없으므로 TD는 관측한 전이를 사용한다. 한 단계의 즉시 보상과 다음 상태의 할인된 가치 추정치가 전체 미래 수익을 대신한다. [40:54]

21. 실제 수익과 TD 목표·오차의 차이

• 몬테카를로는 실제로 관측한 수익 G_t를 향해 가치 추정치를 갱신한다. TD는 즉시 보상과 할인된 다음 상태 가치의 합으로 만든 추정 수익을 향해 갱신한다. [41:59]
• 즉시 보상과 할인된 다음 상태 가치의 합이 TD 목표이며, 목표와 현재 가치 추정치의 차이가 TD 오차다. TD 업데이트는 환경에서 얻은 샘플과 기존 추정치를 함께 사용한다. [42:45]

22. 수익 샘플 하나와 한 단계 추정의 역할

• 한 번의 에피소드에서 관측한 미래 보상을 모으면 수익 샘플 하나를 얻는다. 여러 에피소드의 수익을 평균하면 기대 수익을 근사하므로 업데이트마다 별도의 시뮬레이션 묶음이 필요한 것은 아니다. [43:31]
• TD는 완결된 수익 대신 한 단계 보상과 다음 상태의 가치 추정치를 사용한다. 다음 상태의 추정치가 남은 수익을 대신하므로 현재 값을 갱신하기 위해 에피소드 전체를 기다릴 필요가 없다. [44:24]

23. 온라인 업데이트와 비종료 환경

• 환경과의 상호작용을 계속하더라도 가치 갱신 시점은 달라진다. 몬테카를로는 완결된 에피소드의 수익을 사용하고, TD는 에피소드 도중에도 각 단계에서 추정치를 갱신할 수 있다. [45:14]
• TD는 불완전한 경험 시퀀스에서도 학습할 수 있어 계속 진행되거나 종료되지 않는 환경에 적용할 수 있다. 완결된 수익이 필요한 몬테카를로는 에피소드 종료를 기다려야 한다. [46:12]

24. 가치 추정의 공통 기반과 할인율의 역할

• 몬테카를로와 TD는 가치 기반 방법, 정책 최적화, 액터-크리틱 등에서 필요한 가치 추정의 기초를 이룬다. 전이 동역학을 모르면 환경과의 상호작용을 통해 이러한 양을 근사해야 한다. [47:18]
• 부트스트래핑이 먼 미래의 추정치에 계속 의존하더라도 할인율은 그 영향이 작아지도록 한다. 500,000단계 뒤처럼 매우 먼 미래의 할인된 가치 기여가 거의 0에 가까워지는 예가 이 역할을 보여준다. [48:34]

25. 몬테카를로와 TD 추정의 편향

• 몬테카를로의 할인 누적 수익은 정책의 실제 가치를 추정하는 불편 추정량이다. 각 수익이 가능한 미래 에피소드에서 얻은 샘플이므로 반복 경험의 평균은 기대 가치에 접근한다. [50:04]
• TD 목표도 다음 상태의 참 가치함수를 사용한다면 불편 추정량이 된다. 실제 학습에서는 부정확한 가치 추정치를 사용하므로 그 오차가 목표에 편향을 도입할 수 있다. [51:05]

26. 전체 경로의 무작위성이 만드는 분산 차이

• TD 목표는 일반적으로 몬테카를로 수익보다 분산이 작다. 전체 수익은 에피소드 전반의 무작위 행동·전이·보상에 영향을 받지만, 한 단계 TD 목표는 한 번의 전이 샘플을 사용한다. [52:14]
• 확률적 정책, 전이 동역학, 보상은 수익을 계산하는 동안 반복적으로 무작위성을 더한다. 몬테카를로가 고려하는 미래 경로의 가능성이 많을수록 수익 샘플 사이의 변동이 커질 수 있다. [53:14]

27. 백업 트리로 비교하는 세 가지 가치 업데이트

• 백업 트리에서 몬테카를로는 종료 상태까지 하나의 전체 경로를 샘플링하고 그 수익으로 현재 가치를 갱신한다. TD는 한 단계 전이만 샘플링한 뒤 다음 상태의 가치 추정치로 미래를 대체한다. [55:25]
• 동적 계획법은 알려진 전이 동역학으로 기댓값을 정확히 계산한다. 따라서 몬테카를로나 TD처럼 경험 샘플로 그 기댓값을 근사할 필요가 없다. [56:20]

28. 백업의 폭과 깊이로 보는 통합적 관점

• 몬테카를로와 TD는 샘플링을 사용하고, TD와 동적 계획법은 부트스트래핑을 사용한다. 백업의 폭에서는 전체 분기를 계산하는 동적 계획법과 하나의 경로를 샘플링하는 방법들이 구분된다. [57:11]
• 백업의 깊이에서는 종료까지 진행하는 몬테카를로와 한 단계 뒤 부트스트래핑하는 TD가 양 끝을 이룬다. 네 단계의 경험을 쌓은 뒤 가치함수를 사용하는 방식처럼 중간 지점의 알고리즘도 가능하며, 선택에 따른 장단점이 있다. [59:00]

29. 일반화된 정책 반복의 평가·개선 구조

• 정책 평가는 현재 정책의 가치를 추정하고, 정책 개선은 새 가치 추정치를 이용해 현재 정책을 바꾼다. 일반화된 정책 반복은 두 연산의 구체적인 구현과 무관하게 이 반복 구조를 가리킨다. [1:00:27]
• 기존 정책 반복은 벨만 기대 방정식으로 정책을 평가하고 argmax로 탐욕적 개선을 수행한다. 두 연산 모두 동역학 지식에 의존하므로, 미지의 환경에서는 그대로 적용하기 어렵다. [1:01:05]

30. 모델 의존성을 줄이는 몬테카를로 Q 평가

• 몬테카를로 방법으로 정책의 상태 가치 V를 추정하면 분석적인 벨만 기대 방정식을 대체할 수 있다. 그러나 V에 기반한 탐욕적 정책 개선에는 여전히 전이 동역학이 필요하다. [1:02:07]
• 상태 가치 V 대신 행동 가치 Q를 추정하면 Q의 argmax로 정책을 정할 수 있다. 다만 몬테카를로 Q 평가와 탐욕적 개선만 결합하면 탐색 문제가 남아 일반적으로 충분하지 않다. [1:03:00]

31. 두 문 사례로 보는 탐욕적 선택의 한계

• 두 문 중 왼쪽에서 보상 0, 오른쪽에서 보상 1을 관측해 Q를 갱신하면, 탐욕적 정책은 이후 오른쪽만 선택한다. 이 선택은 왼쪽에서 얻을 수도 있는 더 좋은 보상을 발견할 기회를 없앤다. [1:04:34]
• 표본으로 각 상태·행동 쌍의 Q 값을 추정하려면 해당 쌍을 방문해야 한다. 결정론적 정책은 일부 행동을 계속 배제할 수 있어, 초기 경험에 따른 잘못된 선호를 수정하기 어렵다. [1:05:44]

32. ε-greedy 탐색과 실용적인 학습 알고리즘

• ε-greedy는 확률 1−ε로 Q가 가장 큰 행동을 선택하고, 확률 ε로 무작위 행동을 선택한다. 방문한 상태에서 각 행동을 선택할 가능성을 남겨 탐욕적 선택의 탐색 부족을 완화한다. [1:06:14]
• 몬테카를로 방법으로 Q를 평가한 뒤 ε-greedy 방식으로 정책을 개선하면, 환경 경험을 가치 추정과 다음 행동 선택에 연결하는 강화학습 알고리즘이 된다. [1:07:05]

33. 블랙잭에서 고정 정책 평가를 넘어 정책 학습으로

• 블랙잭 과제는 카드 합이 20 이상일 때 멈추는 고정 정책의 평가에서, 행동 규칙 자체를 학습하는 문제로 확장된다. 몬테카를로 Q 평가와 ε-greedy 개선을 적용해 정책을 갱신한다. [1:07:35]
• 학습한 정책은 사용 가능한 에이스, 카드 합, 딜러의 공개 카드에 따라 추가 카드를 받거나 멈춘다. 사용 가능한 에이스가 없을 때 더 보수적인 선택을 하며, 사전에 행동 요령을 주지 않아도 상호작용으로 정책과 가치를 학습한다. [1:08:07]

34. 미지의 MDP를 학습하는 방법과 남은 과제

• 정책 반복과 가치 반복의 동역학 의존성을 줄이는 방법으로 몬테카를로 학습과 시간차 학습을 활용한다. 두 방법은 환경과의 상호작용에서 얻은 경험으로 미지의 마르코프 결정 과정에 접근한다. [1:09:25]
• 몬테카를로와 시간차 학습은 갱신의 깊이와 폭에 따라 달라지는 방법들의 일부다. 고차원 상태·행동 공간을 처리하는 문제는 아직 남아 있으며, 이후 다룰 과제에 해당한다. [1:09:57]

35. 강화학습의 공통 구조와 정책 최적화의 확장

• 강화학습 알고리즘의 공통 구조는 환경에서 궤적이나 에피소드를 수집하고, 표본으로 가치·수익을 추정하거나 동역학 모델을 학습한 뒤, 그 결과로 정책을 개선하는 세 단계다. [1:11:25]
• 정책 개선은 탐욕적 선택이나 ε-greedy에만 한정되지 않는다. 정책 최적화에서는 매개변수 θ로 표현한 정책에 경사 갱신을 적용해 추정 수익을 직접 최대화할 수 있다. [1:12:36]

🧾 결론

• 동적 계획법·몬테카를로·TD는 기대값을 계산하는 방식과 미래 가치에 의존하는 깊이로 비교할 수 있다. 몬테카를로와 TD는 샘플링을, TD와 동적 계획법은 부트스트래핑을 사용한다.
• 모델 프리는 가치 갱신에 알려진 전이 동역학을 직접 사용하지 않는다는 뜻이다. 시뮬레이터에서 경험을 수집하는 방식도 모델 프리 학습에 해당할 수 있다.
• 강화학습의 공통 흐름은 경험 수집, 가치·수익 추정 또는 동역학 학습, 정책 개선이다. 정책 개선은 탐욕적 선택과 ε-greedy뿐 아니라 매개변수화된 정책의 경사 갱신으로도 확장된다.
• 표본으로 미지의 동역학에 대응하는 문제와 고차원 상태·행동 공간을 표현하는 문제는 구분해야 한다. 이번 강의의 기초 방법만으로 후자의 문제가 해결되는 것은 아니다.

📈 투자·시사 포인트

• AI 제어 기술을 검토할 때는 전이 모델을 직접 사용하는지, 경험 표본으로 가치를 추정하는지 확인필요가 있다. 시뮬레이터 사용 여부만으로 모델 기반·모델 프리를 판별할 수 없다.
• 학습 시스템의 적용 가능성을 판단하려면 경험 수집량과 갱신 시점을 함께 봐야 한다. 몬테카를로는 완결된 에피소드가 필요하고, TD는 진행 중인 경험으로도 갱신할 수 있다.
• 확장성을 검토할 때는 모델 접근 문제와 상태·행동 공간의 표현 비용을 별도로 살펴야 한다. 표본 기반 학습을 도입해도 표 기반 저장의 규모 제약은 남는다.
• 강의는 알고리즘의 기초와 예제를 제공한다. 특정 기업의 경쟁력이나 투자 수익성을 판단할 직접적인 근거는 제시하지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 격자 예제에서 정책 평가를 조기에 끝내도 좋은 정책을 얻은 결과를 일반적인 문제의 보장으로 확대하면 안 된다. 가치 변화량에 따른 종료 기준도 문제별로 검토해야 한다.
• TD 목표의 낮은 분산은 일반적인 비교이며, 모든 환경에서 학습 성능이 우수하다는 뜻은 아니다. 기존 가치 추정치의 오차가 만드는 편향도 함께 확인해야 한다.
• ε-greedy는 방문한 상태에서 행동을 탐색할 가능성을 남긴다. 이것만으로 필요한 모든 상태·행동 쌍을 충분히 방문했다고 판단할 수는 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 다루려는 문제의 상태·행동·전이·보상·할인율과 에피소드 종료 조건을 명시한다.
• 16칸 격자에서 이동 보상 -1과 무작위 초기 정책을 사용해 정책 평가와 탐욕적 개선을 재현한다.
• 동일한 경험에 대해 몬테카를로의 실제 수익과 TD의 한 단계 목표를 계산해 갱신 시점과 목표값의 차이를 비교한다.
• 블랙잭 고정 정책을 서로 다른 에피소드 수로 평가하고, 상태별 방문 횟수와 가치 추정의 변동을 확인한다.

❓ 열린 질문

• 주어진 환경에서는 완결된 수익을 기다리는 몬테카를로와 즉시 갱신하는 TD 중 어떤 방식이 경험 수집 조건에 더 적합한가?
• 학습률 α와 탐색률 ε를 어떻게 설정해야 가치 추정과 충분한 행동 탐색을 함께 확보할 수 있는가?
• 한 단계 TD와 전체 에피소드 몬테카를로 사이에서 여러 단계의 실제 경험을 사용하는 선택은 어떤 장단점을 만드는가?