Stanford AA274A Principles of Robotic Autonomy

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

스탠퍼드 AA274A의 불확실성하 의사결정 강의는 동적 계획법과 최적성 원리, 상태에 따라 제어를 정하는 정책을 중심으로 로봇 자율성의 의사결정 문제를 다룬다.

📌 핵심 요점

1. 동적 계획법이 주요 주제다. 강의는 동적 계획법을 언급하고, 최적성 원리를 핵심 개념으로 소개한다. 제공된 발췌에는 구체적인 점화식이나 전체 유도 과정이 없다. [02:33, 10:06]
2. 제어 시퀀스와 상태에 대응하는 정책을 구분한다. 앞부분에서는 제어 시퀀스를 다루고, 뒤에서는 제어 정책을 상태를 제어 입력으로 대응시키는 함수로 설명한다. [18:47, 42:09–42:24]
3. 개방 루프와 폐쇄 루프의 차이가 중요하다. 개방 루프 제어가 일반적으로 위험할 수 있다는 언급이 나오며, 이후 개방 루프 정책과 폐쇄 루프 정책을 대비한다. 위험이 발생하는 구체적인 조건은 발췌만으로 확인하기 어렵다. [07:46–08:01, 44:40–44:55]
4. 확률과 남은 구간의 비용이 논의에 등장한다. 확률변수의 확률을 설명하는 대목과, 시점 k부터 n까지의 비용 및 이후 구간 정책의 최적성을 언급하는 대목이 있다. 다만 확률모형과 목적함수의 정확한 형태는 제공되지 않았다. [39:51–40:06, 46:52–47:07]
5. 다차원 조합과 후속 주제로 논의가 이어진다. X1·X2·X3의 조합을 다루는 설명 뒤에 모션 플래닝과 강화학습이 언급된다. 이들 사이의 구체적인 연결 방식은 추가 확인이 필요하다. [58:32–58:47, 1:03:49, 1:06:01]

🧩 배경과 문제 정의

• 자율주행의 교차로 통과와 차선 변경 같은 고수준 의사결정은 지각 오차와 주변 사람의 행동 예측에 포함된 불확실성을 고려해야 한다.
• 안전성과 효율성을 절충하는 행동을 선택하려면 순차적 의사결정의 수학적 모델과 이를 푸는 알고리즘이 필요하다.
• 결정론적 최적 제어 문제에서 가산적 비용과 최적성 원리를 먼저 이해하고, 이를 불확실성을 다루는 동적 계획법의 토대로 삼는다.

🕒 시간순 섹션별 상세정리

1. 고수준 행동 선택에는 불확실성의 반영이 필요하다

• 고수준 의사결정은 정확한 주행 경로보다 교차로를 통과할 시점이나 차선을 변경할지 여부를 선택하는 문제다. [00:35]
• 지각과 환경 재구성의 불확실성뿐 아니라 주변 사람의 행동 예측 오차까지 고려해야 안전성과 효율성을 절충할 수 있다. [00:59]

2. 최적 제어와 강화학습은 공통된 이론적 토대를 가진다

• 불확실성하의 의사결정을 마르코프 결정 과정으로 정식화하고 동적 계획법으로 해결하는 것이 핵심 학습 대상이다. [02:14]
• 최적 제어와 강화학습은 서로 다른 학문 분야에서 발전했지만 기초가 같으므로 하나의 틀에서 함께 이해할 수 있다. [02:54]

3. 순차적 의사결정을 상태와 제어의 동역학으로 표현한다

• 순차적 의사결정은 시간에 따라 행동을 선택해 비용함수를 최적화하는 문제이며, 과정의 추정을 넘어 그 추정에 기초한 제어까지 포함한다. [03:18]
• 먼저 불확실성이 없는 결정론적 모델을 사용한다. 현재 상태 x_k와 제어 u_k가 주어지면 동역학에 따라 다음 상태 x_{k+1}이 결정된다. [04:13]

4. 제어 제약과 단계별 비용으로 최적화 문제를 구성한다

• 각 상태에서 사용할 수 있는 제어는 제한된다. 도로의 제한속도는 가능한 제어를 제한하는 사례다. [05:01]
• 전체 비용은 각 시점의 상태와 제어에 따른 단계 비용의 합에 종료 비용을 더한 값이다. 주어진 초기 상태에서 이 비용을 최소화하는 제어 시퀀스를 찾는다. [05:19]

5. 개방루프 제어는 실제 상태가 달라져도 예정된 입력을 적용한다

• 제어 시퀀스 자체를 최적화하면 개방루프 제어가 된다. 시점 k에 적용할 제어는 실제 상태와 관계없이 미리 정한 u_k다. [06:31]
• 모델 오차나 외란으로 기준 궤적에서 벗어나면 예정된 제어가 부적절해질 수 있다. 순풍으로 차량이 예상보다 앞서가 제한속도 20마일 구간에 도착해도 시속 50마일의 제어를 적용하는 사례가 이를 보여준다. [07:06]

6. 이산시간과 가산적 비용이 계산 구조를 만든다

• 고수준 의사결정은 거시적 행동을 선택하므로 이산시간 모델로 다루기 적합하다. [08:11]
• 단계 비용을 합산하는 가산성은 최적 제어 계산을 단순화하는 핵심 가정이다. [08:27]

7. 최적 경로의 뒷부분도 해당 부분 문제의 최적해다

• A에서 B를 거쳐 E로 가는 최적 경로의 비용은 가산성에 따라 A에서 B까지의 비용과 B에서 E까지의 비용의 합이다. [10:42]
• 최적성 원리에 따르면 B에서 새로 출발하더라도 기존 최적 경로의 B 이후 부분이 최적이다. 최적 궤적의 각 뒷부분은 그에 대응하는 부분 문제의 최적해다. [13:06]

8. 더 저렴한 뒷부분을 가정하면 전체 경로의 최적성과 모순된다

• B에서 C를 거쳐 E로 가는 다른 경로가 기존 B에서 E까지의 경로보다 비용이 낮다고 가정한다. [13:33]
• 비용이 가산적이므로 기존 A에서 B까지의 경로에 더 저렴한 뒷부분을 연결하면 전체 비용도 낮아진다. 이는 원래 A에서 E까지의 경로가 최적이라는 가정과 모순되므로 최적성 원리가 성립한다. [14:34]

9. 이산시간에서도 최적 제어 시퀀스의 뒷부분을 재사용한다

• 초기 상태에 최적 제어 시퀀스를 동역학을 통해 재귀적으로 적용하면 최적 상태 궤적을 얻는다. [17:24]
• 최적 궤적의 시점 k 상태에서 시작해 종료 시점까지의 잔여 비용을 최소화할 때, 원래 시퀀스의 u_k부터 마지막 제어까지가 그 부분 문제의 최적해다. [18:58]

10. 확률적 문제에서는 역방향 추론과 기댓값이 필요하다

• 결정론적 동적 계획법에서는 경로의 앞부분과 뒷부분을 모두 다룰 수 있지만, 확률적 문제에서는 순방향과 역방향 추론에 차이가 있어 역방향으로 추론해야 한다. [19:17]
• 확률적 시스템에서도 최적성 원리의 핵심은 유지된다. 다만 불확실성을 반영하도록 비용에 기댓값을 사용하는 형태로 수정해야 한다. [20:24]

11. 이미 구한 잔여 최적 비용으로 현재 행동만 비교한다

• C, D, E에서 목적지 F까지의 최적 비용을 이미 알고 있고 B에서는 이 세 상태 중 하나로 이동할 수 있다면, 기존 부분 문제의 해를 이용해 계산량을 줄일 수 있다. [21:19]
• B에서 각 다음 상태로 가는 비용에 해당 상태에서 F까지의 최적 비용을 더해 세 경우만 비교하면 된다. C, D, E 이후의 제어를 다시 최적화할 필요가 없다. [22:38]

12. 도로망의 최적 경로를 목적지에서부터 역순으로 계산한다

• A에서 H까지 이동하는 도로망에서 각 구간의 비용이 주어지면, 모든 경로를 열거하는 대신 동적 계획법으로 최적 경로를 계산할 수 있다. 예제의 도로는 일방통행이다. [24:18]
• 종료 지점의 부분 문제부터 풀고 그 결과를 이용해 이전 상태의 부분 문제를 재귀적으로 해결하며 출발점까지 거슬러 올라간다. [25:22]

13. 종료 비용에서 시작해 단일 선택 상태의 비용을 누적한다

• 목적지 H에서 H까지 이동하는 최적 잔여 비용 J(H)는 0이다. [25:35]
• G에서는 비용 2로 H에 가는 행동만 가능하므로 J(G)=2+J(H)=2다. [25:49]

14. 분기 상태에서는 즉시 비용과 잔여 비용의 합을 최소화한다

• E에서는 H로 직접 이동하거나 비용 2로 F에 이동할 수 있다. F를 거치는 비용은 2+J(F)=7이며 J(E)는 7이다. [26:48]
• D에서는 비용 3으로 E에 가는 행동만 가능하므로 J(D)=3+J(E)=10이다. [28:10]

15. 계산된 잔여 비용을 C와 B에서 출발점 A까지 전달한다

• C에서는 D를 거치는 비용 5+J(D)=15와 F를 거치는 비용 3+J(F)=8을 비교해 J(C)=8을 얻는다. [29:11]
• B에서는 C로 가는 구간 비용 9에 J(C)=8을 더해 J(B)=17을 얻는다. [29:34]

16. 하위 문제의 해를 재사용하고 최적 경로를 복원한다

• 작은 예제에서는 계산량 감소가 크지 않지만, 대규모 문제에서는 하위 문제의 해를 재사용하는 효과가 커진다. [30:22]
• 계산한 최적 선택을 초기 상태부터 따라가면 A에서 D, E, F, G를 거쳐 H로 가는 경로를 얻는다. [30:44]

17. 종단 비용에서 시작해 벨만 재귀를 역방향으로 계산한다

• 동적 계획법은 마지막 시점의 최적 잔여 비용을 종단 비용으로 설정한다. 각 하위 문제의 비용을 나타내는 J는 cost-to-go 함수다. [31:08]
• 한 단계씩 시간을 거슬러 올라가며 즉시 비용과 다음 상태의 최적 잔여 비용의 합을 최소화하는 제어를 찾는다. 다음 시점의 모든 상태에 대한 해는 이미 계산되어 있다. [31:45]

18. 현재 이익과 미래 영향을 절충하고 시간순으로 실행한다

• 최적 제어는 당장의 이익이나 비용과 현재 행동의 미래 영향을 절충한다. 수업을 듣는 선택은 당장 햇볕을 즐기는 이익보다 미래 보상을 중시하는 사례다. [32:58]
• 최적 제어는 시간을 거슬러 계산하지만, 실제 제어열은 초기 시점부터 시간순으로 실행한다. [34:03]

19. 부분 관측에서는 상태 대신 믿음 분포를 사용한다

• 일부 상태를 직접 관측할 수 없어도 비용이 가산적이면 동적 계획법으로 정식화할 수 있다. 다만 베이지안 필터링과 연결되는 믿음 분포를 구성하고, 상태값 대신 상태의 확률분포에 대해 재귀를 계산해야 한다. [35:20]
• 각도 θ에 대한 정보는 잡음이 있는 센서 측정의 분포로 표현할 수 있다. 아무 정보도 없는 경우에는 가능한 θ 값에 균등분포를 가정하는 방식이 드러난다. [36:22]

20. 시간·상태 이산화와 제약이 계산 가능성을 좌우한다

• 현재 정식화는 이산 시간을 전제로 하므로 연속 시간 문제에 적용하려면 시간을 이산화해야 한다. 연속 시간 동적 계획법의 별도 정식화도 존재한다. [37:02]
• 각 시점의 가능한 모든 상태에서 최적화를 수행해야 하므로, 상태가 연속값을 가지면 상태값을 양자화하고 대표값 사이를 보간해야 한다. [37:26]

21. 전체 궤적의 충돌 확률은 가산 비용으로 분해하기 어렵다

• 가산 비용은 흔하고 문제 구조를 활용하는 데 유용하지만, 전체 궤적을 함께 고려해야 하는 목적은 변환 후에도 가산적으로 표현되지 않을 수 있다. [38:28]
• 과정 잡음이 있는 궤적의 충돌 확률은 경유점별로 단순히 나누어 계산할 수 없다. 전체 궤적을 고려해야 하므로 비가산적 정식화로 이어질 수 있다. [39:05]

22. 기댓값과 달리 분산·위험 척도는 단계들을 결합할 수 있다

• 외란에 대한 기댓값은 각 결과에 발생 확률을 곱해 합하는 선형 연산이다. 확률을 알고 있으면 결과들의 가중합으로 계산할 수 있다. [39:25]
• 평균 성능뿐 아니라 성능 변동도 줄이려면 비용의 분산이나 다른 위험 척도를 목적함수에 포함할 수 있다. [40:05]

23. 확률적 동역학은 외란과 상태별 제어 정책을 도입한다

• 확률적 모형에서는 다음 상태를 현재 상태 x, 제어 u, 확률적 외란 w의 함수로 표현한다. 외란의 확률분포를 알고 있다고 가정한다. [41:02]
• 외란의 분포는 현재 상태와 현재 제어에만 의존하며 이전 상태들에는 의존하지 않는다. 이것이 마르코프 가정이다. [41:37]

24. 기대 비용과 마르코프 가정으로 확률적 문제를 분해한다

• 종단 비용과 단계별 비용으로 구성된 확률적 비용에 외란의 실현에 대한 기댓값을 취한다. 이렇게 얻은 결정적 값을 기준으로 정책열을 비교하고 최적화한다. [42:44]
• 가산 비용은 비용의 단계별 분해를 가능하게 하고, 마르코프 가정은 과거 궤적에 의존하지 않는 하위 문제의 분해를 가능하게 한다. 두 조건이 확률적 최적성 원리를 뒷받침한다. [43:58]

25. 상태 전이식과 전이확률 커널은 같은 모형의 다른 표현이다

• 제어이론에서는 상태 전이 방정식을 사용하고, 인공지능 분야에서는 상태와 행동에 따른 다음 상태의 확률을 나타내는 전이확률 커널을 사용한다. 두 표현은 같은 내용을 서로 다른 표기법으로 기술한다. [45:18]
• 인공지능, 운영연구, 제어이론 분야의 표기 차이는 개념을 연결하는 데 혼란을 줄 수 있다. 분야별 표기법을 대응시키는 자료가 이러한 차이를 해소하는 데 도움이 된다. [45:44]

26. 확률적 벨만 재귀는 외란에 대한 기댓값을 포함한다

• 확률적 문제에서도 어떤 시점에 도달한 상태를 기준으로 남은 정책은 해당 잔여 문제에 최적이어야 한다. 결정적 문제와 달리 제어열 대신 정책을 다루며, 증명에는 확률분포를 고려해야 한다. [46:28]
• 종단 잔여 비용을 종단 비용으로 설정하고 역방향으로 벨만 방정식을 푸는 절차는 동일하다. 차이는 현재 외란에 대한 기댓값을 취하면서 즉시 비용과 최적 잔여 비용을 절충한다는 점이다. [47:21]

27. 재고 관리 문제를 상태·주문·확률적 수요로 모델링한다

• 재고 관리 예제에서 상태 x는 정수 단위의 보유 재고, 제어 u는 새로 주문하는 양, 외란 w는 매일 발생하는 확률적 수요다. [48:16]
• 다음 재고는 max(0, x+u−w)로 계산한다. 주문 후 재고는 두 단위를 넘을 수 없어 x+u≤2라는 제약을 둔다. [48:52]

28. 주문 비용과 제곱 비용을 세 단계에 걸쳐 합산한다

• 단계 비용은 단위당 1달러인 주문 비용과 재고·주문량에서 수요를 뺀 값의 제곱을 결합한다. 제곱항은 재고 보관 비용을 표현하기 위해 설정한 예제 비용이다. [50:11]
• 계획 구간은 세 시간 단계이며 종단 비용은 0이다. 마지막에 남은 재고는 추가 비용 없이 폐기한다. [51:17]

29. 역방향 계산으로 마지막 단계의 최적 주문량을 구한다

• J₃(x₃)=0에서 시작해 가능한 재고 상태 0, 1, 2 각각의 J₂를 계산하고, 이어 J₁과 J₀를 구한다. 재고가 0인 J₂(0)에서는 주문량 0, 1, 2가 모두 허용된다. [52:03]
• 주문량 u₂는 확률적이지 않으므로 기댓값 밖으로 꺼낼 수 있다. 최소화할 식은 u₂+0.1u₂²+0.7(u₂−1)²+0.2(u₂−2)²이며, 각 수요 결과를 발생 확률로 가중한다. [55:33]

30. 차원 증가·부분 관측·확률모형 구성이 적용을 어렵게 한다

• 하위 문제의 해를 재사용해도 각 시점의 모든 상태에서 벨만 방정식을 풀어야 한다. 상태 성분들의 가능한 값 조합은 차원에 따라 지수적으로 늘어나므로 계산량이 급증한다. [57:44]
• 부분 관측에서는 잔여 비용이 상태가 아니라 상태에 대한 믿음 분포의 함수가 된다. 벨만 방정식을 계산하려면 확률분포 자체를 이산화하거나 근사해야 하며, 이러한 문제는 POMDP로 계속된다. [58:57]

31. 불완전한 모델과 온라인 변화에 대응하는 근사 동적 계획법

• 인간이 로봇의 행동에 어떻게 반응할지는 주어진 모델만으로 알기 어려우므로, 다음 상태를 예측하는 데 필요한 정보를 데이터에서 학습해야 한다. [1:00:05]
• 제어 중 문제 조건이 바뀌면 정책을 온라인으로 재계산해야 하며, 로봇의 현재 능력에 맞게 전이 모델을 조정하는 작업도 필요할 수 있다. [1:00:42]

32. 가치 공간 근사로 잔여 비용 계산을 단순화한다

• 행동은 즉시 비용과 잔여 비용을 함께 고려해 선택하되, 계산량이나 정보 부족으로 최적 잔여 비용을 구하기 어려우면 대체 함수를 사용한다. 핵심은 이 근사로도 충분히 좋은 행동을 선택할 수 있게 만드는 것이다. [1:02:42]
• 원래 문제와 공통점을 가진 단순한 문제로 잔여 비용을 계산할 수 있다. 로봇 경로 계획에서는 전체 동역학 대신 단순화한 동역학을 사용하는 방법이 이에 해당하며, 최적화 계산 자체를 근사하는 방법도 있다. [1:03:26]

33. 정책 공간 근사로 함수 탐색을 매개변수 최적화로 바꾼다

• 가능한 정책에 제한을 두지 않는 최적화는 복잡하므로, 매개변수로 표현한 정책 집합을 정하고 데이터나 다른 기법으로 그 매개변수를 최적화한다. [1:04:50]
• 정책을 제한하면 함수 공간의 최적화가 유한 차원 매개변수의 최적화로 바뀐다. 가치 공간 근사와 정책 공간 근사는 상태 공간이 크거나 문제 정보를 온라인으로 학습해야 하는 상황으로 동적 계획법을 확장하는 접근이다. [1:05:27]

34. 복잡한 실습 수업을 개선하기 위한 피드백과 평가 편향 점검

• 마지막 주 금요일에는 최종 프로젝트 시연이 있다. 수업은 정교한 이론뿐 아니라 복잡한 소프트웨어 인프라와 실제 하드웨어를 함께 다루므로 학습 기회가 큰 만큼 운영과 학습의 난도도 높다. [1:06:04]
• 수업은 이전 수강생의 피드백을 반영해 매년 바뀌며, 개선을 위해 불만 사항에도 건설적인 의견을 덧붙이는 것이 중요하다. [1:06:48]

35. 강화학습 수업 일정과 로봇 자율성 심화 학습 기회

• 목요일에는 담당 교수가 NASA 검토 회의에 참석하므로 수업 조교 중 한 명이 강화학습 수업을 맡는다. [1:08:22]
• 수강 후에도 로봇 자율성 알고리즘, 후속 수업, 관련 경험에 관한 질문을 이메일로 보내 도움을 받을 수 있다. [1:08:44]

36. 당장의 실습 부담보다 앞으로 얻을 학습 가치를 고려한다

• 파이썬 스크립트 디버깅과 검증 게이트를 다루는 경험은 수강 후에도 부담으로 남을 수 있지만, 장기적으로 가치 있는 학습 기회가 되리라는 기대가 있다. [1:10:24]
• 수업의 즉시 비용이 컸더라도 당장의 부담에만 집중하지 않고 앞으로 얻을 보상을 함께 고려해야 한다는 결론은, 즉시 비용과 미래 가치를 함께 평가하는 강의의 의사결정 원리와 연결된다. [1:10:49]

🧾 결론

• 이 강의에서 확인되는 중심 개념은 동적 계획법, 최적성 원리, 제어 정책이다.
• 불확실성하 의사결정을 이해할 때는 제어 시퀀스와 상태에 따라 입력을 정하는 정책의 차이에 주목필요가 있다.
• 현재 자료는 문장 일부만 담은 자막 발췌이므로, 알고리즘의 수식과 예제 결과까지 재구성할 근거는 부족하다.

📈 투자·시사 포인트

• 로봇 자율성 기술을 검토할 때, 상태를 제어 입력에 연결하는 정책이 어떻게 정의되는지 확인하는 기술 검토 질문으로 활용할 수 있다.
• 개방 루프 제어의 위험성에 대한 언급은 시스템이 어떤 상태 정보를 활용하고 어떻게 제어를 조정하는지 살펴볼 필요성을 시사한다.
• 다차원 조합을 다루는 대목은 계산 규모를 확인할 출발점이 된다. 실제 계산량이나 실시간 처리 성능은 이 자료에서 확인되지 않는다.
• 기업, 시장 규모, 수익성, 가치평가 자료가 없어 특정 종목이나 투자 수익에 관한 판단으로 연결할 수는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

• 자막이 짧고 불완전하며 전사 오류로 보이는 표현도 있어, 수식·기호·용어의 정확한 의미를 확정하기 어렵다.
• 최적성 원리와 이후 구간 정책의 최적성이 언급되지만, 이를 적용하는 가정과 전체 증명은 제공되지 않았다.
• 개방 루프 제어의 위험성을 어떤 사례로 설명했는지, 폐쇄 루프 정책과 어떤 조건에서 비교했는지 확인이 필요하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 02:33와 10:06 전후의 원영상 또는 강의 자료에서 동적 계획법의 정의와 최적성 원리의 적용 조건을 확인한다.
• 18:47, 42:09–44:55 구간에서 제어 시퀀스, 제어 정책, 개방 루프, 폐쇄 루프의 정의와 예시를 정리한다.
• 39:51–47:07 구간에서 확률변수, 비용함수, 이후 구간 정책에 관한 수식을 확보하고 기호의 의미를 확인한다.
• 58:32 이후의 다차원 예제를 확인해 어떤 조합을 계산하는지와 모션 플래닝·강화학습으로 이어지는 설명을 보완한다.

❓ 열린 질문

• 강의에서 다루는 불확실성은 어떤 변수와 확률모형으로 표현되는가?
• 최적성 원리가 성립하기 위해 상태와 비용에 어떤 가정을 두는가?
• 폐쇄 루프 정책은 각 시점에 어떤 상태 정보를 이용하는가?