Stanford AA203 Optimal and Learning-Based Control

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford AA203 18강은 정책 그래디언트로 기대 누적 보상을 직접 최적화하고, reward-to-go·베이스라인·actor-critic으로 추정량의 고분산을 낮추는 원리를 설명한다.

📌 핵심 요점

1. 정책 최적화는 가치함수로 정책을 간접 결정하는 대신 정책 πθ를 명시적으로 파라미터화하고, 기대 누적 보상이 증가하는 방향으로 θ를 반복 갱신한다.
2. 궤적 확률에 로그 미분 항등식을 적용하면 알 수 없는 초기 상태 분포와 전이 동역학의 미분이 사라지고, 계산 가능한 시간별 로그 정책 그래디언트만 남는다.
3. REINFORCE는 현재 정책의 rollout 수집, 반환으로 가중한 정책 그래디언트 추정, 정책 파라미터 갱신의 세 단계로 구성된다. 모든 전문가 행동을 높이는 행동 복제와 달리 높은 보상을 만든 행동을 더 강하게 강화한다.
4. 기본 정책 그래디언트는 표본에 따라 갱신 방향이 크게 흔들린다. 조밀한 보상과 reward-to-go는 신용 할당을 개선하고, 베이스라인은 평균보다 좋은 행동과 나쁜 행동을 구분하면서 추정량의 비편향성을 유지한다.
5. Actor-critic은 actor의 직접 정책 최적화와 critic의 가치 추정을 결합한다. Q와 V의 차이인 advantage를 활용하는 A2C는 별도 Q network 없이 정책을 갱신할 수 있으며, 이 구조는 연속 행동도 자연스럽게 다룬다.

🧩 배경과 문제 정의

• 최근 강의에서는 모델 프리 강화학습의 기초로 Monte Carlo와 temporal difference learning을 도입하고, 가치함수로 정책을 간접 결정하는 가치 기반 방법을 다뤘다.
• 정책 최적화는 정책을 파라미터화된 형태로 명시하고, 기대 누적 보상을 직접 최대화하도록 정책 파라미터를 조정한다.
• 이 구간의 핵심 범위는 정책 그래디언트의 유도, REINFORCE 알고리즘, 행동 복제와의 비교, 정책 그래디언트 추정치의 고분산 문제다.

🕒 시간순 섹션별 상세정리

1. 가치 기반 방법에서 정책 최적화로

• 최근 몇 주의 학습 기반 최적 제어에서는 Monte Carlo와 temporal difference learning을 모델 프리 가치 추정의 기본 전략으로 사용하고, 가치 기반 강화학습까지 확장했다. [00:18]
• 정책 최적화는 가치함수로 정책을 암묵적으로 정의하는 대신 정책을 파라미터화하고, 그 파라미터를 조정해 강화학습 목적함수를 직접 최대화한다. [00:46]

2. MDP의 궤적 분포와 확률성

• 에이전트와 환경의 상호작용은 시간에 따른 상태와 제어의 연속인 궤적을 만들며, 강화학습은 이를 Markov decision process로 표현한다. [02:14]
• 궤적의 불확실성은 초기 상태 분포, 상태가 주어졌을 때 제어를 뽑는 확률적 정책, 현재 상태와 제어로 다음 상태를 만드는 전이 분포에서 발생한다. [02:47]

3. 기대 누적 보상과 파라미터화된 정책

• 강화학습 목적은 궤적 분포 아래에서 할인된 누적 보상의 기댓값을 최대화하는 정책을 선택하는 것이다. [03:47]
• 정책을 πθ로 파라미터화하면 초기 상태와 전이 분포는 θ에 직접 의존하지 않지만 정책이 궤적의 전개를 바꾸므로, 최적화 대상은 목적함수를 최대화하는 θ가 된다. [04:24]

4. 정책 파라미터 공간에서의 경사 상승

• 가치 기반 방법은 Q 함수와 가치함수의 고정점 반복을 통해 최적 정책에 간접적으로 접근하지만, 정책 최적화는 정책 파라미터에 대한 명시적 최적화 문제를 푼다. [05:44]
• 기대 보상을 최대화하려면 목적함수의 그래디언트를 추정하고, 그 방향을 따라 θ를 반복적으로 갱신하는 경사 상승을 수행한다. [06:36]

5. 알 수 없는 기댓값을 rollout으로 근사

• 목적함수는 궤적 분포에 대한 기댓값이지만 환경의 전이 동역학을 알지 못하므로, 그 분포를 직접 계산해 기댓값을 평가할 수 없다. [07:20]
• 알 수 없는 전이 함수를 모델링하는 대신 현재 정책으로 환경과 상호작용하며 rollout을 표본으로 수집한다. [07:53]

6. 궤적 반환과 정책 그래디언트의 출발식

• 경사 상승에 실제로 사용할 수 있는 정책 그래디언트 표현을 유도해야 정책 학습 알고리즘으로 연결할 수 있다. [09:15]
• R(τ)를 한 궤적에서 관측한 모든 보상의 합으로 정의하면 목적함수 J(θ)는 R(τ)의 기댓값이며, Pθ(τ)R(τ)를 모든 궤적에 대해 적분한 형태로 쓸 수 있다. [09:46]

7. 로그 미분 기법으로 확률 미분 변환

• 원초적인 그래디언트 식은 알 수 없는 초기 상태 분포와 전이 동역학이 포함된 Pθ(τ)의 미분에 의존하므로 직접 계산할 수 없다. [11:11]
• 로그 미분 항등식 ∇P=P∇logP를 적용하면 궤적 확률 자체의 미분을 궤적 확률과 로그 확률 그래디언트의 곱으로 바꿀 수 있다. [12:02]

8. 궤적 로그 확률에서 정책 항만 분리

• 궤적 분포의 로그를 취하면 초기 상태 로그 확률, 시간별 정책 로그 확률의 합, 전이 로그 확률의 합으로 분해된다. [14:03]
• θ에 대한 미분에서는 초기 상태와 전이 동역학 항이 사라지고, 정책에 의존하는 시간별 ∇θlogπθ(u_t|x_t) 항만 남는다. [15:18]

9. 계산 가능한 정책 그래디언트 추정식

• 최종 정책 그래디언트는 시간별 정책 로그 확률 그래디언트의 합에 궤적의 총보상을 곱한 값의 기댓값이며, 내부 항은 관측된 보상과 알려진 정책만으로 계산된다. [16:20]
• 환경에서 N개의 궤적을 표본으로 얻고 각 궤적의 로그 정책 그래디언트와 총보상을 계산해 평균하면 정책 그래디언트의 유효한 근사치를 얻는다. [17:14]

10. REINFORCE의 세 단계

• 계산 가능한 정책 그래디언트 식은 표본 수집, 그래디언트 추정, 정책 파라미터 갱신으로 구성된 REINFORCE 알고리즘으로 직접 계속된다. [18:24]
• 현재 정책으로 N개 궤적을 생성하고 정책 그래디언트를 근사한 뒤, 그 방향으로 θ를 이동해 기대 성능이 높은 정책을 만든다. [18:51]

11. 새 경험으로 반복되는 정책 개선

• 한 번의 REINFORCE 갱신은 내부 반복 한 단계에 불과하며, 정책을 충분히 개선하려면 같은 과정을 여러 차례 반복해야 한다. [20:08]
• 갱신된 정책은 환경에서 새로운 경험을 수집하고 그 경험으로 그래디언트를 다시 추정하므로, 데이터 분포와 정책 파라미터가 함께 반복적으로 변한다. [20:28]

12. 행동확률 관점과 행동 복제의 기준

• ∇logπ 항은 정책이 선택한 행동의 로그 확률을 조정하며, Gaussian 같은 연속 행동 정책뿐 아니라 유한 행동에 대한 categorical 정책에도 동일하게 적용된다. [21:17]
• 행동 복제는 전문가의 상태-행동 쌍을 학습 데이터로 사용하고, 주어진 상태에서 관측된 전문가 행동의 확률을 최대화해 전문가의 매핑을 근사한다. [22:11]

13. 반환으로 가중된 최대우도 학습

• 정책 그래디언트는 최대우도 그래디언트에 각 궤적의 총보상을 가중치로 곱한 형태여서, 행동의 성과가 정책 갱신 강도를 결정한다. [23:10]
• 행동 복제가 데이터셋의 모든 행동 확률을 높이는 것과 달리, 정책 그래디언트는 높은 보상을 만든 rollout의 행동을 더 강하게 상향 조정한다. [23:33]

14. 시행착오 학습과 보상 정보의 필요성

• 정책은 환경에서 여러 전략을 시도한 뒤 효과적인 행동을 더 가능하게 만들고 비효과적인 행동을 덜 가능하게 만들어 시행착오로 개선된다. [25:14]
• 모방학습에는 명시적인 보상 척도가 없을 수 있어 정책 그래디언트를 그대로 적용하기 어렵지만, 보상을 구성할 수 있다면 행동 복제 손실을 재가중하거나 시연을 선별할 수 있다. [25:54]

15. 정책 그래디언트의 고분산 문제

• 표본으로 계산한 정책 그래디언트는 분산이 매우 커서 갱신 방향이 흔들리는 불안정한 학습 신호가 되며, 이를 줄이기 위한 별도 전략이 필요하다. [27:33]
• 정책이 유도한 궤적 분포에서 세 궤적을 표본화해 반환을 비교하면 두 궤적은 양의 반환, 하나는 음의 반환을 가지며 갱신은 양의 성과를 낸 행동을 더 가능하게 만든다. [28:17]

16. 정책 경사 추정량의 고분산 문제

• 같은 정책 경사 계산도 표본으로 얻은 수익 분포에 따라 더 퍼진 업데이트를 만들며, 양의 수익을 얻은 상대적으로 나쁜 궤적의 확률까지 높일 수 있다. [30:04]
• 정책 경사의 참값을 표본으로 추정하면 관측된 궤적에 따라 추정값이 크게 달라지며, 이런 민감성이 고분산 추정량을 만든다. [30:30]

17. 조밀한 보상과 신용 할당

• 목표 도달 시에만 점수를 주는 희소 보상보다 매 단계의 진전을 반영하는 조밀한 보상이 학습 신호를 궤적 전반으로 더 잘 전달한다. [32:13]
• 조밀한 보상은 정책 경사 분산뿐 아니라 어떤 행동이 결과에 기여했는지를 더 세밀하게 구분하는 신용 할당도 개선한다. [32:30]

18. 인과성을 반영한 보상 합산

• 기본 정책 경사 추정식은 각 시점의 로그 정책 확률에 궤적 전체의 보상 합계를 곱해 기댓값을 경험적 평균으로 근사한다. [32:53]
• 시점 t′의 행동은 그보다 앞서 발생한 보상에 영향을 줄 수 없는데도, 전체 수익을 사용하면 해당 로그 확률이 과거 보상까지 가중받는다. [33:26]

19. 인과성 적용이 분산을 낮추는 이유

• 행동이 영향을 줄 수 없는 과거 보상을 제거하면 경사 추정에서 무관한 항이 빠지고, 행동과 결과 사이의 대응이 더 정확해진다. [34:36]
• 정책의 행동 표본과 환경의 전이 표본이 모두 확률적이므로, 더 적은 보상 항을 합산하면 누적되는 확률적 변동도 줄어든다. [34:52]

20. 베이스라인을 통한 수익 재중심화

• 정책 경사는 수익이 적절히 중심화되어야 좋은 행동의 확률을 높이지만, 모든 수익이 같은 방향으로 치우치면 상대적으로 나쁜 행동까지 강화할 수 있다. [36:14]
• 평균보다 좋은 행동의 확률은 높이고 평균보다 나쁜 행동의 확률은 낮추려면, 환경에서 얻은 수익을 공통 기준 주변으로 재중심화해야 한다. [36:43]

21. 베이스라인 추정량의 비편향성

• 베이스라인을 추가해도 정책 경사의 기댓값이 달라지지 않아야 하며, 이를 위해 차감되는 베이스라인 항의 기대 경사가 0인지 확인해야 한다. [37:38]
• E[∇θ log pθ(τ)B]를 적분으로 바꾸고 pθ(τ)∇θ log pθ(τ)=∇θpθ(τ)를 적용하면 B∇θ∫pθ(τ)dτ로 압축된다. [38:55]

22. 평균 수익 베이스라인

• 기댓값이 0인 베이스라인 항은 정책 경사에 편향을 추가하지 않으면서 수익을 재중심화해 분산을 낮춘다. [40:47]
• 환경과 상호작용해 얻은 n개 궤적의 수익 평균을 B로 사용하면, 각 궤적의 성과를 같은 배치의 평균 성과와 비교할 수 있다. [41:05]

23. 베이스라인이 학습 효율에 미치는 효과

• 같은 알고리즘과 단순한 환경에서도 정책 경사 표현에 베이스라인을 추가하면 동일한 상호작용 횟수로 더 빠르게 학습할 수 있다. [42:24]
• 분산 감소는 표본 효율과 수렴 속도만 높이는 데 그치지 않고, 일부 문제에서는 좋은 해로 수렴할지 실패할지를 결정할 만큼 큰 차이를 만든다. [42:49]

24. 정책 경사의 온폴리시 성격

• 정책 최적화는 강화학습 목적을 정책 파라미터 θ의 함수로 표현하고, 그 경사를 계산해 파라미터 공간에서 상승 방향으로 이동한다. [43:17]
• 경사 추정이 현재 정책 πθ로 수집한 롤아웃에 의존하므로, 정책을 갱신하면 새 정책에 맞는 경험을 다시 수집해야 한다. [44:24]

25. 연속 행동 공간에서의 장점

• 정책 경사는 연속 행동에는 가우시안, 이산 행동에는 범주형 분포처럼 적절한 정책 분포만 정의하면 같은 최적화 형식을 적용할 수 있다. [45:27]
• 가치 기반 방법의 Q 함수 argmax는 유한한 이산 행동에서는 간단하지만, 연속 행동에서는 최적 행동을 찾는 과정 자체가 별도의 최적화 문제가 된다. [46:16]

26. 목적함수 직접 최적화와 표본 비효율

• 정책 최적화는 할인 누적 보상 자체에 경사 상승을 적용하지만, Q-learning은 벨만 최적 방정식의 고정점을 반복적으로 맞춰 같은 목표에 도달한다. [47:08]
• 정책 경사는 목적함수를 직접 오르므로 중간 단계의 개선 정도를 해석하기 쉽지만, Q-learning의 미수렴 반복값은 이전 정책보다 얼마나 나아졌는지 판단하기 어렵다. [47:55]

27. Actor-Critic과 reward-to-go의 잡음

• Actor-critic은 정책 경사의 직접 최적화와 가치 기반 학습의 기대수익 추정을 결합해 두 접근의 장점을 함께 활용한다. [50:22]
• 시점 t부터 종료 시점까지의 보상 합인 reward-to-go는 현재 행동 이후에 얻을 미래 보상을 정책 경사에 반영한다. [50:53]

28. Actor와 Critic의 역할 분담

• Actor-critic은 롤아웃 한 번의 reward-to-go를 그대로 쓰는 대신, 기대 reward-to-go를 근사하는 파라미터 함수를 학습해 표본 잡음을 줄인다. [52:30]
• Actor는 파라미터 θ를 가진 정책 πθ를 학습하고, critic은 가치함수를 근사해 각 상태나 상태·행동 쌍의 기대 미래 수익을 더 정확히 추정한다. [53:09]

29. Critic과 상태 의존 베이스라인의 결합

• 학습한 Q 함수로 reward-to-go를 근사한 뒤에도 베이스라인을 다시 빼면 정책 경사의 분산을 추가로 낮출 수 있다. [55:21]
• 상태 x_t에서 정책이 선택할 행동 u_t에 대한 Q 값의 기대값을 상태 의존 베이스라인 b(x_t)로 사용하면, 해당 상태의 평균 성과를 기준으로 Q 값을 재중심화한다. [56:03]

30. Q 함수와 상태가치 함수의 관계

• 정책 π가 상태에서 선택할 행동들에 대해 Q 값을 평균하면 같은 정책의 상태가치 V가 되며, 이 관계가 상태 의존 베이스라인의 근거가 된다. [57:37]
• Qπ(x,u)는 상태 x에서 특정 행동 u를 먼저 선택한 뒤 정책 π를 계속 따를 때 얻는 기대 누적 보상을 나타낸다. [58:20]

31. Q 함수와 가치 함수의 시간적 차이

• Q 함수는 현재 상태에서 특정 행동을 확정한 뒤 다음 시점부터 정책을 따르므로, 첫 한 단계의 행동 정보가 가치 함수보다 추가된다. [1:00:26]
• 가치 함수는 상태만 입력받기 때문에 현재 행동을 알 수 없으며, 정책이 만드는 행동 분포 아래에서 가능한 행동들의 결과를 평균낸 값이 된다. [1:00:42]

32. 상태가치 baseline과 advantage

• 정책 아래에서 Q 함수를 행동에 대해 기댓값으로 평균내면 가치 함수가 되므로, 정책경사에서 상태가치 함수를 baseline으로 사용할 수 있다. [1:01:29]
• Q와 가치 함수의 차이가 양수인 행동은 선택 확률이 증가하고 음수인 행동은 감소해, 정책이 같은 상태의 평균보다 좋은 행동을 선호하게 된다. [1:02:04]

33. Actor와 critic의 관계

• Critic은 actor와 별도의 파라미터 함수지만, actor가 생성한 환경 경험으로 해당 정책의 가치 함수를 학습하므로 두 객체는 실질적으로 독립적이지 않다. [1:03:26]
• 확률적 정책은 연속 행동에서는 Gaussian, 이산 행동에서는 categorical distribution으로 표현할 수 있으며, 평균 행동은 이 분포 아래의 기댓값을 뜻한다. [1:04:09]

34. 가치 학습과 정책 최적화의 결합

• Critic 파라미터는 fitted Q-learning에서 함수 근사기로 가치 함수를 추정하던 것과 같은 회귀 방식으로 업데이트할 수 있다. [1:06:30]
• Fitted Q-learning과 actor-critic 모두 정책으로 궤적을 수집하고, Monte Carlo 또는 TD target과 예측값 사이의 오차를 줄여 파라미터화된 가치 함수를 학습한다. [1:07:21]

35. 가치 추정 대상의 선택 기준

• V, Q, advantage 가운데 무엇을 추정할지에 단일한 정답은 없으며, 서로 다른 알고리즘이 같은 기본 원리를 다른 구현으로 채택할 수 있다. [1:09:14]
• 가치 함수 V는 상태만 입력받아 비교적 단순하지만, Q와 advantage는 상태와 제어를 함께 입력받아야 하므로 더 복잡한 함수 추정 문제가 된다. [1:09:51]

36. A2C의 advantage 근사

• Advantage actor-critic인 A2C는 정책 업데이트에 Q와 V의 차이인 advantage를 사용하지만, 두 함수를 각각 학습하는 비용은 피하려 한다. [1:10:12]
• Q를 즉시 보상과 다음 상태의 가치 합으로 근사하면 advantage를 현재 가치, 보상, 다음 상태 가치만으로 계산할 수 있어 별도의 Q network가 필요하지 않다. [1:10:28]

37. Critic을 학습하는 두 가지 회귀 방식

• Actor-critic의 가치 추정은 가치 기반 방법에서 사용한 함수 근사 절차를 그대로 활용하며, 수집한 경험으로 지도학습 형태의 회귀 문제를 구성한다. [1:12:18]
• Monte Carlo 학습은 상태와 실제 누적 return의 쌍을 데이터로 모아, 가치 함수가 관측된 return을 예측하도록 학습한다. [1:12:40]

38. AlphaGo의 policy와 value network

• AlphaGo는 고차원 바둑 상태에서 다음 수를 선택하는 문제에 강화학습을 적용하며, policy network와 value network를 함께 사용한다. [1:14:25]
• Policy network는 현재 판의 배치를 상태로 받아 유한한 후보 수들에 대한 확률분포를 출력하므로 actor 역할을 맡는다. [1:14:40]

39. Self-play 정책경사와 탐색

• 정책은 자신 또는 이전 버전과 대국하는 self-play로 경험을 만들고, 재생된 게임 결과를 이용해 policy gradient 업데이트를 계산한다. [1:15:41]
• 업데이트는 grad log policy에 관측 return과 상태가치의 차이를 곱한 경험적 평균이며, 상태가치를 baseline으로 사용해 분산을 줄인다. [1:16:17]

40. AlphaGo의 성과와 self-play의 한계

• 심층 강화학습 정책에는 수렴 증명이나 이론적 최적성 보장이 없지만, AlphaGo는 바둑 세계 챔피언을 꺾은 경험적 성과로 정책의 유효성을 입증했다. [1:18:06]
• 초기 방식은 전문가 시연을 behavior cloning한 뒤 강화학습으로 미세조정했지만, 이후에는 behavior cloning이 최종 성능에 불리하다는 결과에 따라 self-play만으로 학습했다. [1:18:33]

🧾 결론

• 정책 그래디언트는 환경 동역학을 직접 모델링하지 않고도 관측된 보상과 알려진 정책의 로그 확률로 강화학습 목적함수의 경사를 추정한다.
• REINFORCE의 단순성만으로는 충분하지 않으며, reward-to-go와 베이스라인 같은 분산 감소 장치가 학습 속도와 안정성을 좌우한다.
• Actor-critic은 noisy한 단일 rollout 반환을 가치함수의 기대수익 추정으로 보완하고, advantage를 통해 같은 상태의 평균보다 나은 행동을 선호하게 만든다.
• 기본 정책 경사는 연속 행동 공간을 자연스럽게 수용하지만, 정책을 갱신할 때마다 새 경험이 필요한 온폴리시 구조 때문에 표본 비효율이라는 대가를 치른다.

📈 투자·시사 포인트

• 강화학습 시스템을 평가할 때 최종 성능뿐 아니라 경사 분산, 환경 상호작용 횟수, 수렴 속도와 학습 곡선의 안정성을 함께 확인해야 한다.
• 연속 제어 문제에서는 정책 분포를 직접 최적화하는 방식이 Q 함수의 argmax를 반복해서 푸는 기본 가치 기반 방식보다 자연스러운 선택지가 될 수 있다.
• 실제 구현 역량은 알고리즘 이름보다 reward-to-go 구성, 베이스라인 설계, critic 정확도와 advantage 추정 품질에서 더 분명하게 드러날 수 있다.
• AlphaGo의 경험적 성공은 policy·value network와 self-play의 잠재력을 보여주지만, 심층 강화학습에 수렴이나 이론적 최적성이 자동으로 보장되는 것은 아니다.

⚠️ 불확실하거나 확인이 필요한 부분

• 강의는 비할인 환경에서 유도를 단순화해도 할인 보상을 포함한 결과가 유지된다고 설명하지만, 해당 확장의 상세 유도는 제시된 구간에 포함되지 않는다.
• 베이스라인과 actor-critic은 분산을 낮출 수 있지만, critic의 가치 근사가 충분히 정확하지 않다면 기대한 개선이 항상 실현된다고 단정할 수 없다.
• AlphaGo 사례는 강력한 경험적 성과를 보여주지만 심층 강화학습의 수렴이나 이론적 최적성을 보장하지 않으며, self-play 구현에 사용된 추가 장치의 구체적 범위도 강의에서 확정하지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 궤적 확률의 인수분해부터 로그 미분 항등식, 정책 항만 남는 과정까지 직접 다시 유도한다.
• 동일한 환경에서 기본 REINFORCE, reward-to-go 적용형, 평균 수익 베이스라인 적용형을 구현해 경사 분산과 학습 곡선을 비교한다.
• Monte Carlo return과 TD target으로 critic을 각각 학습하고, actor 업데이트의 안정성과 표본 효율 차이를 측정한다.
• 연속 행동에는 Gaussian 정책, 이산 행동에는 categorical 정책을 적용해 같은 정책 그래디언트 형식이 유지되는지 확인한다.

❓ 열린 질문

• V, Q, advantage 가운데 어떤 대상을 추정하는 것이 주어진 상태·행동 공간과 함수 근사 난이도에 가장 적합한가?
• 기본 정책 그래디언트의 온폴리시 표본 비효율을 줄이면서 직접 목적함수 최적화의 장점을 얼마나 유지할 수 있는가?
• 희소 보상 환경에서 인과적인 reward-to-go와 상태 의존 베이스라인만으로 충분한 신용 할당이 가능한가?