Stanford CS329A Self-Improving AI Agents

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Stanford CS329A Self-Improving AI Agents를 중심으로, ReAct는 생각·행동·관찰을 순차적으로 연결해 모델 내부 지식만으로 답할 때 생기는 환각을 줄인다. 검색이나 도구 호출의 결과를를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. ReAct는 생각·행동·관찰을 순차적으로 연결해 모델 내부 지식만으로 답할 때 생기는 환각을 줄인다. 검색이나 도구 호출의 결과를 문맥에 누적하고, 실패한 검색어를 수정하면서 외부 근거에 맞춰 다음 행동을 결정하는 것이 핵심이다.
2. 도구를 쓴다는 사실만으로 신뢰성이 보장되지는 않는다. 모델은 자신의 지식을 과대평가하고 검색 결과도 충돌하거나 잡음에 오염될 수 있으므로, 유효 행동 제약·합의 기준·별도 검증·성찰·백트래킹·반복 샘플링 같은 애플리케이션 수준의 방어 장치가 필요하다.
3. RLEF는 코딩 에이전트가 생성한 코드를 실제로 실행하고 테스트 실패를 다음 시도의 문맥에 되돌려 주는 자기개선 방식이다. 공개 테스트는 반복 수정에, 비공개 테스트는 독립적인 정책 보상에 사용하며, 실행 결과와 강화학습을 결합해 코드 생성 정책을 갱신한다.
4. Constitutional AI는 인간이 작성한 원칙을 자기비평과 수정의 피드백으로 전환한다. AI가 원칙에 따라 응답을 평가하고 선호 신호를 만들 수 있지만, 무해함을 높일수록 도움됨이 낮아질 수 있어 두 목표의 균형과 인간 검증이 중요하다.
5. 단일 피드백 방식이 모든 과업에서 최적인 것은 아니다. ReAct와 자기일관성의 혼합, 하위 과업별 모델 위임, 과업에 맞춘 추론·행동 비율, 제한된 행동 공간과 중단 조건을 함께 설계해야 오류 누적과 과잉 추론 비용을 통제할 수 있다.

🧩 배경과 문제 정의

• 대규모 언어 모델은 자연어 처리와 챗봇에는 강하지만, 최신 정보가 필요한 실세계 과업을 해결하려면 환경·도구·코드와 상호작용하고 그 결과를 다시 추론에 반영해야 한다.
• 자기개선 에이전트의 핵심은 피드백 순환이며, 외부 환경의 관찰, 코드 실행 결과, 자기비평처럼 피드백의 출처에 따라 학습 방식이 달라진다.
• ReAct는 추론과 행동을 교차시켜 내부 지식의 한계를 보완하지만, 잡음 섞인 관찰, 과도한 확신, 넓은 행동 공간, 다단계 오류 누적을 통제할 별도의 장치가 필요하다.

🕒 시간순 섹션별 상세정리

1. 실세계 피드백이 필요한 언어 모델

• 챗봇과 자연어 처리에 강한 모델도 실세계 과업에서는 환경·도구·코드와 상호작용하고, 그 결과로부터 학습해야 실제 행동까지 수행할 수 있다. [00:16]
• ReAct, RLEF, Constitutional AI는 모두 모델의 자기개선을 목표로 하지만, 각각 환경과의 상호작용, 코드 실행, 자기비평에서 피드백을 얻는다는 차이가 있다. [01:30]

2. 생각·행동·관찰을 잇는 ReAct 순환

• 인간은 먼저 생각하고 행동한 뒤 환경의 변화를 관찰하며, 새 관찰을 바탕으로 다음 추론과 행동을 결정한다. [01:56]
• 언어 모델은 추론과 행동을 분리하면 현재 환경을 알 수 없어 환각에 빠지기 쉽고, 검색 같은 외부 행동 없이는 최신 정보를 다시 추론에 반영할 수 없다. [02:41]

3. 내부 추론과 외부 행동의 결합

• Chain-of-Thought는 중간 추론 단계를 만들지만 모델 내부 상태에만 의존하고, WebGPT형 접근은 브라우저 조작을 학습해도 행동을 이끄는 명시적 추론 과정이 부족하다. [04:04]
• ReAct는 언어로 만든 추론 흔적을 프롬프트에 추가한 뒤 다음 행동을 선택해, 질의응답·사실검증·온라인 구매처럼 외부 지식과 연속 행동이 필요한 과업을 접지한다. [05:04]

4. 언어 공간의 에이전트와 유효 행동 제약

• ReAct는 목표에 대한 추론과 도구 행동을 번갈아 수행하고, 과거 행동과 새 관찰을 문맥에 누적해 다음 결정을 내리는 에이전트 순환을 언어 공간에서 구현한다. [06:28]
• 가능한 행동을 미리 제한한 뒤 현재 상태와 추론에 맞는 행동을 분류하도록 만들면 잘못된 도구 호출을 줄일 수 있으며, 물리적 제약이 큰 로봇 과업에서도 접지력이 높아진다. [08:02]

5. Few-shot 구현과 Apple Remote 실패 사례

• 동결된 PaLM 모델은 소수의 생각·행동·관찰 예시를 보고, 현재 환경 상태에 따라 추가 추론이 필요한지 실제 행동이 필요한지를 선택한다. [08:59]
• Apple Remote 관련 HotpotQA 문제에서는 표준 프롬프트와 Chain-of-Thought만으로 정확한 답을 얻지 못해 내부 지식만 사용하는 방식의 한계가 드러난다. [09:45]

6. 관찰을 반영하는 교차 추론의 효과

• 추론과 행동을 교차하면 Apple Remote 검색 결과에서 Front Row를 찾아내고, 검색 실패 뒤에는 질의를 ‘Front Row software’로 바꿔 필요한 정보를 확보할 수 있다. [10:52]
• Qwen 계열을 비롯한 현대적 추론 모델은 이런 교차 흔적과 도구 호출을 증류 학습해, thinking mode에서 검색과 후속 추론을 자동으로 연결한다. [11:56]

7. 불확실성 보정과 순차적 의사결정

• 모델은 자신이 무엇을 알고 있는지 안정적으로 판별하지 못하고 확신도를 과대평가하므로, 애플리케이션은 자기평가에 의존하기보다 적절한 도구를 사용해 지식을 접지해야 한다. [13:01]
• ReAct에서는 첫 생각이 첫 행동을 만들고 그 결과가 다음 생각과 행동을 바꾸며, 병렬 샘플링이 필요하다면 이 순차 구조와 별도로 명시적인 절차를 설계해야 한다. [14:06]

8. 충돌하는 검색 결과와 추론 토큰의 역할

• 검색 결과가 서로 충돌하면 사용자에게 답을 내기 전에 합의 기준, 다수결, 별도 검증 절차 같은 애플리케이션 수준의 가드레일이 필요하다. [15:00]
• 검색 결과에도 환각 위험은 남지만, 외부 근거를 활용하면 모델 내부 상태에만 의존할 때보다 오류를 더 강하게 통제할 수 있다. [15:38]

9. 지식 집약 벤치마크와 혼합 전략

• HotpotQA와 FEVER는 위키백과 검색·문자열 조회·종료처럼 단순한 행동 공간을 사용하지만, 여러 근거를 연결하거나 사실을 검증해야 하므로 검색 결과의 정확한 활용이 중요하다. [17:28]
• 비교 대상에는 표준 프롬프트, Chain-of-Thought, 다수결 방식의 자기일관성, 추론 없는 행동 전용 방식, 실패 시 다른 방식으로 전환하는 혼합 전략이 포함된다. [17:57]

10. 외부 검색이 줄이는 환각 오류

• 모델 내부 지식과 외부 검색 결과를 중간 추론으로 결합하면 필요한 정보를 더 정확히 선택하고, 검색 도구를 답에 필요한 근거 수집에 집중시킬 수 있다. [19:02]
• Chain-of-Thought에서는 환각이 주요 실패 원인이지만, ReAct는 외부 지식 기반에서 근거를 검색해 오류를 줄이고 응답의 신뢰도를 높인다. [19:54]

11. WebShop 의사결정 성능과 다단계 한계

• WebShop에서는 사용자 조건에 맞는 상품을 검색하고 구매하는 연속 행동을 수행하며, 모방학습과 모방학습·강화학습 결합 방식이 기준선 역할을 한다. [20:26]
• ReAct는 모방학습 기준선보다 높은 점수와 성공률을 기록했지만 66.6점으로 인간 전문가의 82.1점에 못 미쳤고, 한 단계의 실수가 이후 행동 전체로 전파됐다. [21:44]

12. 잡음 많은 환경 피드백에 대한 방어

• 환경 피드백이 부정확하거나 잡음에 오염됐다면 별도의 성찰 단계를 거쳐 관찰의 타당성을 점검한 뒤 다음 추론에 반영해야 한다. [23:35]
• 잘못된 관찰이 반복 행동으로 이어질 때는 이전 상태로 되돌아가는 백트래킹이 순환 오류를 끊고 다른 경로를 탐색하게 한다. [24:03]

13. 과업별 인지 전략과 과도한 추론

• 과업에 따라 과거 경험을 활용하거나 행동 전에 충분히 분석해야 하며, 복잡한 문제는 작은 하위 과업으로 분해한 뒤 각각 다른 방식으로 처리하는 편이 적합하다. [24:54]
• 여러 추론 경로를 병렬로 비교하고 과거 기억을 재사용하면, 단일 ReAct 순환만으로 해결하기 어려운 문제에 대안 경로를 확보할 수 있다. [25:41]

14. 모델 강점에 따른 복합 시스템 구성

• 모델의 규모와 학습 특성에 따라 도구 호출, Chain-of-Thought, 작업 위임 능력이 달라지므로 모든 하위 과업을 하나의 모델에 맡기는 방식이 항상 최적은 아니다. [26:51]
• 복합 시스템은 하위 과업별로 여러 모델을 벤치마크하고, 각 모델이 강점을 보인 작업을 선택적으로 위임해 역할을 분담한다. [27:18]

15. RLEF의 실행 피드백 학습 루프

• 코딩 에이전트는 사용자 의도를 코드로 옮긴 뒤 실제 실행 결과를 받아 반복 수정해야 하며, RLEF는 이 실행 피드백으로 코딩 언어 모델의 성능을 높인다. [27:32]
• End-to-end 강화학습은 생성 코드를 행동, 테스트 실행 결과를 관찰, 통과 여부를 이진 보상으로 취급해 모델의 코드 생성 정책을 반복적으로 개선한다. [28:37]

16. 실행 피드백과 정책 갱신이 결합된 자기개선 루프

• 해법이 통과하거나 정해진 반복 횟수에 도달할 때까지 후보를 만들고, 최종 후보의 비공개 테스트 보상을 PPO 계열 강화학습에 투입한다. [30:01]
• 현재 정책은 추론 단계의 실행 피드백으로 해법을 탐색하고, 실행 결과에 따른 정책 업데이트는 다음 반복의 성능을 높인다. [30:22]

17. 공개·비공개 테스트 분리와 시퀀스 단위 보상

• 공개 테스트는 빠른 반복을 위한 소규모 즉시 피드백으로 작동해, 모델이 실패 원인을 반영한 다음 해법을 개발하도록 돕는다. [31:33]
• 비공개 테스트는 생성 과정에서 숨겨 두어 테스트 출력 암기와 과적합을 막고, 최종 정책 학습에 사용할 독립적인 보상 신호를 만든다. [31:51]

18. 테스트 구성과 실패 피드백의 실제 전달 방식

• 하나의 테스트 집합을 공개 테스트와 비공개 테스트로 나누고, 공개 부분은 추론 중 자기수정에 사용하며 비공개 부분은 정책 학습용 평가에 남긴다. [33:15]
• 생성 코드와 테스트 실패 결과를 문맥에 함께 추가하면, 언어 모델은 어떤 문제를 풀었고 어떤 출력에서 실패했는지를 바탕으로 두 번째 해법을 만든다. [34:20]

19. 실행 피드백이 해결률과 수정 정확도를 높이는 이유

• Llama 3.1 기반 코드 경진대회 실험에서는 RLEF 적용 후 해결률이 높아졌고, 로그 스케일의 샘플링 예산이 증가할수록 개선 효과도 이어졌다. [35:22]
• 결함 있는 해법과 실패 결과를 단순히 보여 주는 것만으로는 부족하며, 각 턴의 실행 오류를 학습 데이터에 포함해야 다른 코드 벤치마크까지 일반화할 수 있다. [36:18]

20. 이진 피드백의 한계와 보상 설계 선택

• 짧고 단순한 코드 문제에서는 통과·실패의 이진 신호만으로도 수정이 가능하지만, 복잡한 문제에는 오류 추적 정보나 추가 메타데이터가 필요할 가능성이 있다. [38:46]
• 최종 결과에만 보상을 주면 첫 시도 정답을 직접 보장하지 않지만, 공개 테스트 오류를 문맥에 추가하고 PPO 학습 전에 여러 차례 수정 기회를 제공할 수 있다. [39:46]

21. 일반화와 평가 설계에 남은 쟁점

• 추론 과정에 대한 지도 미세조정은 동일 도메인에서 효과적이고, 강화학습은 조금 더 새로운 문제를 해결하며 추가적인 일반화 이점을 얻을 수 있다. [41:37]
• 자기수정에 사용한 테스트를 그대로 정책 보상에도 사용하면 학습 신호가 겹칠 수 있으며, 미해결 코드가 실행 시간을 모두 쓰면 순수 오답 감소와 함께 시간 초과 비중이 늘어날 수 있다. [43:28]

22. 대규모 코드베이스를 위한 검색·요약·패치 흐름

• 코드베이스가 문맥 창에 들어가지 않으면 필요한 정보를 먼저 추론하고, 검색 도구를 반복 호출해 충분한 근거가 모였을 때 코드 수정 단계로 이동한다. [44:23]
• 파일별 짧은 요약이나 코드 그래프의 유사도 검색을 이용하면 전체 코드를 넣지 않고도 관련 구성 요소를 좁히고, 정보가 부족할 때 검색을 반복할 수 있다. [45:12]

23. 인간 피드백의 확장성 문제와 헌법적 AI

• 챗봇은 유용한 답변뿐 아니라 무해한 답변도 만들어야 하므로, 도움됨과 안전성을 동시에 개선하는 후처리 목표가 필요하다. [46:30]
• RLHF는 두 응답의 정확성·유용성·구체성을 인간이 비교한 선호로 보상 모델을 만들지만, 수만 개의 응답을 평가하는 과정은 시간과 노동 비용이 크다. [47:38]

24. 헌법적 AI의 지도학습과 강화학습 구조

• 열여섯 개의 헌법 원칙이 원하는 모델 행동을 정의하고, 각 원칙은 응답이 기준을 따르는지 판별하는 자기비평 프롬프트로 바뀐다. [48:43]
• 레드팀 프롬프트의 초기 응답을 원칙에 따라 비평하고 수정한 뒤, 수정 결과를 지도 미세조정 데이터로 사용한다. [49:08]

25. 유해성·편향을 찾아내고 다시 쓰는 원칙

• 응답에 유해하거나 비윤리적인 내용이 있는지 판별한 뒤 해당 요소를 제거하도록 요구해, 자기비평과 수정이 하나의 학습 궤적을 이룬다. [50:00]
• 성별 편향의 근거를 찾거나 어린이에게 부적절한 내용을 판별한 다음 다시 쓰려면, 행동 특성 인식과 구체적인 수정 지시 준수 능력이 모두 필요하다. [50:27]

26. 자기수정 지도학습과 AI 선호 강화학습

• 인간이 작성한 원칙을 기준으로 자기비평·수정 데이터를 생성하고, 지도학습 단계는 이 데이터에 맞춰 응답 분포를 조정한다. [50:43]
• 수정 횟수가 늘수록 무해함은 개선되지만 고정된 원칙에 강하게 맞추면서 도움됨은 낮아질 수 있고, 두 지표를 합친 성능은 전반적으로 상승한다. [51:10]

27. 헌법 개정과 지식 삭제의 어려움

• 헌법 기반 강화학습은 사전학습 이후의 후처리 단계이며 전체 계산량에서 약 5% 수준이므로, 모델 업데이트 주기에 맞춰 원칙을 개정할 수 있다. [52:58]
• 새 규칙을 따르게 하면서 기존 규칙이나 지식을 잊게 만드는 문제는 지속학습과 언러닝에 속하며, 아직 일반적으로 해결되지 않았다. [53:11]

28. 도움됨과 무해함 사이의 성능 균형

• 학습 시퀀스 수에 따른 도움됨·무해함 ELO를 이용해 인간 피드백 RLHF와 헌법적 AI, 사고 과정이 결합된 헌법적 AI를 비교한다. [53:49]
• 헌법 원칙에 따른 AI 평가는 인간 피드백 모델과 비슷하거나 조금 낮은 도움됨을 유지하면서 무해함 점수를 크게 높였고, Claude 계열 모델의 강점으로 이어졌다. [54:28]

29. 자기비평 추론 궤적과 인간 검증

• 원칙을 적용해 추론하고 자기비평한 뒤 응답을 수정하는 전체 과정은 하나의 추론 궤적이 되며, 지도 미세조정은 이 궤적의 생성 확률을 높인다. [56:36]
• 미세조정 규모가 기초 모델의 사전학습보다 충분히 작으면 기존 능력을 크게 잃지 않으면서, 출력 분포를 헌법에 맞는 응답 쪽으로 이동시킬 수 있다. [57:12]

30. 헌법적 강화학습의 파레토 경계와 확장

• 원시 기초 모델은 도움됨과 무해함이 모두 낮고, 도움됨 중심 RLHF는 유용성 축을 먼저 높이며 도움됨과 무해함을 함께 학습하면 두 목표의 경계가 확장된다. [58:26]
• 헌법적 지도학습만으로는 RLHF보다 낮지만 사고 과정이 결합된 헌법적 강화학습은 도움됨·무해함의 파레토 경계를 가장 크게 넓히며, 충돌하는 지시 중 일부 원칙을 우선해야 하는 상황에도 적용할 수 있다. [59:20]

31. 자기교정 연구와 ReAct의 피드백 구조

• 별도 모델의 비평은 자기 지식의 한계를 과신하는 모델의 자기평가보다 나을 수 있으며, 강화학습을 활용한 자기교정은 유용성과 무해성의 범위를 넘어선 연구 과제로 남아 있다. [1:00:14]
• ReAct는 추론과 현실 환경의 행동 피드백을 결합해 답변과 사실 확인을 개선하고, 게임이나 웹 브라우저 환경의 의사결정 과정을 해석 가능한 언어 추적으로 남긴다. [1:01:18]

32. 도구 호출과 실행 피드백을 통한 성능 개선

• 추론과 행동을 번갈아 수행하는 ReAct 구조는 도구 호출의 기초가 되었으며, 최신 모델에서는 도구 사용이 기본 기능에 가까워졌다. [1:01:31]
• 코딩 에이전트는 단위 테스트의 실행 결과를 반복적으로 반영해 올바른 코드를 찾고, 더 적은 예산으로 코드 경진대회와 경쟁 프로그래밍 성능을 높일 수 있다. [1:02:04]

33. 인간식 추론과 자동화된 탐색의 경계

• 단계별 사고, 작업 분해, 분석의 병렬화는 인간의 문제 해결 방식을 닮았지만, 궁극적인 과제는 추론 과정을 매번 언어로 지정하지 않고도 성능 향상을 위한 탐색을 자동화하는 것이다. [1:05:01]
• 게임처럼 행동과 탐색 공간이 제한된 문제는 자동 탐색이 가능하지만, 검색 도구와 실제 환경을 다루는 개방형 문제는 공간이 명확하지 않아 관찰을 수집하고 다음 판단에 반영해야 한다. [1:05:47]

34. 언어 모델 개선 기법의 에이전트 확장

• 여러 언어 모델이 연결되고 기억·세션·함수 호출을 갖추면 에이전트에 가까워지며, 기억과 세션이 없는 현재 구조도 그 초기 구성 요소에 해당한다. [1:06:14]
• 언어 모델이 특정 방식으로 응답하도록 만드는 능력은 에이전트의 기본 토대이므로, 모델 수준의 피드백과 자기개선 기법은 에이전트 개발에도 직접 영향을 준다. [1:06:33]

35. 강화학습과 도메인별 워크플로의 공존

• 강화학습 기반 후처리는 탐색 공간을 명확히 정의할 수 있을 때 수작업 프레임워크를 대체할 수 있지만, 회계·금융·법률 에이전트의 작업 절차는 도메인마다 달라 하나의 공간으로 고정하기 어렵다. [1:07:30]
• 추론과 도구 호출을 모두 보상으로 최적화할 토큰 생성으로 추상화할 수 있어도, ReAct는 추론과 행동을 교대로 배치하는 구체적인 실행 순서를 제공한다. [1:08:00]

36. ReAct 형식화와 데이터 제한의 한계

• 형식화된 상태 (C_t)는 프롬프트의 현재 문맥과 같으며, 모델이 다음 결정을 내릴 때 사용할 수 있는 정보가 곧 문맥 창 안의 내용이다. [1:08:53]
• 각 단계의 모델 출력은 추론 흔적이나 외부 행동 중 하나를 선택하고, 추론을 끝낸 뒤 다음 단계에서 별도의 행동을 다시 선택할 수 있다. [1:09:30]

🧾 결론

• ReAct, RLEF, Constitutional AI는 각각 환경 관찰, 코드 실행, 자기비평을 피드백으로 사용하지만, 공통적으로 결과를 다음 추론이나 정책 갱신에 되돌리는 순환 구조를 갖는다.
• 에이전트의 성능은 긴 사고 흔적 자체보다 외부 근거를 얼마나 정확히 수집하고 검증하며 다음 행동에 반영하는지에 달려 있다.
• 피드백은 자동으로 정답을 보장하지 않는다. 잡음, 충돌, 이진 보상의 정보 부족, 다단계 오류 전파를 다루는 별도 제어 계층이 필요하다.
• 개방형 실세계 과업과 도메인별 업무 절차는 하나의 보편적 실행 방식으로 고정하기 어려우므로, 모델·도구·평가 절차를 조합한 복합 시스템이 현실적인 방향이다.

📈 투자·시사 포인트

• 에이전트 경쟁력의 중심은 기초 모델 성능뿐 아니라 검색·도구 실행·테스트·검증·정책 갱신을 연결하는 피드백 인프라로 확장될 수 있다.
• 코딩 에이전트에서는 실제 실행 결과, 공개·비공개 테스트 분리, 반복 디버깅 능력이 단순 코드 생성보다 중요한 차별화 요소가 된다.
• 행동 공간이 넓어질수록 시연 데이터, 문맥 사용량, 다단계 추론 비용이 증가하므로 정확도와 함께 실행 예산과 응답 시간을 통제하는 설계가 중요하다.
• 회계·금융·법률처럼 절차가 서로 다른 분야에서는 범용 에이전트 하나보다 도메인별 워크플로와 강점이 다른 모델을 결합하는 접근의 실용성이 크다.

⚠️ 불확실하거나 확인이 필요한 부분

• ReAct는 행동 전용 방식보다 우수했지만 HotpotQA에서 Chain-of-Thought를 항상 앞선 것은 아니므로, 특정 벤치마크의 개선을 모든 지식 과업으로 일반화할 수 없다.
• WebShop에서 ReAct가 66.6점으로 인간 전문가의 82.1점에 미치지 못한 결과는 다단계 오류 전파를 보여 주지만, 이 수치만으로 실제 서비스 환경의 성능을 판단하기는 어렵다.
• 통과·실패의 이진 보상은 단순한 코드 문제에서는 유효할 수 있으나, 복잡한 과업에서 오류 추적 정보나 과정 보상이 얼마나 필요한지는 도메인과 벤치마크에 따라 달라진다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 에이전트가 사용할 수 있는 유효 행동과 도구 호출 조건을 먼저 제한하고, 각 관찰을 다음 추론에 반영하기 전 검증 절차를 정의한다.
• 코딩 에이전트는 빠른 자기수정용 공개 테스트와 독립적인 정책 평가용 비공개 테스트를 분리하고, 실패 출력이 다음 시도에 전달되는지 점검한다.
• 충돌하거나 잡음이 많은 피드백에 대비해 합의 기준, 별도 검증, 성찰, 백트래킹, 확신도 지표와 반복 샘플링을 과업 특성에 맞게 조합한다.
• 하위 과업별로 모델과 전략을 벤치마크하고, ReAct·자기일관성·병렬 탐색의 조합과 추론 예산 및 중단 조건을 명시한다.

❓ 열린 질문

• 어떤 과업에서 순차적인 ReAct 순환만으로 충분하며, 언제 자기일관성이나 병렬 추론 경로를 함께 사용해야 하는가?
• 코드 실행 피드백에서 최종 결과 보상과 단계별 과정 보상의 최적 비율은 문제 복잡도에 따라 어떻게 달라지는가?
• 검색과 실제 환경을 다루는 개방형 에이전트가 탐색 공간을 미리 고정하지 않고도 피드백 신뢰도를 판단하고 탐색을 자동화할 수 있는가?