Optimizing AI Agents: Prompts vs. Weights (GEPA, GRPO)
Quick Summary
Optimizing AI Agents: Prompts vs. Weights (GEPA, GRPO)를 중심으로, 무엇을 성공으로 볼지 먼저 정해야 한다. 이메일에서 날짜를 정확히 찾아도 캘린더가 그 형식을 읽지 못하거나 일정 두 개 중 하나만를 핵심 판단 포인트로 압축 정리한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Optimizing AI Agents: Prompts vs. Weights (GEPA, GRPO)를 중심으로, 무엇을 성공으로 볼지 먼저 정해야 한다. 이메일에서 날짜를 정확히 찾아도 캘린더가 그 형식을 읽지 못하거나 일정 두 개 중 하나만를 핵심 판단 포인트로 압축 정리한다.
📌 핵심 요점
- 무엇을 성공으로 볼지 먼저 정해야 한다. 이메일에서 날짜를 정확히 찾아도 캘린더가 그 형식을 읽지 못하거나 일정 두 개 중 하나만 등록하면 작업은 실패한다. 두 조건을 평가에 넣어야 실제로 쓸 수 있는 결과를 가려낼 수 있다.
- 가중치를 고정해도 입력을 바꾸면 성능이 달라진다. DSPy는 성공한 실행을 입력 예시로 재사용한다. GEPA는 실행 피드백으로 지시문을 고치고, 다른 후보가 풀지 못한 과제를 해결한 후보도 남겨 이후 탐색에 활용한다.
- 가중치를 학습할 때는 방법마다 피드백의 출처가 다르다. 지도 미세조정(SFT)은 교사의 수행 기록을 학습한다. GRPO는 학생 모델이 같은 문제에 낸 여러 답변의 보상을 서로 비교해, 별도의 가치 모델 없이 정책을 갱신한다.
- 온폴리시 증류에서는 학생이 직접 만든 풀이의 각 지점에서 교사가 다음 토큰에 부여한 확률을 학습에 쓴다. 강의가 인용한 Qwen3 평가에서 정확도는 SFT 약 55%, 강화학습 67%, 온폴리시 증류 74%였고, 온폴리시 증류에 든 GPU 시간도 더 적었다.
- 두 접근은 함께 쓸 수 있다. GEPA 연구에서는 같은 횟수만큼 과제를 시도했을 때 프롬프트 최적화가 GRPO보다 빠르게 성능을 높였다. 별도의 Better Together 연구에서는 일부 과제에서 프롬프트를 개선하고 가중치를 학습한 뒤, 달라진 모델에 맞춰 프롬프트를 다시 개선하는 순서가 효과적이었다.
🧩 배경과 문제 정의
- 같은 수학 문제라도 어떤 지시문이 더 높은 정확도를 내는지는 모델에 따라 달라진다. 원하는 동작을 대표하는 문제와 평가 기준이 있어야 여러 후보를 실제 성능으로 비교할 수 있다.
- 범용 모델의 성능이 좋아져도 개별 응용에는 고유한 요구사항이 남는다. 이메일에서 일정을 정확히 읽었더라도 날짜 형식을 캘린더가 해석할 수 없거나 여러 일정 중 하나만 추출하면 작업은 실패한다.
- 이 구간의 중심은 모델 가중치를 그대로 두고 입력 맥락을 개선하는 방법이다. 어떤 예시를 어떤 순서로 보여줄지, 성공한 실행에서 무엇을 재사용할지, 평가 결과를 다음 지시문에 어떻게 반영할지가 주요 쟁점이다.
🕒 시간순 섹션별 상세정리
1. PaLM 2의 수학 정확도는 직관만으로 예측하기 어렵다
- 지시 학습을 거친 PaLM 2-L에 사용할 수학 풀이 지시문 세 개를 두고 수강생의 선택은 대략 3분의 1씩 갈렸다. 실제 평가에서는 두 번째 후보의 정확도가 가장 높았다. [02:38]
- 이 차이를 활용하려면 후보들을 같은 문제에 적용하고 결과를 비교해야 한다. 최적화에서는 개발자가 원하는 동작을 데이터와 평가 기준으로 표현하고, 그 기준에 따라 시스템을 개선한다. [03:16]
2. 최적화에는 시스템·데이터·평가 지표가 모두 필요하다
- 개선 대상은 언어 모델 하나일 수도 있고 여러 단계를 거치는 워크플로나 에이전트일 수도 있다. 실행 기록, 시범 예시, 사람의 피드백은 개선에 쓸 데이터가 된다. [04:53]
- 통과율, 정답과의 정확 일치 여부, 언어 모델의 판정으로 과제 수행 능력을 측정할 수 있다. 비용과 지연 시간도 목표가 될 수 있다. 어떤 지표를 택하든 시스템 변경의 효과를 측정할 수 있어야 한다. [05:15]
3. 범용 모델을 특정 용도에 맞추는 마지막 조정
- 범용 모델이 발전하면서 지시문의 표현을 세밀하게 다듬을 필요는 줄어들 수 있다. 그래도 특정 응용에서 어떤 결과를 성공으로 볼지는 그 응용의 목적에 맞춰 정해야 한다. [06:25]
- 요구사항을 지시문과 시스템 구성에 직접 담을 수도 있다. 또는 만점을 받으면 목적을 달성했다고 볼 만한 평가를 설계하고, 그 평가에서 좋은 결과를 내도록 시스템을 조정할 수 있다. [06:58]
4. 이메일 일정 추출에서 드러나는 암묵적 요구사항
- 이메일을 캘린더 일정으로 바꾸려면 날짜와 시간을 찾는 것만으로는 부족하다. 날짜는 후속 프로그램이 읽을 수 있는 ISO 호환 형식이어야 하고, 한 이메일에 일정이 여러 개 있을 때도 처리할 수 있어야 한다. [08:18]
- 도메인에 맞는 예시와 평가 기준은 처음 작성한 지시문에서 빠진 요구사항을 드러낼 수 있다. 수동으로 조정하기 어려운 구성 요소가 많을수록 자동 최적화를 쓸 이유도 커진다. [08:52]
5. 신뢰성·비용·모델 교체도 최적화의 대상이다
- 동작의 일관성을 지표에 포함하면 신뢰성을 개선할 수 있다. 이메일 사례에서는 작은 모델도 큰 모델과 같은 수준의 성능을 내 비용을 줄일 수 있었다. 큰 교사 모델의 동작을 작은 모델에 증류하는 방법도 효율 개선을 목표로 한다. [09:37]
- 같은 평가 기준을 유지하면 실행 경험이 쌓이거나 기반 모델이 바뀔 때 시스템을 다시 최적화할 수 있다. 새 모델에서도 해당 응용에 맞는 성능을 찾는 것이 목적이다. [10:08]
6. 퓨샷 학습에서는 같은 예시도 순서에 따라 효과가 달라진다
- 퓨샷 학습에서는 과제 설명에 몇 개의 입력·출력 예시를 곁들인다. 영어 단어와 프랑스어 번역의 짝처럼 원하는 동작을 보여주면 모델은 가중치 갱신 없이도 새 입력에 그 패턴을 적용할 수 있다. [11:10]
- 2022년 연구에서는 영화 리뷰의 긍정·부정을 분류할 때 같은 학습 예시도 제시 순서에 따라 결과가 달라졌다. 연구진은 여러 순서에서 별도의 탐색용 데이터가 어떻게 분류되는지 비교했고, 순서를 고를 때는 그 데이터의 정답 라벨을 쓰지 않았다. [13:16]
7. 전역 엔트로피와 국소 엔트로피는 서로 다른 분포를 측정한다
- 전역 엔트로피는 탐색용 데이터 전체에서 모델이 예측한 라벨이 얼마나 고르게 분포하는지 나타낸다. 긍정과 부정 예측이 고르게 나오면 높고, 모든 리뷰를 부정으로 분류하면 낮다. [14:44]
- 국소 엔트로피는 개별 리뷰에서 모델이 긍정과 부정에 부여한 확률로 계산한 뒤 전체 예시에 걸쳐 평균을 낸다. 두 확률이 비슷하면 해당 리뷰의 엔트로피가 높고, 한쪽을 확신하면 낮다. 명백한 사례에서는 낮은 값도 자연스럽다. [15:44]
8. 전역 엔트로피로 고른 예시 순서가 무작위 선택을 앞섰다
- GPT-3의 2.7B 및 175B 규모 모델 실험에서 비교 상한인 오라클은 개발 세트 정답을 확인해 후보 중 점수가 가장 높은 순서를 골랐다. 전역 엔트로피 방식은 예측 라벨의 분포만으로 순서를 골랐고, 오라클을 제외한 비교 방법 중 성능이 가장 좋았다. [16:38]
- 이렇게 고른 순서는 무작위 순서보다 정확도가 높았고, 약 8%의 향상을 보인 사례도 여러 개 있었다. [16:51]
9. STaR는 정답만 있는 자료에서 풀이 근거를 만든다
- 정답 라벨이 있는 데이터에도 그 답에 이르는 설명은 빠져 있을 수 있다. STaR는 모델이 문제에 대한 근거와 답을 함께 생성하게 하고, 답이 맞으면 질문·근거·답을 하나의 학습 예시로 채택한다. [18:33]
- 답이 틀리면 정답을 힌트로 제공해 모델이 근거를 다시 생성하게 한다. 이렇게 모은 예시는 모델을 미세조정하는 데 쓴다. [18:58]
10. DSPy는 성공한 실행을 입력 예시로 재사용한다
- 2023년 DSPy 연구에서는 모델이나 시스템이 생성한 근거와 출력을 지표로 평가한 뒤, 점수가 좋은 실행을 보관하고 낮은 실행은 버렸다. 보관한 사례들을 입력 맥락에 넣어 개발 세트에서 조합을 비교하므로 가중치를 갱신할 필요가 없다. [19:49]
- 이 방식은 라벨만 있는 예시와 풀이 근거가 있는 예시 모두에 적용할 수 있다. 논문에서 비교한 조건에서는 성공한 실행의 근거를 활용한 방식이 단순 라벨 예시나 사람이 작성한 풀이 예시보다 대체로 좋은 성능을 냈다. [20:57]
11. OPRO는 이전 지시문과 점수로 다음 후보를 제안한다
- 구글 딥마인드의 2024년 연구 OPRO는 언어 모델을 최적화에 사용한다. 수학 문제에서 시험한 지시문과 각각의 정확도를 짝지으면, 모델은 어떤 후보가 얼마나 잘 작동했는지 참고해 새 지시문을 제안할 수 있다. [23:26]
- 최적화에 쓰는 모델에는 이전 후보들을 점수 오름차순으로 제시하고, 새 후보가 어떤 과제에 쓰이는지도 알려준다. 목표는 기존 후보와 구별되면서 더 높은 점수를 낼 지시문을 찾는 것이다. [23:57]
12. OPRO의 정확도를 해석하려면 후보를 만든 모델과 평가한 모델을 구분해야 한다
- 기존 연쇄 추론 지시문의 정확도는 71.8%였다. PaLM 2가 자신을 위해 만든 후보의 정확도가 가장 높았고, GPT-4가 만든 후보는 기존 지시문보다 높지만 PaLM 2가 만든 후보보다는 낮았다. [24:45]
- 이 정확도는 모두 PaLM 2가 수학 문제를 푼 결과다. 구글 연구진은 평가할 때 모델에 직접 접근했다. API로 평가하는 환경에서는 같은 조건으로 여러 차례 실행해 점수의 변동을 확인하는 것이 권장된다. [25:47]
13. 지시문 개선의 두 설명은 근거가 다르다
- 과거 모델이 직접 작성한 지시문에서 더 좋은 성능을 낸 이유로, 그 표현이 모델의 학습 데이터 분포에 더 가까웠을 가능성이 제시됐다. 강사는 이를 확립된 인과 설명으로 단정할 만큼 충분한 연구가 있는지는 불확실하다고 봤다. [26:49]
- 최근 최적화에서 강사가 더 중요하게 보는 효과는 실행 실패로부터 누락된 요구사항을 찾는 것이다. 일정 추출 결과가 잘못된 날짜 형식 때문에 실패했다면, 그 원인을 근거로 필요한 형식을 지시문에 명시할 수 있다. [27:34]
14. MIPROv2는 시범 예시와 지시문을 함께 최적화한다
- MIPROv2는 프로그램의 성공한 실행에서 시범 예시 후보를 수집한다. 지시문 후보를 만들 때는 해당 프로그램이 어떤 시스템인지에 관한 정보를 모델에 함께 제공한다. [28:25]
- 탐색 대상은 시범 예시와 지시문의 조합이다. 앞선 부트스트랩 방식이 예시 조합을 무작위로 시험했다면, MIPROv2는 베이지안 탐색으로 조합을 고른다. [28:32]
15. 붓꽃 분류에서는 예측한 종과 정답의 정확 일치가 성공 기준이다
- 붓꽃 예제 프로그램은 언어 모델을 한 번 호출한다. 입력은 꽃잎의 길이와 너비, 꽃받침의 길이와 너비이고, 예측 대상은 이 네 측정값에 해당하는 붓꽃의 종이다. [29:35]
- 학습 사례에는 측정값과 정답 종이 함께 있다. 각 실행에서 예측한 종이 정답과 정확히 일치하는지가 시범 예시로 쓸 성공 기록을 판별하는 지표다. [29:53]
16. MIPROv2는 성공한 실행 기록을 예시로 선별한다
- 붓꽃 종 분류 프로그램을 실행해 평가지표로 결과를 채점한다. 오답을 낸 실행 기록은 버리고, 정답을 낸 실행의 입력·추론·예측은 이후 모델에 보여 줄 예시로 저장한다. [30:32]
- 지시문 후보를 만들 때는 프로그램 코드에서 분류 목적을 파악하고, 레이블이 붙은 훈련 예시에서 종별 꽃잎 길이와 너비의 분포를 요약한다. 개발 세트는 이 요약에 사용하지 않는다. [31:43]
17. 지시문과 예시의 조합은 베이지안 탐색으로 고른다
- 처음에는 지시문과 예시 세트 후보에 균등한 가능성을 부여한다. 이후에는 트리 구조 파르젠 추정기(TPE)를 사용해 어느 지시문과 예시 세트를 함께 시험할지 선택한다. [33:51]
- 선택한 조합으로 프로그램을 실행한 뒤, 훈련 미니배치 점수가 높으면 해당 지시문과 예시 세트가 유용하다는 추정치를 높이고 점수가 낮으면 낮춘다. [35:03]
18. 정답 점수로는 추론의 타당성까지 확인하기 어렵다
- 붓꽃 실험에서는 추론 기록의 타당성을 별도로 검사하지 않았다. 추론이 답을 충실하게 뒷받침하는지가 중요하다면 언어 모델의 판정을 평가지표에 포함할 수 있다. 최종 점수만 최적화하면 모델이 의도와 다른 방식으로 높은 점수를 얻기도 한다. [36:32]
- 강사는 최근 모델에서도 MIPRO의 효과가 보고된다고 답했다. 탐색 중에는 여러 조합이 유용할 가능성을 추정하지만 사용자에게는 가장 높은 점수를 얻은 조합 하나를 반환한다. 논문은 이 선택 문제를 다중 슬롯머신 문제로 정식화했다. [37:55]
19. TextGrad는 최종 응답에 대한 피드백을 앞 단계로 전달한다
- 언어 모델 호출과 도구 사용이 이어지는 프로그램에서 최종 응답을 평가한 뒤, 각 단계의 입력·출력과 다음 단계가 받은 피드백을 함께 검토한다. 이 과정을 거꾸로 반복해 앞 단계에서 무엇을 바꿔야 할지 찾는다. [38:49]
- 여기서 ‘손실’은 평가 점수에, ‘역전파’는 언어 모델이 개선 의견을 텍스트로 작성해 전달하는 과정에 대응한다. 실제 미분값을 계산하지 않는다. [40:13]
20. GEPA는 서로 다른 과제에서 강한 후보를 보존한다
- 기본 지시문 P0에서 출발해 개발 세트의 과제별 성적을 기록한다. 강의 예시에서 P0는 세 과제를 모두 풀지 못했지만, 이후 만들어진 P3는 다른 후보가 풀지 못한 첫 번째 과제를 해결했다. [41:41]
- P1과 P2는 모두 두 번째 과제를 풀었고, P2만 세 번째 과제도 풀었다. 따라서 P2가 P1을 파레토 지배한다. 이후 탐색에는 강점이 겹치지 않는 P2와 P3처럼 다른 후보에 지배되지 않는 후보를 남긴다. [42:15]
21. GEPA는 실행 피드백으로 후보를 수정하거나 모듈별로 병합한다
- ‘성찰적 변이’에서는 후보 하나를 훈련 미니배치에서 실행한 뒤 실제 출력과 평가지표의 피드백을 살펴본다. 모델은 그 결과에서 개선할 점을 찾아 새 지시문 후보를 만든다. [43:01]
- ‘시스템 구조를 고려한 병합’에서는 여러 모듈로 구성된 후보들의 일부를 조합한다. 예를 들어 P2의 이메일 추출 모듈과 P3의 이모지 선택 모듈을 한 프로그램에 넣는다. [43:54]
22. 후보를 반복해서 개선하는 탐색에는 시작점의 영향이 남는다
- 개선된 후보를 후보군에 다시 넣으면 이후 변이나 병합의 출발점으로 쓸 수 있다. 이전 후보가 기록에 남아 있더라도 실제로 다음 후보를 뽑는 범위는 파레토 기준으로 걸러진 집합이다. [46:16]
- 하나의 초기 지시문에서만 출발하면 지역 최적점에 머물 수 있다는 질문에, 강사는 MIPRO처럼 초기 지시문을 여러 개 생성하는 방안을 제시했다. GEPA 연구진이 이 변형을 시험했는지와 실제 효과는 확인하지 못했다고 밝혔다. [46:58]
23. 개인정보 보호형 추론에서는 외부 모델에 보낼 질의와 최종 답변을 따로 최적화한다
- 로컬 모델이 민감한 사용자 질의를 개인정보가 드러나지 않는 형태로 바꾸고, 외부 API 모델이 여기에 답한다. 로컬에서는 외부 응답과 원래 질의를 결합해 개인화된 답변을 만든다. [47:52]
- GEPA 실험의 최적화 대상은 외부로 보낼 질의를 만드는 첫 단계와 사용자에게 답하는 마지막 단계였다. 가운데 외부 모델은 변환된 질의를 그대로 입력받았다. [48:25]
24. GEPA의 성능과 후보 다양성은 평가 과제에 따라 달라진다
- 연구에서 시험한 벤치마크에서는 GEPA, 특히 모듈별 병합을 포함한 변형이 대체로 가장 높은 정확도를 보였다. 강사는 성공 기록에서 소수의 예시를 선별하는 방식과 실행 피드백으로 지시문을 개선하는 방식을 여전히 유효한 두 가지 접근으로 꼽았다. [50:22]
- GEPA에서 계속 탐색할 후보 수는 평가 과제 수와 과제별 파레토 성적의 제약을 받는다. 더 다양한 후보를 유지하도록 알고리즘을 바꿀 가능성은 있지만, 현재 방식에서 다양성을 결정하는 기준은 파레토 경계다. [51:19]
25. 지도 미세조정은 교사의 수행 기록에 높은 확률을 주도록 학생을 학습시킨다
- 지도 미세조정(SFT)은 원하는 출력의 각 위치에서 정답 토큰에 모델이 부여한 확률로 교차 엔트로피 손실을 계산한다. 정답 토큰의 확률이 높을수록 손실이 작아지며, 이 손실을 역전파해 가중치를 갱신한다. [52:44]
- 에이전트 SFT에서는 과제를 입력으로, 교사가 그 과제를 해결하며 생성한 전체 수행 기록을 목표 출력으로 삼는다. 다양한 과제와 환경의 기록을 사용해 학생이 교사의 수행 방식을 익히도록 한다. [53:28]
26. OpenThoughts-Agent는 교사와 학생의 능력 차이도 데이터 선별에 고려한다
- 파일 검색 과제의 교사는 표준 출력과 표준 오류가 수집됐는지 결과를 다시 확인했다. 다만 연구진이 모든 교사 기록의 정답 여부를 별도로 검증한 것은 아니며, 일부는 높은 수행 능력을 가진 교사의 결과를 그대로 사용했다. [54:29]
- 연구진은 논문과 허깅페이스 저장소에서 가져온 과제들을 함께 써 보고 유용한 조합을 추렸다. 교사가 학생보다 훨씬 뛰어나면 학생이 그 수행 방식을 배우기 어려울 수 있어, 학생과 능력이 좀 더 가까운 교사가 적합할 때도 있었다. [55:17]
27. FireAct는 여러 추론 전략으로 얻은 정답 기록을 한 모델에 학습시킨다
- GPT-4 교사가 연쇄적 사고, ReAct, 성찰 등 여러 방식으로 과제를 풀면 오답 기록을 제거하고 나머지를 ReAct 형식으로 통일해 Llama 2를 미세조정했다. 학생은 새 질문에서 어떤 추론 전략을 쓸지 암묵적으로 선택할 수 있었다. [57:05]
- 해당 평가에서 FireAct로 학습한 Llama 2 13B의 정확도는 34%, ReAct 지시를 적용한 GPT-3.5의 정확도는 31%였다. GPT-3.5 자체를 미세조정했을 때도 성능이 개선됐다. [57:30]
28. 교사의 출력 기록만으로도 하드 증류가 가능하다
- 교사가 실제로 생성한 출력을 정답처럼 사용해 학생을 지도 미세조정하는 방식은 하드 증류에 해당한다. 이 방식에는 교사의 수행 기록이면 충분하며, 교사 모델의 가중치에도 접근할 수 있다면 추가적인 증류 방식을 활용할 수 있다. [58:10]
29. 강화학습에서는 학생이 직접 시도한 결과에 보상을 매긴다
- 학생이 다양한 환경과 난이도의 과제를 직접 수행하고 성공 여부에 따라 보상을 받는다. 코딩 과제에서는 단위 테스트를 사용할 수 있고, 성공을 엄밀하게 검증하기 어려운 환경에서는 언어 모델의 판정으로 보상을 정할 수 있다. [58:51]
- 파일 출력 과제에서는 학생이 만든 파일을 기대 출력과 비교해 정확히 일치하면 보상을 준다. 학생은 여러 과제에서 이와 같은 시도를 반복한다. [59:20]
30. PPO에서 학습 대상은 출력을 생성하는 정책 모델이다
- 에이전트 강화학습에 쓰이는 대표적인 방법으로 PPO와 GRPO가 있다. 강사는 GRPO가 DeepSeekMath 논문에서 제안된 것으로 알고 있다고 설명했다. [59:37]
- PPO에서 ‘정책 모델’은 최적화하려는 모델 자체를 가리킨다. 이 구간에서 다룬 PPO의 출발점은 현재 정책 모델로 출력을 생성하는 단계다. [59:58]
31. PPO는 토큰별 기여도를 추정하는 데 메모리와 연산을 쓴다
- 정책 모델이 답변을 생성하면 보상 모델이나 환경이 답변 전체에 점수를 준다. PPO는 기준 모델과의 토큰별 KL 발산을 보상에 반영해 정책이 초기 분포에서 지나치게 멀어지는 것을 억제한다. 가치 모델은 답변의 각 위치에서 기대할 수 있는 보상을 추정한다. [1:01:18]
- 일반화 이점 추정(GAE)은 보상과 가치 추정치를 결합해 각 토큰의 선택이 기대보다 얼마나 유리했는지 계산한다. 정책을 업데이트하면 기대보다 유리했던 토큰을 같은 맥락에서 다시 선택할 확률이 높아지고, 불리했던 토큰의 확률은 낮아진다. [1:01:50]
32. GRPO는 같은 문제의 여러 답변을 서로의 비교 기준으로 삼는다
- 정책 모델이 한 문제에 여러 답변을 생성하면 각 답변이 보상을 하나씩 받는다. GRPO는 이 집단 안에서 상대적 성과를 구하므로 별도의 가치 모델이 필요 없다. 매 단계에서 정책 모델 하나만 학습하며, 기준 모델과의 KL 발산은 토큰별로 계산한다. [1:03:43]
- 각 답변의 보상에서 집단 평균을 뺀 뒤 표준편차로 나눈 값이 그 답변의 이점이다. 예를 들어 코딩 답변들이 단위 테스트 10개 중 평균 4개를 통과했다면, 7개를 통과한 답변은 정답을 완성하기 전에도 양의 학습 신호를 받는다. [1:04:50]
33. GRPO는 이전 정책과 기준 모델을 서로 다른 목적으로 사용한다
- GRPO는 같은 토큰을 선택할 확률이 이전 정책에 비해 현재 정책에서 얼마나 달라졌는지 비율로 계산한다. 비율이 1이면 확률이 같고, 1보다 크면 선택 가능성이 높아졌다. 이 비율에 해당 답변의 집단 내 이점을 곱하고, 토큰과 답변에 걸쳐 평균을 낸다. [1:06:08]
- 클리핑은 보상이 높았던 특정 답변 하나가 정책을 과도하게 바꾸는 효과를 제한한다. 별도의 KL 항은 학습 중인 정책이 원래의 기준 모델에서 얼마나 멀어지는지를 제어한다. [1:06:41]
34. DeepSeek-R1은 지도 미세조정과 강화학습을 결합했다
- DeepSeek는 기본 모델에 강화학습(RL)을 적용해 R1-Zero를 얻고, 여기서 생성한 추론 예시로 기본 모델의 지도 미세조정(SFT)을 시작했다. 이후 SFT와 RL을 거쳐 R1을 만들었다. 강의에서 인용한 수학 과제 비교에서는 GRPO가 PPO보다 높은 성능을 냈다. [1:07:44]
- SFT는 모델이 과제를 풀기 시작할 수 있도록 풀이 예시를 제공한다. 그다음 RL에서는 다양한 환경에서 현재 정책이 직접 선택한 행동의 결과로 학습한다. 모방할 만한 교사가 없는 최전선 모델을 훈련할 때는 이 차이가 특히 중요하다. [1:08:49]
35. 온폴리시 증류는 학생이 실제로 틀린 지점에 피드백을 준다
- 체스 고수의 대국을 관찰하면 초보자가 좀처럼 만나지 않을 국면을 보게 된다. 반면 직접 대국하면 코치가 자신이 둔 수를 평가해 줄 수 있다. 같은 원리로, 온폴리시 증류에서는 학생 모델이 직접 풀이를 생성한다. [1:10:50]
- SFT는 교사의 풀이를 따라 토큰마다 학습하고, 결과 보상만 쓰는 RL은 학생의 풀이 전체에 점수 하나를 준다. 온폴리시 증류는 학생이 만든 문맥에서 교사가 다음 토큰에 부여한 조건부 로그 확률을 사용한다. 교사의 로그 확률에 접근할 수 있으면 학생이 연산 순서를 잘못 처리한 바로 그 선택에도 피드백을 줄 수 있다. [1:12:08]
36. Qwen3 비교에서는 온폴리시 증류가 더 적은 GPU 시간으로 높은 정확도를 냈다
- Qwen3는 긴 추론 과정을 담은 예시로 SFT를 하고 추론 RL 등을 거쳐 대형 교사 모델을 학습했다. 이어 32B 미만의 소형 모델에는 이 교사들을 이용한 온폴리시 증류를 적용했다. [1:14:24]
- 강의에서 인용한 평가의 정확도는 오프폴리시 증류에 해당하는 SFT가 약 55%, RL이 67%, 온폴리시 증류가 74%였다. 이 비교에서 온폴리시 증류는 GPU 시간도 더 적게 사용했다. [1:14:53]
37. 에이전트는 과거 버전에서 다시 출발해 자신의 실행 코드를 개선할 수 있다
- Darwin Gödel Machine은 에이전트를 구동하는 코드인 하네스의 각 버전을 커밋으로 보관한다. 벤치마크 성능이 높고 파생 버전이 적은 부모를 뽑힐 가능성이 높게 해, 유망하면서도 덜 탐색한 버전을 다시 시도한다. 이 과정에서 문맥 한도에 이르면 내용을 요약하는 기능과 파일을 더 작은 단위로 보는 기능 등이 나왔다. [1:16:42]
- 연구진의 비교에서는 부모 에이전트가 자기 코드를 직접 수정하는 방식과, 최신·최고 버전 외에 과거 버전에서도 탐색을 이어가는 방식이 모두 성능 향상에 기여했다. 별도의 Meta-Harness 연구에서도 과거 시도를 참고해 하네스를 고친 방식이 비교 대상 중 Terminal-Bench에서 가장 높은 점수를 얻었다. [1:17:34]
38. 자동 연구에서는 평가 지표가 어떤 실험 결과를 채택할지 결정한다
- 안드레이 카파시가 대중화한 자동 연구 방식에서는 에이전트가 저장소의 코드를 바꾸고 실험을 실행한다. 지표가 개선되면 변경을 채택하고, 그렇지 않으면 되돌리며 결과를 기록한다. 모델 학습 실험에서는 배치 크기와 학습률 감소 일정부터 난수 시드까지 변경 대상이 됐다. [1:18:31]
- 에이전트가 스스로 다음 실험을 제안하고 실행할 수 있으면, 사람이 정한 지표와 평가 방식이 어떤 변경을 개선으로 인정할지 좌우한다. [1:18:47]
39. 프롬프트와 가중치 최적화는 결합할 수 있으며 데이터 요구량이 다르다
- Better Together 연구에서는 일부 과제에서 프롬프트를 먼저 개선하고, 가중치를 학습한 뒤, 바뀐 모델에 맞춰 프롬프트를 다시 개선하는 순서가 효과적이었다. [1:19:07]
- GEPA 연구의 비교에서는 같은 횟수만큼 과제를 시도했을 때 프롬프트 최적화가 GRPO보다 빠르게 성능을 높였다. OpenThoughts 에이전트 연구에서는 가중치 최적화가 많은 데이터를 요구하는 동시에, 예시가 풍부하면 이를 학습에 활용할 수 있었다. [1:19:33]
40. 모델 접근 권한과 반복 비용에 따라 최적화 방법을 고른다
- API로만 접근할 수 있고 미세조정 기능이 없는 모델에는 문맥 최적화를 적용할 수 있다. 시스템이 자주 바뀌어 최적화를 매일 다시 해야 한다면 짧은 소요 시간이 중요하고, 환경에서 한 번 실행하는 비용이 크다면 적은 시도로 개선할 수 있는 방법이 유리하다. [1:19:57]
- 프롬프트를 바꿔도 소형 모델의 성능이 충분히 달라지지 않거나, 강한 교사의 역량을 더 저렴한 모델로 옮기려 할 때는 가중치 최적화가 적합할 수 있다. 문맥 최적화를 거듭할 때마다 입력이 길어지는 경우에도 원하는 동작을 가중치에 학습시키는 방법을 고려할 수 있다. [1:20:19]
🧾 결론
- 캘린더가 날짜를 읽을 수 있는지처럼 후속 작업의 성공 여부까지 측정하면, 실패 기록에서 어떤 요구사항을 빠뜨렸는지 찾을 수 있다.
- 미세조정을 지원하지 않는 API에서도 입력 예시와 지시문은 개선할 수 있다. 소형 모델이 입력 변화에 충분히 반응하지 않고 학습에 쓸 기록이 풍부하다면 가중치 최적화를 검토할 근거가 생긴다.
- 추가 학습의 가치는 해당 환경에서 확인해야 한다. SFT만 적용한 모델이 강화학습까지 거친 모델보다 과제를 잘 수행한다면 전자를 선택할 수 있다.
📈 투자·시사 포인트
- 모델 도입 비용은 업무에서 요구하는 정확도와 함께 봐야 한다. 강의의 이메일 사례에서는 작은 모델이 큰 모델과 같은 수준으로 작업을 수행해 비용을 줄일 수 있었다.
- 환경을 한 번 실행하는 비용이 큰 서비스에서는 목표 성능까지 필요한 시도 횟수가 중요하다. 시스템이 자주 바뀌는 서비스에서는 변경 후 다시 최적화하는 데 걸리는 시간도 비용에 영향을 준다.
- 모델을 교체해도 같은 업무 평가를 재사용하면 새 모델의 정확도·일관성·지연 시간을 기존 모델과 비교할 수 있다. 평가 데이터를 구축하는 일은 이후 모델 선택에도 쓰인다.
⚠️ 불확실하거나 확인이 필요한 부분
- GEPA와 GRPO의 비교에서 맞춘 조건은 과제 시도 횟수였다. 실제 서비스에서 어느 쪽의 총비용이 낮을지는 시도당 비용과 소요 시간을 별도로 측정해야 알 수 있다.
- Qwen3의 74%는 강의에서 인용한 특정 평가의 정확도다. 강사는 연산량을 충분히 늘렸을 때 SFT와 온폴리시 증류가 같은 결과에 수렴하는지에 대해서는 이론적 근거를 알지 못한다고 밝혔다.
- 붓꽃 분류 실험에서는 예측한 종이 정답과 일치하는지만 채점했다. 그 점수로는 풀이 근거가 결론을 타당하게 뒷받침했는지 확인하기 어렵다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 대표 업무에서 실제 실패 사례를 골라 평가 항목으로 바꾼다. 일정 추출이라면 날짜를 캘린더가 읽을 수 있는지와 한 이메일의 일정을 모두 등록했는지를 각각 채점한다.
- 같은 평가 세트에서 현재 설정과 입력 예시·지시문을 바꾼 후보를 비교한다. API로 평가할 때는 같은 조건에서 여러 번 실행해 점수 변동도 기록한다.
- 미세조정이 가능하다면 프롬프트 최적화, SFT, 추가 강화학습의 업무 성능을 같은 기준으로 비교한다. 목표 성능까지의 시도 횟수와 소요 시간, 배포 후 입력 길이도 함께 기록한다.
❓ 열린 질문
- GEPA가 서로 다른 초기 지시문에서 탐색을 시작하면 하나에서 출발할 때보다 다양한 과제를 풀 수 있을까? 강사는 이 변형의 실험 여부와 효과를 확인하지 못했다고 밝혔다.
- 우리 업무에서는 어느 정도의 학습 기록이 쌓였을 때, 입력 예시를 더 늘리는 것보다 원하는 동작을 소형 모델의 가중치에 학습시키는 편이 비용과 정확도 면에서 유리할까?