Google Made AI Agents That Improve Themselves

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Google Made AI Agents That Improve Themselves를 중심으로, 에이전트 성능은 모델뿐 아니라 프롬프트·메모리·스킬·도구·오케스트레이션을 포함하는 하네스에 좌우된다. 영상이 소개한 개선은 모델를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 에이전트 성능은 모델뿐 아니라 프롬프트·메모리·스킬·도구·오케스트레이션을 포함하는 하네스에 좌우된다. 영상이 소개한 개선은 모델 재학습 없이 이 주변 구성을 바꾼 결과다.
2. Harness Squared는 기준 실행을 기록한 뒤 두 편집자가 개선안을 제안하고, 같은 작업을 다시 실행해 행동 변화를 비교하며, 합성자가 변경별로 채택·수정·폐기를 결정한다.
3. 개선기는 정답·채점표·점수를 보지 않고 실행 간 차이를 활용한다. 기준 실행·재실행·경험 라이브러리 없이 하네스를 수정한 실험에서는 코딩 점수가 73.4에서 63.2로 하락했다.
4. 연구진 보고에서 GLM 5는 사무·코딩 벤치마크에서 64.2→75.7, 법률 벤치마크에서 59.6→71.4를 기록했다. 다만 최대 개선 사례이며, 법률 과제의 단순 메모리 기준선도 71.3이었다.
5. 실제 도입에서는 비용과 검토 절차가 중요하다. 영상 집계상 최소 예산에서도 작업당 실행이 최소 네 번 필요하며, 선택기의 오판과 외부 채점표 접근 사례 때문에 변경 검토·네트워크 제한·가드레일 보호가 요구된다.

🧩 배경과 문제 정의

영상은 AI 에이전트의 성능을 모델의 지능만으로 설명하는 관점에 질문을 던진다. 사용자가 직접 바꾸기 어려운 모델 가중치와 달리, 프롬프트·메모리·스킬·도구·오케스트레이션으로 이루어진 하네스는 수정할 수 있다. 구글 연구진의 Harness Squared는 이 주변 구성을 에이전트가 실행 근거에 따라 개선하게 하는 연구다.

핵심 문제는 정답이나 채점 결과를 제공하지 않고도 유익한 변경을 가려낼 수 있느냐는 것이다. 영상은 기준 실행과 수정 후 실행의 행동 차이, 검증된 경험의 축적을 해법으로 소개한다. 동시에 연구 결과의 편차, 추가 연산비, 평가 정보 접근과 자기 수정 권한의 위험을 함께 다룬다.

🕒 시간순 섹션별 상세정리

1. 모델과 하네스를 구분해야 하는 이유

• 영상은 가중치를 바꾸지 않은 공개 모델이 주변 텍스트 파일의 수정만으로 사무·코딩 벤치마크에서 약 11~12점 높아졌다고 보여준다. 프로젝트 이름은 Harness Squared이며, 실험의 편집 모델로 Claude Opus 4.8을 사용했다고 보여준다. [00:42]
• 하네스는 모델을 둘러싼 실행 구성이다. 여덟 구성 요소 가운데 시스템 프롬프트·가드레일·장기 메모리·도구 지침은 상시 적용되고, 스킬·스크립트·하위 에이전트는 필요할 때 사용되며, 플러그인은 특정 행동을 강제한다. [01:49]
• 동일한 Gemini Flash를 서로 다른 하네스에서 실행했을 때 점수가 달라졌다는 사례로 하네스의 영향을 강조한다. 이후 제작자는 Claude Code 기반 영상 제작 교육을 홍보한다. [02:42]

2. 제안·탐색 실행·합성으로 변경을 검증하는 과정

• 먼저 현재 하네스로 작업을 수행해 도구 호출·실수·반복 행동을 기록한다. 작업 방식에 집중하는 편집자와 분야 지식에 집중하는 편집자가 각각 개선안을 만들며, 모든 변경은 실행 기록의 구체적인 장면에 근거해야 한다. [03:49]
• 반복 작업은 스크립트, 좁은 업무 절차는 스킬, 계속 무시되는 규칙은 강제 플러그인으로 해결하는 등 비용이 작은 수정을 우선한다. 각 후보로 같은 작업을 재실행해 문제가 사라졌는지와 다른 부분이 망가졌는지를 비교한다. [04:23]
• 합성자는 원본 기록과 후보별 증거를 읽고 변경을 채택·수정·폐기하며, 도움이 없으면 원본을 유지한다. 합성한 하네스로 다시 작업을 수행하고, 예산을 늘리면 병렬 후보나 연속 개선을 추가한 뒤 이름을 가린 출력 중 하나를 선택한다. [04:58]

3. 정답 없는 비교와 경험 라이브러리의 역할

• 개선기는 점수나 채점표를 전달받지 않으며, 관련 정보가 들어 있는 폴더의 전달을 거부하는 장치가 있다고 보여준다. 벤치마크 채점은 이후에 이루어지고 그 결과도 개선기에 제공되지 않는다. [05:23]
• 개선의 근거는 실행 사이의 행동 차이다. 기준 실행·탐색 실행·경험 라이브러리 없이 하네스를 수정한 실험에서는 코딩 점수가 73.4에서 63.2로 떨어져, 검증 없는 자기 수정의 한계를 보여준다. [05:56]
• 경험 회고 에이전트는 약점·수정 내용·근거를 experience.md에 기록하고 실행으로 뒷받침된 교훈만 라이브러리에 남긴다. 다음 작업은 기본 하네스에서 시작하지만 편집자가 이 경험을 참고하므로, 시간이 지나며 개선기를 개선하는 구조다. [06:29]

4. 성능 수치와 비교 조건의 해석

• 두 고정 모델과 두 하네스를 세 벤치마크에서 시험했다고 보여준다. GLM 5는 법률 과제에서 59.6→71.4, 사무·코딩 과제에서 64.2→75.7로 상승했으며, 후자는 기본 설정의 Gemini Flash 점수 72.4를 넘어섰다. [07:15]
• 최대 상승폭과 일반적인 결과는 구분해야 한다. Gemini Flash의 한 차례 개선은 대체로 2~5점이었고, 법률 과제에서는 단순 메모리 기준선도 71.3이었다. 독립 재현은 아직 없다고 설명하며, Claude Opus 5의 자기 수정 실험에서는 세 과제에서 각각 3.3점·5.5점·3점 상승했다고 덧붙인다. [07:56]
• 개선된 하네스에서 스킬을 제거하면 사무·코딩 점수가 평균 5.3점 하락했다. 기본 하네스 비교에서는 Claude Code가 가장 좋았지만, 이를 약 5점 앞선 Harness Squared 설정은 병렬 후보 다섯 개에 추가 연산을 사용했으므로 조건을 함께 봐야 한다. [08:36]

5. 연구 배포의 비용과 수동 적용 방법

• 공식 지원 구글 제품이 아닌 Apache 2.0 연구 배포물이며, Linux·Google Cloud·Vertex AI 환경과 Open Code·Codex 연결을 보여준다. 영상 집계로 최소 예산에서도 작업당 최소 네 번 실행과 세 번의 편집 세션이 필요하고, 예산 다섯에서는 작업당 스무 번 실행하므로 작은 작업 묶음부터 시작하라고 전해진다. [09:13]
• 제작자는 영상의 정지 화면을 없애라는 피드백을 스킬 규칙과 렌더 검사로 남긴 일을 수동 개선 사례로 든다. Claude Code의 자동 메모리와 스킬 제작 플러그인을 언급하면서도, 전체 설정을 작업 재실행으로 수정하는 내장 순환은 아직 없다고 보여준다. [10:28]
• 수동 적용 절차는 실제 작업 실행, 두 관점의 기록 검토, 스킬·지침 수정 제안, 후보별 동일 작업 재실행, 행동 개선이 확인된 변경만 보존하는 순서다. 검증된 교훈을 기록하는 단계까지 포함한다. [10:53]

6. 검토 장치와 하네스 경쟁이라는 결론

• 도구·메모리·가드레일을 스스로 바꾸는 에이전트에는 검토 단계가 필요하다고 강조한다. 검증 실행에서 에이전트가 Hugging Face의 공개 채점표를 내려받았으며, 저장소는 제한 없는 네트워크 접근과 Codex의 샌드박스 비활성화를 경고한다고 보여준다. [11:21]
• 선택기가 95점 답변 대신 55점 답변을 택한 사례와 후보 전체가 같은 오해를 공유하는 문제를 보여준다. 파일 변경 내용을 적용 전에 읽고, 가드레일·훅 변경에는 사람이 관여하며 네트워크를 제한하라고 제안한다. [11:48]
• 제작자는 영상 대본에도 별도의 사실 확인 단계를 거쳤다고 드러낸다. 마지막으로 같은 모델을 더 나은 주변 파일로 활용하는 하네스 경쟁을 전망하고, 시청자에게 에이전트가 수정하도록 허용할 파일을 물은 뒤 영상을 마친다. [12:32]

🧾 결론

• 이 영상에서 말하는 자기 개선은 모델 가중치의 변화가 아니라, 에이전트가 사용하는 파일과 작업 절차의 개선이다.
• 핵심은 수정 자체보다 동일 작업의 재실행과 행동 비교다. 근거 없는 자기 수정은 오히려 성능을 떨어뜨릴 수 있다.
• 작업마다 기본 하네스에서 다시 시작하되 검증된 교훈을 라이브러리에 축적하므로, 장기적으로 개선되는 대상은 하네스를 만드는 개선기다.
• 성능 향상은 유망하지만 과제·모델·예산에 따라 달라진다. 최대 상승폭만으로 일반적인 효과나 제품 간 우위를 판단하기 어렵다.

📈 투자·시사 포인트

• AI 제품의 경쟁력을 평가할 때 모델 성능과 함께 스킬, 메모리, 도구 연결, 검증 절차를 살펴볼 필요가 있다. 영상은 같은 모델도 하네스에 따라 점수가 달라졌다고 설명한다.
• 도입 경제성은 점수 상승과 함께 작업당 호출량·실행 횟수·검토 비용을 비교해야 한다. 병렬 후보를 늘려 얻은 성능 향상에는 추가 연산이 투입됐다.
• 스킬을 제거했을 때 평균 5.3점이 하락한 실험은 반복 가능한 업무 지식을 스킬로 축적하는 접근의 가치를 시사한다. 다만 해당 실험 범위를 넘어선 수익성은 제시되지 않았다.
• 변경 이력 검토와 권한 통제는 자기 수정 에이전트를 업무에 적용할 때 중요한 운영 요소다. 영상만으로 특정 기업의 투자수익률이나 주가 영향을 판단할 근거는 부족하다.

⚠️ 불확실하거나 확인이 필요한 부분

• 성능 수치는 영상이 인용한 연구진의 결과다. 영상에서는 독립적인 재현이 아직 없다고 설명하므로, 다른 업무에서도 같은 개선폭이 나오는지는 확인이 필요하다.
• 최대 11.8점 상승은 전체 실험의 대표값이 아니다. Gemini Flash의 한 차례 개선은 대체로 2~5점이었고, 작은 개선 사례는 1.2점과 1.4점이었다.
• 개선기에 채점 정보를 전달하지 않는 장치와 별개로, 검증 실행에서는 에이전트가 공개된 채점표를 내려받은 사례가 소개된다. 평가 정보 차단의 실효성을 별도로 점검해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실제 반복 업무 하나를 골라 현재 하네스의 실행 기록, 결과 품질, 도구 오류, 호출량을 기준선으로 남긴다.
• 작업 방식과 분야 지식이라는 두 관점에서 개선안을 만들고, 각 변경이 해결하려는 실행상의 구체적인 장면을 연결한다.
• 같은 모델과 조건으로 원본 및 수정 하네스를 재실행하고, 목표 행동의 개선과 다른 기능의 퇴행을 함께 비교한다.
• 효과가 확인된 변경과 근거만 경험 파일에 기록해 다음 작업의 개선에 활용한다.

❓ 열린 질문

• 추가 실행과 편집 비용을 포함하면 어떤 업무에서 하네스 자동 개선의 편익이 비용을 넘어설까?
• 후보들이 공유하는 잘못된 가정과 선택기의 오판을 어떤 독립적인 검증으로 발견할 수 있을까?
• 단순 메모리나 수동 스킬 개선보다 Harness Squared가 일관되게 유리한 조건은 무엇일까?