YouTube메이커 에반·2026년 11월 19일·0

AI 에이전트 감으로 고르시는 분, 이 영상 보고 테스트부터 짜세요

Quick Summary

AI 에이전트를 고를 때는 실제 실패 사례로 테스트부터 짜고, 후보마다 같은 사례를 반복해 통과율·비용·응답 시간을 비교하라.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

AI 에이전트 감으로 고르시는 분, 이 영상 보고 테스트부터 짜세요 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

AI 에이전트 감으로 고르시는 분, 이 영상 보고 테스트부터 짜세요의 핵심 내용을 4단계로 요약한 인포그래픽
AI 에이전트 감으로 고르시는 분, 이 영상 보고 테스트부터 짜세요 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

AI 에이전트를 고를 때는 실제 실패 사례로 테스트부터 짜고, 후보마다 같은 사례를 반복해 통과율·비용·응답 시간을 비교하라.

📌 핵심 요점

  1. 좋은 행동을 먼저 정의한다. 예를 들어 IT 지원 에이전트는 서비스 장애에는 티켓을 만들고, 단순 사용법 문의에는 도움말을 안내해야 한다. 새 도구를 붙인 뒤에도 기존 문서 검색이 잘 작동하는지 확인한다.
  2. 같은 입력도 여러 번 실행한다. 다섯 번 중 세 번 기준을 충족했다면 관측한 통과율은 60%다. 영상은 세 번을 출발점으로 삼고, 결과가 엇갈리거나 실패 비용이 큰 사례는 더 많이 실행하라고 제안한다.
  3. 채점 방법은 확인할 대상에 맞춘다. 티켓이 실제로 생성됐는지는 코드로 검사하고, 답변의 어조와 명료성은 모델이 평가한다. 사람은 좋은 답변의 기준을 정하고 모델의 판정을 표본으로 점검한다.
  4. 평균이 올라도 새로 실패한 사례를 살핀다. 영상의 예시에서 통과 건수는 60건 중 47건에서 50건으로 늘었다. 세부 결과를 보면 이전 실패 5건을 해결한 동시에 이전에 통과한 2건에서 문제가 생겼다.
  5. 모델·검색·에이전트 구성을 바꿀 때는 평가 사례와 채점 기준을 고정한다. 한 번에 한 조건을 바꾸고, 어떤 문제가 해결됐는지와 그 대가로 늘어난 실행 비용·응답 시간을 함께 기록한다.

🧩 배경과 문제 정의

메시지 하나를 보내 그럴듯한 답을 받는 수동 테스트로는 에이전트가 택할 수 있는 여러 경로 중 하나만 보게 된다. 영상은 엔지니어 세르게이 마카레비치의 글 《Evals-Driven Development》를 소개하며, 에이전트를 만들기 전에 입력과 기대 행동을 한 쌍으로 적어 두는 방법을 설명한다. 이렇게 만든 사례는 모델을 고를 때도, 새 도구가 기존 기능에 미친 영향을 확인할 때도 같은 기준으로 쓰인다.

🕒 시간순 섹션별 상세정리

1. 좋은 행동을 테스트로 정의하기

  • 수동 점검에서 좋은 답을 받았어도 실제 사용자는 다른 경로를 밟을 수 있다. 소개된 글은 에이전트를 만들기 전에 기대 행동을 정의해 모델·검색·에이전트 수를 실험으로 결정하자고 제안한다. [00:37]
  • 입력과 기대 행동의 쌍을 골드(Gold), 점수를 매기는 기준을 메트릭(Metric), 판단이 필요한 내용을 읽고 채점하는 모델을 심사자(Judge)라고 부른다. 트레이스(Trace)는 한 번의 실행에서 거친 단계와 도구 호출의 기록이다. [01:19]
  • 먼저 실패를 드러내는 사례를 적고, 수정 후 통과하면 그 사례를 보관해 같은 오류가 되돌아오는지 확인한다. [01:29]

2. 같은 입력을 반복해 통과율 읽기

  • 모델의 단어 선택에는 변동이 있고, 같은 의미를 표현하는 정답도 여러 개다. 문장을 정답 문자열과 대조하면 의미상 맞는 답까지 실패로 처리할 수 있다. [02:10]
  • 같은 VPN 문의에도 에이전트는 도움말을 찾거나 곧바로 티켓을 만들 수 있다. 업무 규칙으로 성공을 정의하면 다섯 번 중 세 번 통과했다는 식으로 행동의 일관성을 표현할 수 있다. [02:56]
  • 영상은 사례별로 세 번부터 실행하고 결과가 갈리면 횟수를 늘리자고 제안한다. 데이터 삭제처럼 실패 비용이 큰 사례는 처음부터 더 많이 반복한다. [03:20]

3. 실제 실패로 평가 사례 모으기

  • 지원 티켓과 대화 기록에서 개인정보를 지우되 사용자의 거친 표현은 살린다. 시연이나 수동 점검에서 발견한 실패도 고치기 전에 사례로 남긴다. [03:46]
  • 서비스 장애 시 티켓 생성, 사용법 문의 시 문서 안내, 새 도구를 붙인 뒤에도 기존 검색 유지처럼 해야 할 일·피해야 할 일·계속 잘해야 할 일을 함께 다룬다. [04:09]
  • 릴리스마다 새로운 유형의 실수가 줄어드는지 살피고, 조정할 때 보지 않은 사례로도 평가한다. 모델이 만든 예시는 초기에는 쓸 수 있지만 실제 사용자의 표현보다 정돈돼 있어 현장의 실패를 놓칠 수 있다. [04:48]

4. 코드·모델·사람에게 채점 나누기

  • 도구 호출, 인수, 생성된 기록, 출처 표시는 코드로 확인한다. 에이전트가 티켓을 만들었다고 답해도 실제 기록이 없으면 해당 사례는 실패다. [05:17]
  • 어조나 명료성은 모델 심사자가 읽고 평가한다. 답변 순서를 바꿔 두 번 비교하거나 채점 예시에 짧고 좋은 답과 길고 나쁜 답을 함께 넣어 편향을 점검한다. [05:53]
  • 사람과 심사자가 같은 표본을 독립적으로 채점한다. 영상은 50건 중 41건에서 의견이 같았다면 나머지 9건을 들여다보며 채점 기준을 다듬을 수 있다고 보여준다. [06:26]

5. 실행 경로와 버전별 성패 추적하기

  • 연구 요약은 정확성과 출처를 보면 되지만, 권한 확인이나 되돌리기 어려운 작업의 사전 동의는 순서도 중요하다. 최종 결과만 읽으면 필수 단계를 건너뛴 실행을 놓칠 수 있다. [07:00]
  • 정답을 냈어도 도구를 과도하게 호출하거나 일부 실행의 토큰 사용량이 크게 뛰면 비용 문제가 생긴다. 통과 여부와 관계없이 실행 기록을 보관하면 점수가 떨어진 단계를 찾아 다음 사례로 남길 수 있다. [07:35]
  • 구버전과 신버전을 같은 사례로 비교해 성패가 뒤집힌 항목을 찾는다. 영상이 소개한 VPN 사례에서는 새 티켓 도구를 붙인 뒤 사용법 문의까지 티켓으로 넘어가자, 도구의 적용 범위를 IT 담당자의 개입이 필요한 요청으로 좁혔다. [08:43]

6. 품질·비용·지연으로 구성 선택하기

  • 배포 판단에는 고정된 기준선 대비 하락이 반복되는지 살핀다. 통과율, 실행당 비용, 응답 시간을 함께 추적하면 품질 개선을 위해 치르는 대가도 볼 수 있다. [09:11]
  • 모델 비교에서는 사례·심사자·채점 기준을 고정한다. 검색 실험에서는 올바른 문서를 찾았는지와 답변이 그 문서에 충실한지를 따로 채점하고 조건을 하나씩 바꾼다. [10:02]
  • 에이전트를 나누면 인계 과정에서 맥락이 빠질 수 있고 비용·지연도 늘어난다. 영상은 분리로 고칠 수 있는 실패가 반복되는지 먼저 확인하고, 구성별로 해결된 사례와 새로 깨진 사례까지 따져 보라고 권한다. [10:52]

7. 배포 뒤의 실패를 다음 테스트로 연결하기

  • 빠른 코드 검사는 커밋마다, 모델 심사는 변경 요청마다 일부 표본에 실행한다. 느린 대화 시뮬레이션은 야간이나 주간 단위로 돌리고, 명백히 나쁜 사례에 합격점을 준 평가 지표는 수정한다. [11:44]
  • 영상이 제시한 운영 예에서는 실제 대화의 5~10%를 모델이 채점한다. 판정의 확신이 낮거나 사용자가 낮게 평가한 대화는 사람이 검토하고, 확인된 실패를 새 평가 사례로 남긴다. [12:13]
  • 평가에도 토큰과 개발 시간이 들고 팀별 성과는 다를 수 있다. 발표자는 실패 한 건을 세 번 돌리는 데서 시작하자고 권하며, 자신도 Claude Code 스킬마다 평가 파일을 두고 수정할 때 같은 사례를 다시 실행한다고 보여준다. [14:08]

🧾 결론

  • 가장 작은 시작점은 실패한 입력 하나다. 기대 행동을 적고 세 번 실행한 뒤, 다음 변경에서도 같은 사례를 다시 돌리면 문제가 되살아났는지 확인할 수 있다.
  • 출처가 있는 요약처럼 도달 경로가 자유로운 작업은 결과를 평가한다. 권한 확인이나 결제 전 동의처럼 순서가 중요한 작업은 실행 기록에서 필수 단계가 지켜졌는지 확인한다.
  • 배포 후에도 사용자 불만이나 채점이 불확실한 대화를 사람이 검토한다. 여기서 확인한 실패를 평가 사례에 추가하면 다음 버전은 실제 사용자가 겪은 문제까지 검증받는다.

📈 투자·시사 포인트

  • 모델 업그레이드 예산은 업무별로 판단할 수 있다. 짧은 질의응답에서는 작은 모델과 큰 모델의 통과 건수가 비슷할 수 있고, 여러 도구를 쓰는 어려운 사례에서는 큰 모델의 추가 비용을 들일 이유가 드러날 수 있다.
  • 영상의 구성 비교 예시에서는 통과 건수가 60건 중 47건에서 50건으로 늘면서 1,000회당 비용은 8달러에서 16달러로, 응답 시간은 2초에서 5초로 늘었다. 도입 판단에는 추가로 해결한 문의와 새로 실패한 문의가 각각 사용자에게 얼마나 중요한지도 들어간다.
  • 검색에 재순위화 모델을 추가할 때는 올바른 문서를 찾았는지와 답변이 그 문서에 충실한지를 따로 측정한다. 에이전트를 여러 개로 나누는 투자도 반복되는 실패 유형을 실제로 줄이는지 확인한 뒤 판단할 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 세 번의 실행은 낮은 위험의 사례를 빠르게 살펴보는 출발점이다. 세 번 모두 통과해도 실제 실패율을 정밀하게 알기는 어렵고, 영상도 삭제나 안전 확인처럼 실패 비용이 큰 작업에는 더 많은 반복을 제안한다.
  • 티켓 20건의 평가 시간이 162초에서 18초로 줄었다는 수치는 영상이 글을 통해 소개한 한 팀의 보고다. 다른 시스템에서 얻을 수 있는 단축 폭은 별도로 측정해야 한다.
  • 모델 심사자는 답변 순서·길이·문체에 영향을 받을 수 있다. 조정에 사용한 사례에서만 점수가 오를 수도 있어, 사람의 판정과의 불일치 및 별도 보관한 사례의 성적을 확인해야 한다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 최근 지원 티켓이나 대화에서 실패한 입력 하나를 고른다. 개인정보를 지우고 사용자의 원래 표현을 보존한 뒤, 해야 할 행동과 피해야 할 행동을 적는다.
  • 같은 입력을 세 번 실행해 통과 횟수와 실행 기록을 남긴다. 결과가 엇갈리면 어느 단계에서 갈렸는지 확인하고 반복 횟수를 늘린다.
  • 변경 전후 버전에 같은 사례를 넣고, 새로 통과한 사례와 새로 실패한 사례를 각각 적는다. 실행당 비용과 응답 시간도 나란히 기록한다.
  • 조정 과정에서 보지 않을 사례를 따로 보관한다. 명백히 잘못된 답변도 채점해 보고, 심사자가 통과시키면 사람이 채점 기준을 검토한다.

❓ 열린 질문

  • 우리 서비스에서 최종 답변만으로 성공을 판단할 수 있는 작업은 무엇이며, 권한 확인처럼 반드시 실행 순서까지 확인해야 하는 작업은 무엇인가?
  • 전체 통과율이 올랐더라도 어떤 유형의 신규 실패라면 배포를 보류해야 하는가?
  • 더 큰 모델이나 검색 단계가 추가로 해결하는 사례의 가치는 얼마이며, 그 개선을 위해 어느 정도의 비용과 지연을 감수할 수 있는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.