AI 에이전트 감으로 고르시는 분, 이 영상 보고 테스트부터 짜세요
Quick Summary
AI 에이전트를 고를 때는 실제 실패 사례로 테스트부터 짜고, 후보마다 같은 사례를 반복해 통과율·비용·응답 시간을 비교하라.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
AI 에이전트를 고를 때는 실제 실패 사례로 테스트부터 짜고, 후보마다 같은 사례를 반복해 통과율·비용·응답 시간을 비교하라.
📌 핵심 요점
- 좋은 행동을 먼저 정의한다. 예를 들어 IT 지원 에이전트는 서비스 장애에는 티켓을 만들고, 단순 사용법 문의에는 도움말을 안내해야 한다. 새 도구를 붙인 뒤에도 기존 문서 검색이 잘 작동하는지 확인한다.
- 같은 입력도 여러 번 실행한다. 다섯 번 중 세 번 기준을 충족했다면 관측한 통과율은 60%다. 영상은 세 번을 출발점으로 삼고, 결과가 엇갈리거나 실패 비용이 큰 사례는 더 많이 실행하라고 제안한다.
- 채점 방법은 확인할 대상에 맞춘다. 티켓이 실제로 생성됐는지는 코드로 검사하고, 답변의 어조와 명료성은 모델이 평가한다. 사람은 좋은 답변의 기준을 정하고 모델의 판정을 표본으로 점검한다.
- 평균이 올라도 새로 실패한 사례를 살핀다. 영상의 예시에서 통과 건수는 60건 중 47건에서 50건으로 늘었다. 세부 결과를 보면 이전 실패 5건을 해결한 동시에 이전에 통과한 2건에서 문제가 생겼다.
- 모델·검색·에이전트 구성을 바꿀 때는 평가 사례와 채점 기준을 고정한다. 한 번에 한 조건을 바꾸고, 어떤 문제가 해결됐는지와 그 대가로 늘어난 실행 비용·응답 시간을 함께 기록한다.
🧩 배경과 문제 정의
메시지 하나를 보내 그럴듯한 답을 받는 수동 테스트로는 에이전트가 택할 수 있는 여러 경로 중 하나만 보게 된다. 영상은 엔지니어 세르게이 마카레비치의 글 《Evals-Driven Development》를 소개하며, 에이전트를 만들기 전에 입력과 기대 행동을 한 쌍으로 적어 두는 방법을 설명한다. 이렇게 만든 사례는 모델을 고를 때도, 새 도구가 기존 기능에 미친 영향을 확인할 때도 같은 기준으로 쓰인다.
🕒 시간순 섹션별 상세정리
1. 좋은 행동을 테스트로 정의하기
- 수동 점검에서 좋은 답을 받았어도 실제 사용자는 다른 경로를 밟을 수 있다. 소개된 글은 에이전트를 만들기 전에 기대 행동을 정의해 모델·검색·에이전트 수를 실험으로 결정하자고 제안한다. [00:37]
- 입력과 기대 행동의 쌍을 골드(Gold), 점수를 매기는 기준을 메트릭(Metric), 판단이 필요한 내용을 읽고 채점하는 모델을 심사자(Judge)라고 부른다. 트레이스(Trace)는 한 번의 실행에서 거친 단계와 도구 호출의 기록이다. [01:19]
- 먼저 실패를 드러내는 사례를 적고, 수정 후 통과하면 그 사례를 보관해 같은 오류가 되돌아오는지 확인한다. [01:29]
2. 같은 입력을 반복해 통과율 읽기
- 모델의 단어 선택에는 변동이 있고, 같은 의미를 표현하는 정답도 여러 개다. 문장을 정답 문자열과 대조하면 의미상 맞는 답까지 실패로 처리할 수 있다. [02:10]
- 같은 VPN 문의에도 에이전트는 도움말을 찾거나 곧바로 티켓을 만들 수 있다. 업무 규칙으로 성공을 정의하면 다섯 번 중 세 번 통과했다는 식으로 행동의 일관성을 표현할 수 있다. [02:56]
- 영상은 사례별로 세 번부터 실행하고 결과가 갈리면 횟수를 늘리자고 제안한다. 데이터 삭제처럼 실패 비용이 큰 사례는 처음부터 더 많이 반복한다. [03:20]
3. 실제 실패로 평가 사례 모으기
- 지원 티켓과 대화 기록에서 개인정보를 지우되 사용자의 거친 표현은 살린다. 시연이나 수동 점검에서 발견한 실패도 고치기 전에 사례로 남긴다. [03:46]
- 서비스 장애 시 티켓 생성, 사용법 문의 시 문서 안내, 새 도구를 붙인 뒤에도 기존 검색 유지처럼 해야 할 일·피해야 할 일·계속 잘해야 할 일을 함께 다룬다. [04:09]
- 릴리스마다 새로운 유형의 실수가 줄어드는지 살피고, 조정할 때 보지 않은 사례로도 평가한다. 모델이 만든 예시는 초기에는 쓸 수 있지만 실제 사용자의 표현보다 정돈돼 있어 현장의 실패를 놓칠 수 있다. [04:48]
4. 코드·모델·사람에게 채점 나누기
- 도구 호출, 인수, 생성된 기록, 출처 표시는 코드로 확인한다. 에이전트가 티켓을 만들었다고 답해도 실제 기록이 없으면 해당 사례는 실패다. [05:17]
- 어조나 명료성은 모델 심사자가 읽고 평가한다. 답변 순서를 바꿔 두 번 비교하거나 채점 예시에 짧고 좋은 답과 길고 나쁜 답을 함께 넣어 편향을 점검한다. [05:53]
- 사람과 심사자가 같은 표본을 독립적으로 채점한다. 영상은 50건 중 41건에서 의견이 같았다면 나머지 9건을 들여다보며 채점 기준을 다듬을 수 있다고 보여준다. [06:26]
5. 실행 경로와 버전별 성패 추적하기
- 연구 요약은 정확성과 출처를 보면 되지만, 권한 확인이나 되돌리기 어려운 작업의 사전 동의는 순서도 중요하다. 최종 결과만 읽으면 필수 단계를 건너뛴 실행을 놓칠 수 있다. [07:00]
- 정답을 냈어도 도구를 과도하게 호출하거나 일부 실행의 토큰 사용량이 크게 뛰면 비용 문제가 생긴다. 통과 여부와 관계없이 실행 기록을 보관하면 점수가 떨어진 단계를 찾아 다음 사례로 남길 수 있다. [07:35]
- 구버전과 신버전을 같은 사례로 비교해 성패가 뒤집힌 항목을 찾는다. 영상이 소개한 VPN 사례에서는 새 티켓 도구를 붙인 뒤 사용법 문의까지 티켓으로 넘어가자, 도구의 적용 범위를 IT 담당자의 개입이 필요한 요청으로 좁혔다. [08:43]
6. 품질·비용·지연으로 구성 선택하기
- 배포 판단에는 고정된 기준선 대비 하락이 반복되는지 살핀다. 통과율, 실행당 비용, 응답 시간을 함께 추적하면 품질 개선을 위해 치르는 대가도 볼 수 있다. [09:11]
- 모델 비교에서는 사례·심사자·채점 기준을 고정한다. 검색 실험에서는 올바른 문서를 찾았는지와 답변이 그 문서에 충실한지를 따로 채점하고 조건을 하나씩 바꾼다. [10:02]
- 에이전트를 나누면 인계 과정에서 맥락이 빠질 수 있고 비용·지연도 늘어난다. 영상은 분리로 고칠 수 있는 실패가 반복되는지 먼저 확인하고, 구성별로 해결된 사례와 새로 깨진 사례까지 따져 보라고 권한다. [10:52]
7. 배포 뒤의 실패를 다음 테스트로 연결하기
- 빠른 코드 검사는 커밋마다, 모델 심사는 변경 요청마다 일부 표본에 실행한다. 느린 대화 시뮬레이션은 야간이나 주간 단위로 돌리고, 명백히 나쁜 사례에 합격점을 준 평가 지표는 수정한다. [11:44]
- 영상이 제시한 운영 예에서는 실제 대화의 5~10%를 모델이 채점한다. 판정의 확신이 낮거나 사용자가 낮게 평가한 대화는 사람이 검토하고, 확인된 실패를 새 평가 사례로 남긴다. [12:13]
- 평가에도 토큰과 개발 시간이 들고 팀별 성과는 다를 수 있다. 발표자는 실패 한 건을 세 번 돌리는 데서 시작하자고 권하며, 자신도 Claude Code 스킬마다 평가 파일을 두고 수정할 때 같은 사례를 다시 실행한다고 보여준다. [14:08]
🧾 결론
- 가장 작은 시작점은 실패한 입력 하나다. 기대 행동을 적고 세 번 실행한 뒤, 다음 변경에서도 같은 사례를 다시 돌리면 문제가 되살아났는지 확인할 수 있다.
- 출처가 있는 요약처럼 도달 경로가 자유로운 작업은 결과를 평가한다. 권한 확인이나 결제 전 동의처럼 순서가 중요한 작업은 실행 기록에서 필수 단계가 지켜졌는지 확인한다.
- 배포 후에도 사용자 불만이나 채점이 불확실한 대화를 사람이 검토한다. 여기서 확인한 실패를 평가 사례에 추가하면 다음 버전은 실제 사용자가 겪은 문제까지 검증받는다.
📈 투자·시사 포인트
- 모델 업그레이드 예산은 업무별로 판단할 수 있다. 짧은 질의응답에서는 작은 모델과 큰 모델의 통과 건수가 비슷할 수 있고, 여러 도구를 쓰는 어려운 사례에서는 큰 모델의 추가 비용을 들일 이유가 드러날 수 있다.
- 영상의 구성 비교 예시에서는 통과 건수가 60건 중 47건에서 50건으로 늘면서 1,000회당 비용은 8달러에서 16달러로, 응답 시간은 2초에서 5초로 늘었다. 도입 판단에는 추가로 해결한 문의와 새로 실패한 문의가 각각 사용자에게 얼마나 중요한지도 들어간다.
- 검색에 재순위화 모델을 추가할 때는 올바른 문서를 찾았는지와 답변이 그 문서에 충실한지를 따로 측정한다. 에이전트를 여러 개로 나누는 투자도 반복되는 실패 유형을 실제로 줄이는지 확인한 뒤 판단할 수 있다.
⚠️ 불확실하거나 확인이 필요한 부분
- 세 번의 실행은 낮은 위험의 사례를 빠르게 살펴보는 출발점이다. 세 번 모두 통과해도 실제 실패율을 정밀하게 알기는 어렵고, 영상도 삭제나 안전 확인처럼 실패 비용이 큰 작업에는 더 많은 반복을 제안한다.
- 티켓 20건의 평가 시간이 162초에서 18초로 줄었다는 수치는 영상이 글을 통해 소개한 한 팀의 보고다. 다른 시스템에서 얻을 수 있는 단축 폭은 별도로 측정해야 한다.
- 모델 심사자는 답변 순서·길이·문체에 영향을 받을 수 있다. 조정에 사용한 사례에서만 점수가 오를 수도 있어, 사람의 판정과의 불일치 및 별도 보관한 사례의 성적을 확인해야 한다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 최근 지원 티켓이나 대화에서 실패한 입력 하나를 고른다. 개인정보를 지우고 사용자의 원래 표현을 보존한 뒤, 해야 할 행동과 피해야 할 행동을 적는다.
- 같은 입력을 세 번 실행해 통과 횟수와 실행 기록을 남긴다. 결과가 엇갈리면 어느 단계에서 갈렸는지 확인하고 반복 횟수를 늘린다.
- 변경 전후 버전에 같은 사례를 넣고, 새로 통과한 사례와 새로 실패한 사례를 각각 적는다. 실행당 비용과 응답 시간도 나란히 기록한다.
- 조정 과정에서 보지 않을 사례를 따로 보관한다. 명백히 잘못된 답변도 채점해 보고, 심사자가 통과시키면 사람이 채점 기준을 검토한다.
❓ 열린 질문
- 우리 서비스에서 최종 답변만으로 성공을 판단할 수 있는 작업은 무엇이며, 권한 확인처럼 반드시 실행 순서까지 확인해야 하는 작업은 무엇인가?
- 전체 통과율이 올랐더라도 어떤 유형의 신규 실패라면 배포를 보류해야 하는가?
- 더 큰 모델이나 검색 단계가 추가로 해결하는 사례의 가치는 얼마이며, 그 개선을 위해 어느 정도의 비용과 지연을 감수할 수 있는가?