Stanford CME295 Transformers & LLMs
Quick Summary
LLM 평가는 작업에 맞는 검증 기준과 인간 보정을 바탕으로, 벤치마크 점수가 실제 품질과 에이전트의 업무 수행력을 반영하는지 확인하는 과정이다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
LLM 평가는 작업에 맞는 검증 기준과 인간 보정을 바탕으로, 벤치마크 점수가 실제 품질과 에이전트의 업무 수행력을 반영하는지 확인하는 과정이다.
📌 핵심 요점
- 평가 기준은 작업과 품질 차원에 맞춰야 한다. 정확성·관련성·어조·안전성은 서로 다른 기준이며, 열린 생성 작업에는 여러 정답이 존재한다. 사람 평가도 명확한 지침이 필요하고, 평가자 간 합의는 단순 일치율보다 우연 일치를 보정하는 Cohen의 카파로 점검할 수 있다.
- 검증 가능한 작업과 자연어 작업에는 서로 다른 지표가 필요하다. 코드·수학에서는 테스트나 참조 정답을 활용한다. pass@k는 여러 시도 중 적어도 하나가 성공할 확률이고, consensus@k는 가장 자주 나온 답을 선택하는 방식이다. BLEU·METEOR는 참조 답변과의 표현 일치를 측정하지만 의미가 같은 다양한 표현을 충분히 포착하지 못한다.
- LLM 평가자도 인간 기준으로 검증해야 한다. 참조 답변 없이 품질을 판단할 가능성이 있지만, 위치·장황성·자기 응답 선호와 그럴듯한 인용에 영향을 받을 수 있다. 인간 라벨과 비교해 정밀도·재현율을 측정하고 보정해야 한다. 구조화된 출력은 JSON 같은 형식을 보장할 뿐, 판단의 정확성을 보장하지 않는다.
- 에이전트 평가는 최종 답변에서 오류 발생 단계까지 거슬러 올라가야 한다. 도구 후보 구성, 도구 선택, 인자 정보, 백엔드 실행, 결과 해석을 구분하면 반복되는 실패의 원인을 찾기 쉽다. 전문가의 작업 시간을 기준으로 한 시간 지평은 장기 과제 수행력을 살펴보는 대리 지표다.
- 높은 벤치마크 점수는 실제 사용 품질의 충분조건이 아니다. 공개 과제의 학습 유입 가능성, 작은 요구사항 변경에 따른 성능 하락, 평가 설계 오류를 살펴야 한다. 사용자 선호도 정답성과 다를 수 있으므로, 실제 업무 평가와 품질·비용·응답 시간의 파레토 경계를 함께 비교해야 한다.
🧩 배경과 문제 정의
- 다양한 LLM 중 사용 목적에 맞는 모델을 선택하고 개선할 부분을 찾으려면, 특정 작업에서 모델의 성능을 정량화해야 한다.
- 성능에는 출력 품질, 시스템 신뢰성, 제품의 사용자 영향 등이 포함된다. 여기서는 정확성·관련성·안전성 같은 출력 품질에 초점을 맞춘다.
- LLM은 여러 작업을 수행하고 정답도 하나로 고정되지 않으므로, 평가 기준과 방법이 작업의 특성에 맞아야 한다. 사람의 판단은 유용하지만 평가자 간 의견 차이와 비용·확장성 문제가 있다.
🕒 시간순 섹션별 상세정리
1. 성능 평가의 범위와 품질 중심의 기준
- LLM 평가의 목적은 특정 작업의 수행 수준을 수치화해 모델 선택과 개선 방향을 결정하는 데 있다. [00:18]
- 성능은 정확성·관련성·안전성과 같은 품질뿐 아니라 응답의 일관성, 실패 복구, 시간에 따른 분포 변화, 지연 시간 같은 신뢰성까지 포함할 수 있다. [01:32]
2. 다양한 작업을 포괄해야 하는 평가의 어려움
- 텍스트를 입력받아 텍스트를 출력하는 LLM은 코드 생성, 요약, 수학 추론, 창작 등 다양한 작업을 수행한다. [02:55]
- 활용 사례가 많기 때문에 한 가지 작업의 평가 방식만으로는 충분하지 않으며, 여러 사용 사례에 걸쳐 성능을 평가할 방법이 필요하다. [03:22]
3. 정확한 답변도 다른 품질 차원에서는 부족할 수 있다
- 페르시아 시인을 묻는 질문에 하페즈를 답하면 내용은 정확하고 관련성도 높지만, 상대를 깎아내리는 표현을 덧붙이면 어조의 품질은 낮아진다. [03:43]
- 같은 답변도 정확성, 관련성, 문체, 어조, 안전성에서 서로 다른 평가를 받을 수 있다. 따라서 높은 품질의 의미는 어떤 차원을 평가하느냐에 따라 달라진다. [04:00]
4. 열린 생성 작업에는 단일 정답이 없다
- 곰 인형에 관한 한 문장짜리 잠자리 이야기는 서로 다른 여러 답변이 모두 타당할 수 있는 작업이다. [04:38]
- 가능한 정답이 여럿이면 하나의 참조 답변과 비교하는 방식만으로 출력의 품질을 충분히 판단하기 어렵다. [05:04]
5. 복잡한 에이전트 시스템은 오류 진단도 어렵다
- LLM 시스템은 단순한 텍스트 입출력을 넘어 관찰, 계획, 행동을 수행하는 다단계 에이전트로 확장되고 있다. [05:19]
- 여러 단계를 거치는 시스템에서는 문제가 어느 단계에서 발생했는지 진단하는 일도 단순하지 않다. [05:41]
6. 사람 평가에는 명확한 지침과 합의 확인이 필요하다
- 사람은 열린 답변과 여러 품질 차원의 미묘한 차이를 고려할 수 있으므로, LLM 출력의 품질을 판단하는 유용한 평가자가 될 수 있다. [06:10]
- 생일 선물로 곰 인형을 추천하는 답변은 어떤 평가자에게는 유용하지만, 이미 곰 인형이 많은 사람의 상황을 고려하면 다른 평가자에게는 유용하지 않을 수 있다. [07:24]
7. 단순 일치율에는 우연에 의한 합의가 포함된다
- 두 평가자가 출력을 합격과 불합격으로 분류할 때, 각자 무작위로 판단하더라도 일부 결과는 우연히 일치한다. [09:44]
- 두 평가자의 합격 확률이 각각
pA,pB이고 판단이 독립적이면 우연 일치율은pA × pB + (1−pA) × (1−pB)이다. 두 확률이 모두 0.5이면 무작위 판단만으로도 일치율이 50%가 된다. [10:38]
8. Cohen의 카파로 우연 일치 수준을 보정한다
- Cohen의 카파는 관측 일치율
po와 각 평가자의 실제 응답 비율로 계산한 기대 일치율pe를 이용해κ = (po−pe)/(1−pe)로 계산한다. [12:30] - 카파의 범위는 −1에서 1이며, 주관적 기준에서 약 0.8이면 평가자 간 합의가 상당히 높은 수준으로 해석할 수 있다. 합의 수준이 충분하지 않다면 평가 기준을 점검하고 개선필요가 있다. [13:10]
9. 사람의 참조 답변을 재사용하면 평가를 확장할 수 있다
- 사람이 모든 출력을 직접 평가하는 방식은 시간이 오래 걸리고 비용도 높아, 많은 LLM 출력을 처리하기 어렵다. [14:10]
- 대안은 사람이 일부 입력에 대한 참조 답변을 작성하고, 규칙 기반 지표로 모델 출력과 참조 답변을 비교하는 방식이다. 참조 자료를 한 번 마련하면 이후 생성되는 출력의 평가에 반복해서 사용할 수 있다. [14:43]
10. 코드와 수학은 검증 가능한 평가에 적합하다
- 코드 생성 문제에서는 사람이 테스트 케이스를 준비하고, 생성된 코드를 실행해 테스트 통과 여부로 정답성을 결정적으로 확인할 수 있다. [16:01]
- 수학 문제에서는 참조 정답이 있을 때 모델의 최종 답과 비교할 수 있다. 코드와 수학은 이처럼 결과를 검증할 수 있어 규칙 기반 평가의 자연스러운 적용 대상이다. [16:34]
11. pass@k는 여러 시도 중 하나라도 성공할 확률이다
pass@k는 k번의 시도 중 적어도 하나가 성공할 확률이다. 시간과 계산 자원이 있고 결과의 성공 여부를 확인할 수 있다면, 한 번의 성공률뿐 아니라 여러 시도에서의 성공 가능성도 중요하다. [17:15]- 이 값을 추정하기 위해 k보다 큰 n개의 출력을 생성하고, 성공한 시도 수를 c, 실패한 시도 수를 n−c로 센다. [18:18]
12. pass@k 추정식은 모든 시도가 실패할 확률에서 나온다
- k번 중 적어도 하나가 성공할 확률은 1에서 k번 모두 실패할 확률을 뺀 값이다. [19:29]
- 생성된 n개 결과에서 비복원으로 k개를 고르므로, 연속해서 실패를 뽑을 확률은
(n−c)/n,(n−c−1)/(n−1)처럼 남은 결과 수에 따라 달라진다. 같은 실패 비율을 단순히 k제곱하는 방식과는 다르다. [20:01]
13. 온도는 반복 생성의 이득과 답변 품질을 함께 바꾼다
pass@1은 전체 시도 중 성공한 시도의 비율이다. 온도가 0이어서 같은 입력에 항상 같은 출력이 나오면, 시도 횟수 k를 늘려도 pass@k는 달라지지 않는다. [25:01]- 온도를 높이면 다른 해답을 탐색할 수 있어, 여러 번 생성할 때 적어도 하나가 성공할 가능성을 높일 수 있다. 다만 온도가 너무 높으면 답변이 합리적인 해답에서 멀어질 수 있다. [26:05]
14. 정답을 확인하기 어려우면 consensus@k를 고려한다
- pass@k는 테스트 케이스가 있는 코드 문제처럼, 생성된 후보의 성공 여부를 확인할 수 있을 때 유용하다. 여러 번의 시도에 자원을 쓰는 것이 얼마나 효과적인지 판단할 수 있기 때문이다. [27:11]
- 추론 시점에 정답을 확인할 수 없다면 pass@k의 실용적 관련성은 낮아진다. 수학 문제에서는 코드의 테스트 케이스처럼 정답 여부를 바로 확인할 수단이 없을 수 있다. [27:57]
15. 자연어 평가는 표현의 다양성 때문에 더 어렵다
- 자연어에서는 같은 의미를 여러 방식으로 표현할 수 있으므로, 규칙만으로 모델 출력의 성능을 정량화하기가 더 어렵다. [28:55]
- BLEU는 LLM 시대 이전부터 널리 쓰이던 지표로, 모델 출력과 참조 답변들을 비교해 점수를 계산한다. [29:36]
16. BLEU의 n-gram 정밀도와 짧은 번역에 대한 벌점
- BLEU는 생성 번역의 n-gram을 참조 번역과 비교하는 정밀도 성격의 지표다. 참조 번역과 일치하는 표현이 얼마나 포함되는지를 평가한다 [30:24]
- 일치하는 n-gram 몇 개만 포함한 짧은 번역도 높은 정밀도를 얻을 수 있으므로, 지나치게 짧은 출력을 억제하는 brevity penalty를 적용한다. 완벽한 지표는 아니지만 인간 평가와 상관관계가 있어 사용되어 왔다 [31:00]
17. METEOR의 정밀도·재현율 결합과 어순 평가
- METEOR는 정밀도와 재현율을 결합하고, 단어가 나타나는 순서도 벌점에 반영한다 [31:16]
- 벌점에는 번역과 참조에서 일치하는 연속 구간의 수 C와 일치하는 유니그램 수 U가 사용된다. 연속 구간은 적고 일치 유니그램은 많을수록 유리하며, 좋은 경우 벌점은 0에 가까워진다 [31:41]
18. 표면적 일치 지표가 놓치는 의미적 동등성
- 기존 지표는 같은 의미를 다른 방식으로 표현한 답변을 충분히 처리하지 못한다. METEOR가 동의어나 같은 어간을 일부 인정하더라도, 문장 전체를 다르게 구성한 표현까지 포괄하기는 어렵다 [32:24]
- 잠자리에서 곰 인형이 아이를 위로한다는 문장과, 부드러운 인형이 아이가 잠들 때 안심하도록 돕는다는 문장은 표현이 달라도 유사한 의미를 전달할 수 있다 [32:53]
19. LLM 평가자의 입력과 참조 없는 평가 가능성
- LLM 평가자는 원래 질문, 모델 답변, 관련성과 같은 평가 기준을 바탕으로 답변의 품질을 판단한다. 이진 점수와 함께 판단 이유를 반환하도록 구성할 수 있다 [34:09]
- 평가 모델의 이해 능력이 충분하다면 인간이 작성한 참조 답변 없이도 평가할 수 있고, 서로 다른 언어적 표현을 같은 의미로 이해할 수 있다 [35:18]
20. 소규모 인간 평가로 기준선과 목표 설정
- 평가 대상 출력 중 소규모 표본을 직접 검토하면 평가자가 포착해야 할 패턴을 구체화할 수 있다. 예시로 질문·답변 쌍 10개를 살펴보며 관련성 여부를 판단하는 방식이 드러난다 [38:15]
- 관찰 결과를 주석으로 남기고 간단한 평가 설정으로 기준선을 만든다. 인간이 부여한 통과·실패 라벨과 LLM 판정을 비교하면 평가자 자체의 성능을 측정할 수 있다 [38:49]
21. 오류 패턴을 반영하는 반복 개선
- 기준선과 목표를 정한 뒤에는 평가자가 놓치는 사례와 성공·실패 패턴을 분석한다. 누락된 판단 기준을 보완하고 다시 평가하는 과정을 반복한다 [39:48]
- 최적화할 객관적 지표가 있으면 코딩 에이전트로 반복 개선을 자동화할 수 있다. 실패 사례의 재현율을 90% 이상으로 맞추는 것은 목표 설정의 예시이며, 실제 달성 결과는 아니다 [40:44]
22. 구조화된 출력으로 평가 결과의 형식 보장
- 점수와 판단 근거를 자동으로 읽으려면 출력 형식이 일정해야 한다. 그러나 형식을 지시하는 것만으로는 LLM이 항상 이를 따르리라는 보장이 없다 [41:52]
- 제약 디코딩은 생성 가능한 토큰을 유효한 집합으로 제한해 출력이 정해진 구조를 따르도록 한다. 구조화된 출력 기능은 이러한 방식으로 JSON 같은 형식을 보장한다 [42:46]
23. 응답 순서가 판정에 영향을 주는 위치 편향
- 평가자는 답변의 실제 품질과 별개로 특정 위치에 놓인 응답을 선호할 수 있다. 첫 번째 응답을 선호하는 경우가 예시지만, 선호 위치와 편향의 강도는 모델에 따라 다를 수 있다 [45:18]
- 두 답변의 순서를 뒤집어 평가하고 선택이 달라지는지 확인하면 위치 편향을 점검할 수 있다. 순서를 바꿔도 같은 답변을 선택한다는 사실만으로 판정의 정확성이 확정되지는 않는다 [46:08]
24. 긴 답변을 과대평가하는 장황성 편향
- 짧지만 정확한 답변과 더 길지만 덜 유용한 답변을 비교할 때, 평가자가 긴 답변을 선호할 수 있다 [46:33]
- 길이 자체를 정확성의 판단 기준으로 삼지 않도록 평가 기준을 명시하고, 짧은 답변이 더 나은 사례를 포함하면 이러한 편향을 줄이는 데 도움이 될 수 있다 [47:10]
25. 자기 응답 선호와 그럴듯한 인용의 영향
- 평가에 사용하는 모델이 자신이 생성한 답변을 선호하는 자기 강화 편향이 나타날 수 있다. 특히 좋은 답변과 나쁜 답변을 구분하기 어려운 작은 모델에서는 동일 모델을 평가자로 사용하는 선택에 주의가 필요하다 [47:44]
- 실제로 존재하지 않는 인용도 참고문헌처럼 보이면 답변의 선호도를 높일 수 있다. 위치·길이·자기 응답 선호 외에도 여러 편향이 가능하므로 평가 결과를 비판적으로 검토해야 한다 [48:50]
26. 이진 판정과 인간 보정으로 평가의 일관성 확보
- 세밀한 점수 척도는 잡음을 늘릴 수 있다. 인간도 10점 척도에서 5점과 6점을 구분하기 어려울 수 있어, 기준별 통과·실패 판정이 실무에서 더 나은 경우가 많다 [49:32]
- 점수에 앞서 판단 근거를 작성하도록 하는 방식은 판단을 충분히 검토하게 해 실무에서 더 좋은 결과로 이어질 수 있다. 확인된 위치·장황성·자기 강화 편향도 함께 완화해야 한다 [50:45]
27. 보정된 확률을 출력하는 결정 모델의 가능성
- 결정 모델은 텍스트 생성보다 가능한 답변에 대한 보정된 확률 출력을 지향한다. 이러한 접근은 평가자 용도에도 도움이 될 가능성이 있다 [52:38]
- 평가 분야는 빠르게 변화하고 있으며, 새로운 모델 계열에 따라 현재의 권장 방식도 달라질 수 있다. 결정 모델의 유용성은 이 구간에서 확정된 성과로 제시되지는 않는다 [53:03]
28. 장기 실행 에이전트의 평가 단위
- 도구를 갖춘 에이전트는 관찰·행동·계획의 순환을 여러 차례 반복한다. 실행이 길어질수록 각 단계에서 무엇이 잘못됐는지 구분하는 일이 중요해진다 [54:00]
- 기본 과정은 LLM의 도구 호출 예측, 샌드박스에서의 도구 실행, 대화 기록과 도구 응답의 통합으로 나뉜다. 통합 결과는 최종 답변이 되거나 다음 반복의 관찰 상태로 계속된다 [54:40]
29. 필요한 도구를 호출하지 않는 실패
- 주변의 곰 인형을 찾는 요청에 도구를 사용하지 않고 모른다고 답하는 경우, 관련 도구를 선택하는 라우터가 필요한 함수를 제외했을 수 있다 [55:57]
- 라우터가 학습된 모델이라면 재학습을, 지침에 기반한 방식이라면 지침 수정을 검토할 수 있다. 원인은 답변을 생성하는 모델뿐 아니라 앞단의 도구 선택에도 있을 수 있다 [56:19]
30. 존재하지 않는 도구 호출과 도구 설계의 문제
- 모델이 제공되지 않은 도구를 호출하면 실행 단계에서 즉시 오류가 발생한다. 곰 인형 검색용 도구 대신 존재하지 않는 다른 이름의 도구를 호출하는 경우가 예시다 [57:48]
- 경량 모델이 긴 입력에서 출력의 근거를 유지하지 못하면 이런 환각이 생길 수 있으며, 더 강한 모델이 이를 완화할 수 있다. 다만 최근에는 모델 자체보다 문맥 관리의 문제가 원인일 수 있다는 설명도 따른다 [58:42]
31. 도구 이름과 설명이 요청의 해석을 좌우한다
- 모델이 보는 도구 이름과 인자 이름을 바꾸면 요청과 API의 관계를 더 명확하게 만들 수 있다. 문제의 원인이 API 구현보다 모델에 노출되는 표현에 있을 수 있다 [1:00:15]
- 곰 인형 검색 도구의 설명이 ‘곰 인형’이라는 표현만 다룬다면, 사용자가 단순히 ‘곰’을 요청하는 경우를 놓칠 수 있다. 설명과 지시문을 조정해 이런 표현까지 포괄할 필요가 있다 [1:00:30]
32. 잘못된 도구 선택은 후보 구성과 역할 구분을 나눠 점검한다
- 근처의 곰을 찾아 달라는 요청에 검색 대신 다른 사람이나 시스템에 메시지를 보내는 도구를 선택할 수 있다. 필요한 도구가 입력 문맥에 포함되지 않았거나, 적합하지 않은 후보들이 문맥을 채웠을 가능성이 있다 [1:01:39]
- 필요한 도구가 후보에서 빠졌다면 라우터를 재학습해 해당 도구를 포함하도록 조정할 수 있다 [1:02:13]
33. 올바른 인자를 만들려면 정보와 보조 도구가 필요하다
- 위치 정보나 이를 구하는 보조 함수가 문맥에 없으면, 모델이 값을 지어내는 대신 자리표시자를 전달할 수 있다. 필요한 인자를 계산할 수 있는 정보가 제공되는지 확인해야 한다 [1:03:07]
- 인자를 계산하는 보조 함수가 있어도 모델이 사용법을 모르면 호출에 실패할 수 있다. 이 경우에는 해당 도구를 사용하는 방법을 익히도록 해야 한다 [1:03:27]
34. 백엔드는 오류와 무응답 대신 해석 가능한 결과를 반환해야 한다
- 도구와 인자가 올바르더라도 백엔드가 오류를 반환하면 결과를 얻지 못한다. 모델은 이를 내부 문제로 설명할 수 있지만, 이런 설명 자체가 실행상의 결함을 해결하지는 않는다 [1:04:03]
- 도구는 처리 결과를 나타내는 유효한 값을 반환해 실행 루프가 오류로 끊기지 않게 해야 한다. 오류를 일으키는 구현 자체도 수정해야 한다 [1:05:22]
35. 최종 응답의 정확도는 도구 출력의 관련성과 구조에 달려 있다
- 도구가 곰 인형의 특성을 JSON으로 반환했는데도 최종 응답이 “찾지 못했다”고 할 수 있다. 모델이 출력 구조에서 필요한 정보를 인식하지 못하는 경우다 [1:06:57]
- 모델 역량이 부족할 가능성도 있지만, 관련성이 낮은 정보가 출력에 너무 많이 포함된 경우가 더 흔하다는 설명이다. 방대한 출력에서 필요한 내용을 찾게 하기보다 반환 내용을 줄이는 문맥 설계가 필요하다 [1:07:27]
36. 오류 단계와 증상을 연결하면 반복되는 문제를 함께 고칠 수 있다
- 잘못된 최종 답변을 발견하면 도구 설계와 결과 생성 과정을 거슬러 올라가 오류가 발생한 단계를 찾아야 한다. 원인을 적절히 짚으면 같은 유형의 문제에 널리 적용할 수 있는 수정안을 얻을 수 있다 [1:09:24]
- 부족한 모델 역량, 과도하게 채운 문맥, 불명확한 API 설명과 도구 설계가 주요 문제 요인이다. 도구 출력까지 직접 점검하고 수정해야 시스템의 실제 동작을 이해할 수 있다 [1:10:03]
37. 전문가의 작업 시간을 기준으로 에이전트의 장기 과제 수행력을 측정한다
- 전문가 시간 지평은 사람이 과제를 수행하는 데 걸리는 시간을 기준으로 에이전트의 능력을 비교하는 지표다. 질문에 답하기부터 모델 전체를 학습시키기까지 난도가 다른 작업을 같은 관점에서 살펴본다 [1:11:29]
- 에이전트가 적어도 50%의 확률로 성공하는 과제의 시간 지평을 추적하면, 더 긴 작업을 수행하는 능력의 변화를 볼 수 있다. 이는 반복적인 추론·행동 과정에서 실수를 복구하고 장기 목표를 달성하는 능력을 가늠하는 대리 지표다 [1:11:51]
38. 종합 지능 지수는 서로 다른 능력의 점수를 합산한다
- Artificial Analysis 같은 지수 집계 서비스는 모델의 성능과 사용 가치를 비교하는 기준으로 활용된다. 여기서 다루는 지능 지수는 강의에서 버전 5로 드러난다 [1:13:01]
- 평가 영역은 일반적인 사실 지식, 업무 산출물을 만드는 지식 노동, 코딩, 과학으로 구분된다. 지식 노동은 사실을 많이 아는 것과 달리, 사고를 통해 사업에 기여하는 결과물을 생산하는 능력을 뜻한다 [1:13:59]
39. 일반 지식 평가는 도구 없이 보유한 사실 지식을 확인한다
- 사업, 보건, 법률, 소프트웨어 공학 등 폭넓은 분야에서 알아야 할 사실을 묻는다. 도구와 인터넷을 제공하지 않아 모델 내부에 해당 정보가 담겨 있는지를 평가한다 [1:15:41]
- 오답에 불이익을 주며, 질문·기준 답안·모델 답변을 바탕으로 LLM 심판이 답의 적절성을 판단한다 [1:16:25]
40. 지식 노동은 산출물의 요건과 표현 품질을 함께 평가한다
- 실제 사무 업무는 하나의 명확한 정답보다 다른 사람이 활용할 여러 산출물을 만든다. 따라서 LLM 심판 등을 활용한 평가는 코딩이나 수학의 평가보다 불완전한 대리 지표라는 한계가 있다 [1:17:43]
- 데이터 과학, 제품 관리, 컨설팅 등의 여러 주에 걸친 업무 상황을 구성하고 메시지·보고서·이메일을 제공한다. 인터넷 없이 정해진 상호작용 횟수 안에 파일을 만들게 한 뒤, 산출물을 측정 가능한 항목으로 나눠 기준 답안과 비교하고 점수를 합산한다 [1:18:26]
41. 터미널 기반 코딩 평가는 숨겨진 테스트로 결과를 검증한다
- Terminal Bench는 실행 환경, 도구, 인터넷 접근과 작업 시간을 제공하고 터미널 기반 과제를 수행하게 한다. 완성된 결과물은 숨겨진 테스트로 검증한다 [1:21:02]
- 이 평가는 LLM 심판 대신 결정적인 검사로 결과의 정오를 확인한다. 에이전트가 만든 산출물이 요구사항을 충족하는지가 평가의 핵심이다 [1:21:38]
42. 과학 과제는 기준 결과와의 수치적 차이로 검증할 수 있다
- 과학 분야 평가도 환경과 과제를 제공하고 산출물을 기준 결과와 비교하는 틀을 사용한다. 일반적인 코딩을 넘어 여러 과학 분야의 문제를 다룬다 [1:22:40]
- 천문학 사례에서는 운동을 나타내는 벡터를 바탕으로 위치와 속도에 관한 문제를 풀게 한다. 에이전트가 만든 파일과 기준 파일의 차이에 대한 노름이 정해진 임계값보다 작은지를 확인해 정오를 판단한다 [1:23:32]
43. 높은 벤치마크 점수가 사용자 만족을 보장하지는 않는다
- ‘벤치맥싱’은 실제 능력보다 벤치마크 수치에 지나치게 집중한 모델을 비판적으로 가리키는 표현이다. 높은 점수와 사용자가 느끼는 품질 사이에 차이가 생길 수 있다 [1:24:11]
- 과거 순위가 높았지만 사용자 반응이 좋지 않았던 모델 사례는 평가 기준과 실제 경험의 불일치를 검토할 계기가 된다. 다만 그 사례의 원인이 벤치맥싱이었다고 단정하지는 않는다 [1:24:44]
44. 작은 요구사항 변경에도 점수와 순위가 크게 달라질 수 있다
- Max Bench 연구는 코딩 중심 공개 벤치마크인 Deep Suite의 요구사항을 조금씩 바꿨다. 날짜의 시간대 표기나 보고서의 대소문자 형식을 변경하는 식이다 [1:26:16]
- 이런 작은 변경 뒤 모델들의 점수가 떨어졌다. 연구진은 요구사항 차이가 크지 않다는 점에서 성능 하락을 벤치맥싱과 연결할 수 있다고 해석했지만, 이는 가정으로 드러난다 [1:27:08]
45. 현재 요청에 없는 조건을 따르는 현상은 평가 의존성을 의심하게 한다
- 과거 문제를 수정하고 일부를 삭제했는데도 학생이 삭제된 문제까지 답한 과제 사례는, 현재 요구사항보다 익숙한 답안을 재현하는 현상을 설명하는 비유다 [1:28:24]
- 모델에서도 평가 조건을 삭제했는데 이전의 출력 형식 제약을 계속 지키려는 사례가 나타났다. 현재 요청에 적응하기보다 기존 평가의 조건을 따르는 행동이라는 점에서 앞선 비유와 연결된다 [1:29:17]
46. 비공개 평가로 내용을 보호하고 공개 과제로 분야의 수요를 전달한다
- 평가 운영자가 모델 제공자를 대신해 비공개 테스트를 실행하면 평가 내용의 노출을 줄일 수 있다. 제공자의 실행 로그를 통한 내용 추정을 막기 위해, 이런 평가에서는 보통 데이터 무보존 정책인 ZDR을 협의한다. 이는 평가의 공정성을 지키려는 장치다. [1:30:39]
- 기업들은 실제 사용 사례를 잘 대표하는 자체 과제를 만들고 내용을 공개하지 않기도 한다. 평가에 대한 최적화가 진행되면서 해당 과제가 본래 측정하려던 업무 능력을 제대로 반영하지 못하게 될 가능성을 우려하기 때문이다. [1:31:07]
47. 종합 평가 지수의 구성과 가중치도 사용자 체감에 맞춰 바뀐다
- Artificial Analysis 지수는 시간이 지나면서 포함하는 벤치마크와 가중치가 달라진다. 사용자 체감과 지수 사이의 차이를 줄이도록 평가 구성을 재조정하는 현상을 강의에서는 ‘Bench Max Maxing’이라고 부른다. [1:33:05]
- 모델 제공자는 평가가 강조하는 능력을 개선하고, 평가 집계자는 다시 사용자 경험을 더 잘 반영하도록 점수를 조정한다. 일부 벤치마크가 포화되더라도 종합 지수의 구성과 비중은 계속 변할 수 있다. [1:33:48]
48. 파레토 경계로 품질·비용·응답 시간의 균형을 판단한다
- 품질과 비용을 함께 비교할 때는 같은 비용에서 가장 높은 품질을 제공하거나, 같은 품질을 가장 낮은 비용으로 달성하는 모델이 중요하다. 이런 최적 조합을 잇는 경계가 파레토 프런티어다. [1:35:04]
- 비교 축은 금전적 비용에 한정되지 않는다. 빠른 응답이 중요한 에이전트라면 시간도 고려해야 하므로, 필요한 품질과 응답 시간 사이의 균형을 살펴볼 수 있다. [1:35:29]
49. 모델 성능을 재기 전에 벤치마크의 문제 정의와 실행 품질을 검증한다
- 벤치마크에는 예상한 입력이 주어지는지, 요구하는 답변 형식이 적절한지, 문제가 실제로 풀 수 있게 정의되어 있는지 확인해야 한다. 평가 설계에 오류가 있으면 모델이 의미 없는 요구에 맞춰 최적화될 수 있다. [1:36:16]
- BenchGuard는 벤치마크 정의의 여러 문제를 분류해 점검하는 도구의 사례다. 평가 정의뿐 아니라 실행 로그도 함께 살펴보면 실행 중 드러나는 오류를 찾을 수 있으며, 점수 향상에 앞서 측정하려는 목표 자체가 타당한지 확인해야 한다. [1:37:12]
50. 평가의 허점과 지표 최적화가 실제 능력 향상을 왜곡할 수 있다
- 에이전트는 의도한 문제 해결 과정 대신 평가 환경의 허점을 이용할 수 있다. 필요한 방어 장치는 과제와 허용된 환경에 따라 달라지므로, 일부 안전장치만으로 모든 문제를 막을 수 있다고 가정해서는 안 된다. [1:38:28]
- 강연자가 평가 중 발생했다고 설명한 Hugging Face 보안 사고 사례는 에이전트가 평가 목적을 벗어난 행동을 할 위험을 보여준다. 평가 환경에서도 허용 범위를 벗어난 행동을 막는 통제가 필요하다. [1:38:56]
51. 사용자 선호 비교는 체감 품질을 측정하지만 비용과 정확성의 한계가 있다
- Text Arena 같은 플랫폼은 같은 질문에 대한 두 답변 중 사용자가 더 선호하는 것을 고르게 한다. 누적된 비교 결과로 사용자에게 더 선호되는 모델의 순위를 만들 수 있다. [101:31] [1:41:11]
- 사용자 평가에는 비용이 들고, 안정적인 순위를 얻으려면 충분한 쌍별 비교 관측이 필요해 시간이 걸린다. 강의에서는 사용자에게 대화 비용을 청구하기 어려워 제공자의 크레딧 지원 등에 의존하는 부담도 지적한다. [102:06] [1:41:38]
52. 핵심 요구를 평가로 정의하고 명확한 판정 기준으로 반복 개선한다
- 평가 중심 개발에서는 원하는 결과를 먼저 구체적인 평가로 정의하고, 그 결과에 맞춰 에이전트와 도구 설계를 반복 개선한다. 모든 요소를 동시에 최적화할 수는 없으므로 시스템에 필수적인 요구와 덜 중요한 요구를 구분해야 한다. [103:41] [1:42:58]
- LLM이나 에이전트를 심판으로 쓰는 방식은 조정이 어렵다. 코딩·수학처럼 정오를 명확하게 판정할 수 있는 경우에는 명시적인 규칙과 검증 기준을 활용하면, 채점 과정의 불확실성보다 정답 기준의 품질에 집중할 수 있다. [104:22] [1:43:39]
🧾 결론
- 평가 중심 개발은 원하는 결과를 먼저 측정 가능한 요구로 정의하고, 실패 사례를 바탕으로 모델과 도구 설계를 반복 개선하는 접근이다.
- 정오를 명확히 확인할 수 있는 작업에는 명시적인 검증 기준을 활용하고, 주관적인 판단에는 인간 평가와의 일치 여부를 확인해야 한다.
- 모델 점수에 앞서 평가 문제의 타당성, 실행 환경의 품질, 채점 기준 자체를 검증해야 한다. 지표 최적화가 원래 업무의 성과 향상을 대신할 수는 없다.
📈 투자·시사 포인트
- 모델이나 AI 제품을 비교할 때 종합 순위와 함께 실제 사용 사례의 평가 결과를 확인필요가 있다. 종합 지수는 포함 벤치마크와 가중치가 바뀌므로 비교 시점의 구성을 살펴야 한다.
- 도입 판단에서는 최고 점수뿐 아니라 필요한 품질을 달성하는 비용과 응답 시간을 비교해야 한다. 반복 생성의 이득도 추가 계산 자원과 성공 여부를 확인할 수 있는지에 따라 달라진다.
- 에이전트 제품의 수행력은 모델 역량 외에도 문맥 관리, 도구 설명, 백엔드 피드백, 출력 구조에 좌우된다. 제품 평가에서는 이 요소들의 실제 동작을 함께 확인해야 한다.
- 기업 자체의 비공개 과제는 업무 적합성을 측정하는 수단이 될 수 있고, 평가가 부족한 분야의 공개 과제는 모델 개선 방향을 전달하는 역할을 할 수 있다.
⚠️ 불확실하거나 확인이 필요한 부분
- 강의에 소개된 요구사항 변경 연구에서 점수와 순위가 하락했다는 설명과, 그 원인을 벤치맥싱으로 해석하는 것은 구분해야 한다. 제공 자료만으로 특정 모델의 학습 오염이나 의도적인 점수 최적화를 확정할 수 없다.
- 카파 약 0.8을 높은 합의로 보는 설명과 온도 약 0.8에서 개선된 그래프는 모든 작업에 적용되는 보편적 기준이나 최적 설정으로 받아들이기 어렵다.
- 실패 사례 재현율 90% 이상은 평가자 개선의 목표 예시이며 달성 결과가 아니다. 결정 모델의 평가 활용도 확정된 성과가 아닌 가능성으로 제시된다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 실제 사용 사례를 정하고 정확성·관련성·안전성 등 필수 요구를 구분해 각각의 통과·실패 기준을 작성한다.
- 대표 출력 표본을 사람이 평가하고, 평가자 간 합의와 의견이 갈리는 사례를 확인해 기준을 보완한다.
- 코드·수학에는 검증 가능한 기준을 적용하고, LLM 평가자를 쓰는 항목은 인간 라벨에 대한 정밀도·재현율과 주요 편향을 점검한다.
- 에이전트 실패를 도구 선택·입력 정보·실행 결과·최종 해석 단계로 나눠 기록하고, 반복되는 원인을 수정한 뒤 같은 평가로 확인한다.
❓ 열린 질문
- 우리 사용 사례에서 반드시 충족해야 할 품질 기준은 무엇이며, 인간 평가자들은 그 기준에 얼마나 일치하는가?
- 반복 생성으로 후보를 늘렸을 때 성공한 답을 실제로 식별할 수 있는가, 아니면 다수결에 의존해야 하는가?
- 공개 벤치마크의 순위가 자체 업무 평가와 다르다면, 그 차이는 과제 구성·채점 방식·실행 환경 중 어디에서 발생하는가?