에이전트가 늘어날수록 사람이 할 일은 줄어듭니다, 대신 판단 기준을 만들어야 합니다 (Arize AI 이승민·진상열님)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

에이전트가 늘어날수록 인간의 반복 구현은 줄지만, 조직은 트레이스·데이터셋·평가를 통해 품질과 위험을 가르는 판단 기준을 만들어야 한다.

📌 핵심 요점

1. 서버와 호출 지표가 정상이어도 에이전트의 답변은 틀릴 수 있으므로, 모든 행동을 스팬 단위로 기록하고 판단 과정 전체를 추적해야 한다.
2. 평가는 규칙 기반 검사에서 시작해 모델 평가와 도구를 결합한 에이전트 평가로 확장할 수 있으며, 품질·비용·속도·안전성을 함께 측정해야 한다.
3. 공개 벤치마크는 실제 업무와 차이가 날 수 있으므로, 현장 오류와 전문가의 판단을 반영한 골든 데이터셋과 기업별 프라이빗 벤치마크가 필요하다.
4. 정량 평가를 갖추면 고비용 모델을 관성적으로 선택하지 않고, 작업별로 모델을 분리하거나 더 저렴한 모델로 교체하면서도 품질을 유지할 수 있다.
5. 프롬프트 작성과 에이전트 오케스트레이션이 자동화될수록 사람의 핵심 역할은 결과를 직접 만드는 일에서 좋은 결과와 위험한 결과를 구별하는 기준을 설계하는 일로 이동한다.

🧩 배경과 문제 정의

• 여러 AI 에이전트가 결합된 기업 환경에서는 서버와 호출 지표가 정상이어도 답변 품질, 규제 준수, 비용 구조에 문제가 생길 수 있다.
• 에이전트의 판단 과정이 보이지 않으면 오류의 원인이 프롬프트·모델·데이터·도구 중 어디에 있는지 특정하기 어렵고, 사고나 심사 탈락 이후에도 증거를 제시할 수 없다.
• 모든 동작을 추적한 뒤 일관된 기준으로 평가해야 감각적인 모델 선택에서 벗어나 품질·비용·안전성을 함께 개선할 수 있다.
• 단일 LLM 호출만으로는 인간 전문가의 지식과 최신 정보를 충분히 반영하기 어려워, 여러 모델 호출과 도구를 묶은 에이전트 평가가 새로운 판단 체계로 필요해졌다.

🕒 시간순 섹션별 상세정리

1. 감각 대신 정량 평가로 모델을 선택하는 방식

• 실시간 번역기를 여러 모델로 시험한 대화 데이터를 Arize에 쌓고 평가하면, 아키텍처에 적합한 모델을 감각이 아닌 점수표로 확정할 수 있다. [00:16]
• 한 줄짜리 프롬프트도 평가 점수에 따라 예시와 규칙을 반복적으로 추가하면서 더 견고한 버전으로 발전해진다. [00:38]

2. 아시아·태평양 시장을 담당하는 두 역할

• 이승민은 한국·일본·호주·싱가포르·인도 등 아시아·태평양 고객의 Arize 활용과 AI 에이전트 개발 전반을 지원한다. [01:16]
• 진상열은 한국과 일본 사업을 총괄하며 세일즈뿐 아니라 파트너십과 플랫폼 협업을 통해 고객용 서비스 패키지를 발굴한다. [01:52]

3. AI 에이전트의 내부를 진단하는 옵저버빌리티

• Arize AI는 사람 대신 AI 에이전트를 대상으로 엑스레이나 MRI를 찍듯 내부 동작을 관찰해, 잘못된 답변이 만들어진 원인을 분석한다. [02:48]
• 기존 시스템 지표가 모두 정상이어도 기대한 A가 아닌 B·C 답변이 나올 수 있어, 품질과 행동을 판단할 별도의 정량 기준이 필요하다. [03:48]

4. 법률 검색과 알파고가 만든 AI 커리어 전환

• 이승민은 캐나다에서 약 12년간 경력을 쌓았고, 톰슨로이터 AI 연구실에서 법률 서비스 Westlaw의 검색 성능과 답변 품질을 약 4년간 개선했다. [05:23]
• 2016년 알파고를 계기로 AI를 전문 분야로 선택했고, AI 연구자들과 함께 실제 법률 제품 개발에 참여했다. [05:43]

5. 로그 분석의 한계에서 Phoenix로

• 2024년 기업들이 AI 에이전트를 도입했지만, 프롬프트·모델·임베딩 문제를 구분하려면 서로 다른 데이터가 섞인 로그 전체를 뒤져야 했다. [06:32]
• 오픈소스 Phoenix를 고객 환경에 적용하자 문제 분석과 운영 부담이 줄었고, 부족한 AWS 튜토리얼과 코드를 직접 기여하면서 Arize와의 관계가 시작됐다. [07:00]

6. 오픈소스 기여가 아시아·태평양 확장으로 연결된 과정

• 커뮤니티 기여를 계기로 샌프란시스코의 Observe 행사에 초청받아 경영진과 교류했고, 높은 엔지니어링 성숙도를 직접 확인했다. [07:31]
• 2025년 시리즈 C 투자 이후 Arize가 북미 밖으로 확장하면서 아시아·태평양 총괄 제안이 왔고, 성장하는 조직에 합류할 기회로 판단했다. [08:00]

7. 보안·커머스·모빌리티를 거친 사업 총괄의 합류

• 진상열은 보안 엔지니어로 출발해 SI 회사 미국 법인, 아마존 리테일, 카카오모빌리티를 거친 뒤 AWS 전문가 서비스 조직에서 이승민과 함께 일했다. [09:32]
• 2024년부터 고객에게 Arize를 연결하며 사업 가능성을 확인했고, AI 옵저버빌리티라는 새로운 시장의 물결을 기회로 보고 합류했다. [10:39]

8. 기록과 평가가 결합해 인사이트가 되는 구조

• 옵저버빌리티의 출발점은 에이전트의 모든 동작을 기록해 데이터를 쌓는 것이며, 여기에 평가를 적용해야 의미 있는 인사이트가 나온다. [11:39]
• 단순한 모니터링보다 판단 과정 전체를 보존하는 일이 중요하고, 이후의 품질 진단과 원인 분석은 이 기록을 기반으로 진행된다. [11:51]

9. 규제 산업에서 증적이 없을 때 생기는 위험

• 금융·의료·국방처럼 1%의 오류도 허용하기 어려운 분야에서는 개인정보 처리와 AI 행동에 관한 증적 자료가 규제 대응의 필수 조건이다. [12:20]
• 국내에서도 에이전트 개발과 보도자료 준비까지 마친 기업이 증거 자료를 제출하지 못해 심사를 통과하지 못하고 출시를 중단한 사례가 있었다. [13:14]

10. 비규제 서비스에서도 필요한 판단 추적

• 여행 에이전트가 프랑스의 목적지를 미국의 동명 도시로 착각해 예약하면 고객 피해와 브랜드 이탈이 동시에 발생한다. [13:32]
• 에이전트의 판단 위치와 원인을 찾으려면 먼저 모든 행동을 쌓고 평가한 뒤, 실패가 집중되는 지점을 찾아 개선해야 한다. [14:02]

11. 에이전트 행동을 스팬 단위로 기록하는 방법

• 모든 액션의 시작과 끝을 최소 단위인 스팬으로 나누면, 에이전트가 하나이든 수천 개이든 각각의 활동을 세밀하게 추적할 수 있다. [14:50]
• 각 스팬을 OpenInference 데이터 규격으로 남기면 서로 다른 에이전트와 개발 환경의 추론 기록을 같은 구조로 수집할 수 있다. [15:23]

12. OpenInference가 통합 규격으로 갖는 가치

• OpenInference는 LangChain·Python·JavaScript·Java 등 구현 기술과 관계없이 하나의 규격으로 모든 에이전트의 추론을 추적하게 한다. [16:16]
• 기존 OpenTelemetry를 기반으로 LLM 가시성 요소를 추가했으며, 주요 퍼블릭 클라우드 업체도 추론 규격으로 채택할 만큼 글로벌 표준으로 확장되고 있다. [16:43]

13. 휴먼 평가와 코드 평가에서 LLM 평가로

• 전통적인 휴먼 평가는 변호사 같은 도메인 전문가 수백 명이 엑셀에 직접 판정해 최고 품질의 데이터셋을 만들지만, 비용과 시간이 매우 많이 든다. [18:05]
• 코드 평가는 정규식과 규칙으로 특정 단어나 조건을 검사하고, 2022년 이후에는 LLM 평가가 사람과 비슷한 판단 경향을 자동으로 측정하는 세 번째 방식으로 자리 잡았다. [18:46]

14. 단일 LLM 평가의 한계와 에이전트 평가

• LLM 평가는 모델과 평가 프롬프트만 조정할 수 있어 인간 전문가의 복잡한 도메인 지식을 온전히 담기 어렵다. [19:40]
• 여러 단계와 도구를 갖춘 평가 에이전트는 더 복잡한 전문 지식을 반영해 휴먼 평가에 가까운 품질을 목표로 하며, 기존 세 방식에 이은 네 번째 평가 방식이 된다. [20:12]

15. 불완전해도 평가 기준이 필요한 이유

• LLM 평가는 사람 판단과 약 80~85% 일치하지만 나머지 격차가 크고, 사람끼리도 기준이 달라 평가 자체에 불확실성이 남는다. [21:25]
• AI 결과가 나온 과정을 정답 기준으로 100% 판정하기는 현재 불가능하므로, 조직이 수용할 품질 수준과 위험 경계를 명시하는 판단 기준이 필요하다. [21:53]

16. 작은 평가에서 품질·비용 최적화로 확장되는 여정

• 평가는 체중 측정처럼 간단한 지표에서 시작해 혈당·BMI·MRI에 해당하는 복합 검사로 고도화하며, 사고 예방과 비용 관리 능력의 차이를 만든다. [23:26]
• Cursor는 자체 모델로 비용을 통제했지만 Windsurf는 외부 모델 비용을 그대로 부담해 고객이 늘수록 적자가 커졌고, 에이전트 평가가 기술 품질뿐 아니라 사업 지속성에도 연결된다. [24:35]

17. 모델 교체를 통한 비용과 응답 속도 개선

• LG유플러스는 프런티어 모델을 벤치마크로 삼고 단순 작업을 자사 소형 모델로 분리해 전체 비용을 낮추면서 응답 속도까지 개선했다. [27:03]
• 평가는 사고 예방, 비용 최적화, 사용자 행동 통제에 공통으로 활용되며 에이전트 운영을 조직의 의도와 지속적으로 맞추는 수단이 된다. [27:27]

18. 단일 모델 호출을 넘어선 에이전트 평가

• 모델은 에이전트 워크플로 또는 하네스의 한 요소이며, 리서치·작성·리뷰로 단계를 나눠 GPT-3.5를 세 번 호출하면 GPT-4.5를 한 번 호출한 결과보다 나을 수 있다. [28:10]
• 평가도 여러 LLM 호출과 웹 검색 같은 도구를 워크플로로 묶으면 최신 라이브 데이터까지 검증할 수 있어, 단일 LLM 평가보다 정확한 에이전트 평가로 확장된다. [29:20]

19. 공개 벤치마크의 한계와 커스텀 평가

• 공개 벤치마크 대부분이 모델 학습 데이터에 들어가면서 모델이 해당 시험에 과적합됐고, 높은 점수와 실제 업무 성능 사이의 격차가 커졌다. [30:31]
• 경쟁 모델과의 점수 비교를 포기하기 어려운 구조 때문에 과적합이 계속되며, 앞선 기업들은 자사 환경을 반영한 커스텀 벤치마크로 이동하고 있다. [31:02]

20. 데이터셋은 전문가의 판단 기준이다

• 좋은 것과 나쁜 것을 구별하는 기준이 데이터셋이며, 바리스타의 커피 감별처럼 장기간의 경험과 시행착오로 축적된 도메인 지식이 원천이 된다. [31:26]
• 사람 머릿속에만 있던 취향과 판단 기준을 AI가 읽고 시험할 수 있는 형식으로 추출하면, 개인의 노하우가 조직의 데이터셋으로 전환된다. [32:20]

21. 도메인 전문가 확보가 병목인 이유

• 좋은 데이터셋을 만들려면 훌륭한 도메인 전문가가 필요하지만, 이들은 시간과 비용이 많이 들고 업무 일정도 바빠 지식 추출에 참여하기 어렵다. [32:44]
• 전문 지식은 직업 안정성과 경쟁력의 기반이므로 쉽게 공유되지 않으며, 이 관문을 통과한 일부 기업만 고품질 데이터셋을 축적하고 있다. [33:01]

22. 오류와 회사 고유 패턴까지 담는 골든 데이터셋

• 실제 업무에는 오타와 잘못된 값 입력 같은 인간의 오류가 반복되므로, 정제된 정답만이 아니라 현실의 노이즈와 예외도 데이터셋에 포함해야 한다. [33:46]
• 회사마다 반복되는 패턴과 오류는 외부에서 복제하기 어려운 고유 자산이며, 이를 장기간 축적하면 데이터셋 자체가 자동 평가의 정답 기준이 된다. [34:25]

23. 라이브 트레이스를 데이터셋과 에이전트로 전환

• 실시간 트레이스에는 번역을 비롯한 에이전트의 실제 처리 과정이 남으며, 관측 데이터 축적·평가·인사이트 도출의 출발점이 된다. [35:57]
• 문제가 발생한 기록과 성과가 좋았던 기록을 각각 데이터셋으로 묶거나, 특정 전문가의 대화만 추출해 고품질 판단 사례를 만들 수 있다. [36:46]

24. 가장 쉬운 시작점은 트레이스 축적

• 완성된 평가 체계를 처음부터 구축하기보다 오픈소스 피닉스나 랭퓨즈로 트레이스를 먼저 쌓아야 이후 데이터셋과 평가를 설계할 기반이 생긴다. [37:52]
• 클로드 코드·코덱스·제미니 CLI 같은 개발 에이전트에 플러그인을 연결하면 기존 사용 방식을 바꾸지 않고도 개인 PC에서 작업 기록을 자동 수집할 수 있다. [38:38]

25. 실시간 번역 앱으로 비교한 여러 모델

• 실시간 번역 앱은 음성을 텍스트로 바꾸는 STT와 한국어 번역을 연결하고, 속도와 품질을 비교하기 위해 하이쿠·Groq 기반 Qwen·xAI Grok을 후보로 사용한다. [40:15]
• 번역 결과를 프레젠테이션 하단 오버레이로 표시하면서 모델별 응답을 비교할 수 있지만, 사람의 감각적인 바이브 체크만으로는 최적 모델을 확정하기 어렵다. [41:32]

26. 감각 대신 수치로 결정하는 모델 선택

• 실시간 평가에서 Groq 계열은 지연 시간이 짧았고 xAI Grok은 번역 품질 점수가 더 높아, 속도와 자연스러움 사이의 차이가 표로 드러났다. [42:41]
• 정량 평가가 있으면 특정 공급자의 대표 모델을 관성적으로 채택하지 않고, 실제 아키텍처와 업무에 적합한 모델을 근거에 따라 선택할 수 있다. [43:04]

27. 골든 데이터셋이 만드는 기업의 차별화

• 자사 데이터로 모델을 미세조정하거나 강화학습한 뒤 프런티어 모델과 같은 데이터셋에서 비교하면, 실제 프로덕션에 배치할 모델을 검증할 수 있다. [44:16]
• 인간 전문가는 모든 결과를 직접 작성하는 대신 정제된 후보에 예·아니요 수준의 피드백을 제공하고, 이 과정을 반복해 여러 골든 데이터셋을 구축할 수 있다. [44:38]

28. 조직의 통제 지점에서 시작하는 도입 전략

• 사내 GPU 모델, 직접 호출하는 SDK, 외부 CSP나 국내 파트너의 모델 게이트웨이 등 현재 모델 사용 구조를 먼저 파악해야 수집 대상을 정할 수 있다. [45:47]
• 대표 표본군과 모델 호출이 집중되는 지점을 정의한 뒤 게이트웨이나 사용자 PC에 플러그인을 설치하면, 전사 변경 없이 제한된 범위에서 트레이싱을 시작할 수 있다. [46:32]

29. 오픈소스 피닉스로 구축하는 관측 기반

• 컨테이너 운영이 가능한 환경에서는 Docker Hub의 피닉스 이미지를 실행하는 것만으로 기존 에이전트의 트레이스를 받을 수 있다. [47:47]
• 피닉스 이미지는 빠르게 업데이트되며 공식 문서와 지원 채널이 있어, 개인 개발자와 기업 모두 낮은 초기 비용으로 관측 인프라를 구축할 수 있다. [48:08]

30. 공개 데이터셋에서 시작하는 첫 벤치마크

• 처음부터 커스텀 벤치마크를 만드는 대신 트레이스를 축적하면서 허깅페이스의 공개 데이터셋을 초기 평가 기준으로 활용하면 구축 난도를 낮출 수 있다. [49:05]
• 에이전트 버전별 점수를 측정하고 24점에서 47점처럼 개선 목표를 설정하면, 막연한 고도화 작업이 반복 가능한 자체 미션으로 바뀐다. [49:36]

31. 공개 데이터와 사내 트레이스의 결합

• 허깅페이스 데이터셋이 자사 방향과 맞지 않으면 자연어 요청을 통해 한국어 데이터셋처럼 필요한 변형본을 생성할 수 있다. [50:28]
• 내장 에이전트가 공개 데이터셋과 자사 도메인 트레이스를 함께 참조해 새 데이터셋을 만들면, 이를 버전 2 평가셋으로 사용해 다시 성능을 측정할 수 있다. [50:48]

32. 도메인별 벤치마크에서 기업별 벤치마크로

• Sierra AI는 모든 기업이 고객 대응 에이전트를 보유하게 될 미래를 전제로 기업별 에이전트를 구축하지만, 회사마다 필요한 지식과 시험 항목이 크게 다르다는 문제를 확인했다. [52:25]
• Tau-bench는 항공·은행·통신 같은 도메인별 데이터셋으로 모델을 비교해 범용 공개 벤치마크보다 실제 산업 업무에 가까운 성능 차이를 보여준다. [53:23]

33. 자동 개선 루프와 인간이 시도하지 않은 탐색

• 금융 분야에서는 오류를 거의 허용하지 않지만 기존 개발 방식은 전문가 피드백과 재배포마다 4~5일이 걸려, 버전 개선 주기가 누적될수록 생산성이 떨어진다. [56:09]
• 자동 루프는 3일 동안 사람의 개입 없이 83번의 실험을 수행하고, 검색 리콜·리랭커·임베딩·청크 크기 등의 조합을 반복 평가해 초기 52% 수준의 지표를 90점대까지 높였다. [57:05]

34. 데이터셋과 평가를 이용한 프롬프트 자동 최적화

• 간단한 한 줄 프롬프트와 테스트 데이터셋을 입력하면 AI가 여러 버전을 만들고, 각 결과의 평가 점수를 바탕으로 더 나은 프롬프트를 반복 생성한다. 최신 버전이 항상 최선은 아니므로 사용자는 결과를 비교해 가장 만족스러운 버전을 선택한다. [1:00:09]
• 반복 과정에서 높은 점수를 만드는 예시와 규칙이 프롬프트에 추가되며, 초기 한 줄 지시가 구체적이고 견고한 프롬프트로 발전해진다. 프롬프트 엔지니어의 수작업 일부가 자동 최적화로 대체되는 변화다. [1:01:21]

35. 글로벌 활용 사례를 연결하는 커뮤니티의 역할

• 실리콘밸리에서는 업무 외 커뮤니티가 학습과 네트워크 형성뿐 아니라 새로운 사업 시도로 계속된다. 국내에서도 밋업 참여가 늘면서 해외의 발전된 에이전트 활용 사례를 빠르게 공유할 통로가 필요해졌다. [1:03:19]
• 루프 엔지니어링과 프롬프트 최적화처럼 처음 접하기 전에는 상상하기 어려운 활용법을 국내 사용자에게 전달하면, 새로운 제품과 업무 방식을 탐색할 수 있는 선택지가 넓어진다. [1:04:08]

36. AI 단일 영역에서 통합 관측 플랫폼으로의 확장

• 실제 AI 서비스는 네트워크와 일반 인프라, 모델 서빙 계층, 애플리케이션이 결합돼 작동한다. AI 대시보드와 옵저버빌리티, 클라우드 인프라, 애플리케이션을 서로 다른 도구로 관리하면 운영자의 확인 비용과 복잡성이 커진다. [1:06:03]
• 인수 이후에는 AI 영역을 넘어 인프라·애플리케이션·데이터베이스까지 한곳에서 다루는 통합 패키지로 확장할 환경이 생긴다. 다만 세부 변화는 아직 진행 중이어서 확정적으로 공개하기 어렵다. [1:07:07]

37. 자동화 이후 사람에게 남는 취향과 판단 기준

• 기업이 외부 데이터셋과 범용 벤치마크에만 의존하지 않고 자체 데이터를 축적하려면, 평가·관측 인프라와 고유한 벤치마크를 직접 설계하는 역량이 중요해진다. [1:08:25]
• 프롬프트 엔지니어링은 짧은 기간에 자동화됐고, 프레임워크로 에이전트 오케스트레이션을 구현하는 업무도 루프 엔지니어링이 상당 부분 대체할 가능성이 있다. 반복 구현이 자동화될수록 직무 이름보다 판단 기준의 차이가 중요해진다. [1:09:03]

38. 도메인 전문성과 고유 데이터셋의 결합

• 금융·의료·법률 등 자신이 깊게 탐구할 도메인과 만들고 싶은 에이전트를 먼저 결정한 뒤, 관측 도구로 실행 과정을 가시화하고 선도 사례의 데이터셋 구성법을 학습해야 한다. [1:09:55]
• 자체 데이터셋을 단계적으로 축적하면 범용 도구만 사용하는 경쟁자와 다른 평가 기준을 확보할 수 있다. 특정 데이터셋의 도메인 전문가가 되는 과정은 1인 기업도 차별화된 에이전트 사업을 구축할 수 있는 기반이 된다. [1:10:16]

39. 어라이즈 코리아 커뮤니티 참여 경로

• 밋업과 신규 소식은 어라이즈 코리아 웹사이트에서 확인할 수 있으며, 카카오톡 오픈채팅방에서도 행사 일정과 커뮤니티 공지가 공유된다. [1:11:01]
• 웹사이트 업데이트가 늦어질 수 있으므로 운영진의 링크드인 프로필까지 추가하면 최신 이벤트 소식을 보완할 수 있다. 웹사이트·카카오톡·링크드인이 세 가지 주요 확인 채널이다. [1:11:38]

🧾 결론

• 에이전트 운영의 출발점은 완벽한 평가 시스템이 아니라 실제 실행 과정을 빠짐없이 남기는 트레이스 축적입니다.
• 트레이스에 조직의 규칙과 전문가 피드백을 결합해야 장애 원인 분석, 규제 증적, 모델 비교가 가능한 평가 체계로 발전한다.
• 장기적인 차별화 자산은 범용 모델 자체보다 회사의 예외와 실패, 숙련자의 안목을 축적한 골든 데이터셋입니다.
• 인간에게 남는 역할은 에이전트가 따라야 할 품질 수준과 비용 한도, 허용할 수 없는 위험 경계를 명시하는 것입니다.

📈 투자·시사 포인트

• 기업의 에이전트 도입이 늘수록 모델 호출량뿐 아니라 트레이싱, 평가, 데이터셋 관리, 규제 증적을 제공하는 AI 옵저버빌리티 수요도 함께 커질 가능성이 있다.
• 단일 프런티어 모델의 성능보다 업무별 모델 조합을 최적화하는 역량이 중요해지면서, 모델 게이트웨이와 평가 플랫폼의 전략적 가치가 높아질 수 있다.
• 기업별 골든 데이터셋은 여러 에이전트에서 재사용할 수 있고 외부에서 복제하기 어려워, 장기적으로 비용 절감 수단이자 지식재산 기반의 경쟁 우위가 될 수 있다.
• AI 관측 도구가 인프라·애플리케이션·데이터베이스 관측과 결합되는 흐름은 통합 운영 플랫폼의 확장 기회를 보여주지만, 구체적인 제품 변화는 아직 확정되지 않았습니다.

⚠️ 불확실하거나 확인이 필요한 부분

• LLM 평가가 사람 판단과 약 80~85% 일치한다는 수치는 제시됐지만, 사용한 데이터셋과 모델, 평가 방식이 설명되지 않아 일반화 가능성을 별도로 검증해야 한다.
• 증적 자료를 제출하지 못해 출시가 중단됐다는 국내 사례는 기업명과 심사 조건이 공개되지 않아 정확한 원인과 적용 범위를 확인하기 어렵습니다.
• 공개 벤치마크가 학습 데이터에 포함돼 과적합됐다는 문제 제기는 타당할 수 있지만, 벤치마크별 오염 정도와 실제 업무 성능의 격차는 개별적으로 측정해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 모델 호출이 집중되고 담당 팀이 통제할 수 있는 게이트웨이·SDK·사용자 PC 중 한 지점을 정해 제한된 범위의 트레이싱을 시작한다.
• Phoenix나 Langfuse와 OpenInference 규격을 활용해 프롬프트·모델·도구 호출·응답·지연 시간·비용을 동일한 구조로 수집한다.
• 실제 성공 사례와 실패 사례를 분류하고, 도메인 전문가가 예·아니요 수준으로 검토할 수 있는 첫 골든 데이터셋을 만듭니다.
• 동일한 데이터셋에서 후보 모델의 품질·비용·속도를 비교해 단순 작업을 소형 모델로 분리할 수 있는지 시험한다.

❓ 열린 질문

• 금융·의료·법률처럼 오류 비용이 다른 산업에서 각각 어떤 품질 임계값과 위험 경계를 적용해야 할까요?
• 전문가의 암묵지를 데이터셋으로 추출하면서 참여 동기, 지식재산권, 보안 문제를 어떻게 해결할 수 있을까요?
• 환경과 사용자 행동이 변할 때 골든 데이터셋을 누가 어떤 주기로 갱신하고 이전 평가 버전과 비교해야 할까요?