🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith Evaluation은 30개 이상의 평가자 템플릿과 재사용 가능한 평가자 관리를 추가해, 에이전트 평가를 온라인 모니터링과 오프라인 실험 전반에서 더 일관되게 운영하도록 한다.

📌 핵심 요약

• LangSmith는 Evaluation 기능에 재사용 가능한 평가자와 평가자 템플릿 라이브러리라는 두 가지 업데이트를 공개했다.
• 원문은 에이전트 평가에서 최종 답변만 확인하는 방식으로는 검색, 계획, 위임, 도구 호출의 품질을 충분히 파악하기 어렵다고 설명한다.
• 평가자 템플릿은 안전성, 응답 품질, 실행 경로, 사용자 행동 분석, 멀티모달 평가 등 30개 이상의 범주를 제공하며 그대로 쓰거나 맞춤화할 수 있다.
• 템플릿은 프로덕션 트래픽을 분류하는 온라인 평가와 데이터셋 기반 실험을 수행하는 오프라인 평가 모두에 사용할 수 있다.
• 재사용 가능한 평가자는 워크스페이스의 Evaluators 탭에서 중앙 관리되며, 기존 평가자를 여러 tracing project에 빠르게 붙여 조직 전체의 안전 점검과 품질 지표를 일관되게 유지하게 한다.

🧩 주요 포인트

1. LangSmith는 Evaluation 기능에 재사용 가능한 평가자와 평가자 템플릿 라이브러리라는 두 가지 업데이트를 공개했다.
2. 원문은 에이전트 평가에서 최종 답변만 확인하는 방식으로는 검색, 계획, 위임, 도구 호출의 품질을 충분히 파악하기 어렵다고 설명한다.
3. 평가자 템플릿은 안전성, 응답 품질, 실행 경로, 사용자 행동 분석, 멀티모달 평가 등 30개 이상의 범주를 제공하며 그대로 쓰거나 맞춤화할 수 있다.
4. 템플릿은 프로덕션 트래픽을 분류하는 온라인 평가와 데이터셋 기반 실험을 수행하는 오프라인 평가 모두에 사용할 수 있다.
5. 재사용 가능한 평가자는 워크스페이스의 Evaluators 탭에서 중앙 관리되며, 기존 평가자를 여러 tracing project에 빠르게 붙여 조직 전체의 안전 점검과 품질 지표를 일관되게 유지하게 한다.

🧠 상세 정리

1. 업데이트의 핵심: 템플릿과 재사용 가능한 평가자

원문은 LangSmith Evaluation에 두 가지 업데이트가 추가되었다고 설명한다. 첫 번째는 재사용 가능한 평가자로, 여러 tracing project에 걸쳐 평가자를 한곳에서 보고 관리하고 적용할 수 있게 한다. 두 번째는 평가자 템플릿 라이브러리로, 에이전트를 테스트하고 모니터링하려는 팀이 처음부터 모든 평가자를 직접 만들지 않아도 되도록 출발점을 제공한다. 이 업데이트의 방향은 평가 체계를 개별 프로젝트 안에 흩어 두는 것이 아니라, 팀과 조직 단위에서 반복 적용 가능한 형태로 정리하는 데 있다.

2. 에이전트 평가가 어려워지는 지점

원문은 에이전트를 만들 때 무엇이 좋은 결과인지 정의하는 일이 가장 어려운 문제 중 하나라고 말한다. 에이전트는 올바른 도구를 호출했더라도 응답 형식이 좋지 않을 수 있고, 단일 턴 상호작용에서는 잘 작동하지만 여러 턴의 대화에서는 무너질 수 있다. 또한 최종 답변만 평가하는 하나의 평가자로는 검색 에이전트가 적절한 문서를 가져왔는지, 계획 에이전트가 올바른 하위 에이전트에 위임했는지를 확인하기 어렵다. 그래서 개별 단계, 전체 실행 경로, 전체 대화, trace 안의 특정 도구 호출처럼 여러 수준에서 평가가 필요하다는 점을 강조한다.

3. 평가자 템플릿의 범위와 구성

LangSmith는 안전성, 응답 품질, 실행 경로, 사용자 행동 분석, 멀티모달 평가를 포함한 30개 이상의 평가자 템플릿을 제공한다. 안전성과 보안 범주에는 프롬프트 인젝션 탐지, 개인정보 확인, 편향과 유해성 점검이 포함된다. 응답 품질 범주에는 정확성, 유용성, 어조 평가가 포함되며, 실행 경로 범주는 에이전트가 목표에 도달하기 위해 적절한 단계를 밟았는지를 살핀다. 사용자 행동 분석은 언어 분포나 만족 신호를 다루고, 멀티모달 범주는 음성과 이미지 검토를 지원한다.

4. 온라인 평가와 오프라인 평가에서의 활용

평가자 템플릿은 온라인 평가와 오프라인 평가 모두에서 사용할 수 있다. 온라인 평가에서는 프로덕션 트래픽을 분류하는 데 도움이 되며, 프롬프트 인젝션을 감지하거나 예상치 못한 사용자 행동을 표시하고 사람이 검토해야 할 trace를 드러내는 방식으로 쓰인다. 사용자가 수정한 내용을 바탕으로 평가자 프롬프트를 조정하면 다음 평가에서 더 나은 성능을 내도록 개선할 수 있다. 오프라인 평가에서는 데이터셋에 대해 실험을 실행하고, 점수를 확인하고, 실패 사례를 걸러내며, 무엇이 잘못되었는지 이해하는 출발점으로 쓰인다.

5. 재사용 가능한 평가자의 중앙 관리 방식

재사용 가능한 평가자는 이미 잘 작동하는 평가자를 여러 프로젝트에 다시 적용해야 할 때 필요한 기능으로 소개된다. 새로운 Evaluators 탭은 어떤 프로젝트에 연결되어 있든 워크스페이스 안의 모든 평가자를 보여준다. 사용자는 tracing project별로 필터링할 수 있고, 기존 평가자를 새 프로젝트에 몇 초 안에 붙일 수 있다. 조직 전체의 평가 품질을 담당하는 팀은 안전 점검이나 품질 지표를 한 번 정의한 뒤 여러 tracing project에 반복 적용할 수 있으며, 같은 평가자의 복사본을 프로젝트마다 따로 유지할 필요가 줄어든다.

6. 예시와 다음 계획

원문은 프롬프트 인젝션 평가자를 템플릿에서 만든 뒤 재사용 가능한 평가자로 운영하는 예를 든다. 사용자가 템플릿을 바탕으로 평가자 프롬프트를 조정하고 샘플 데이터로 검증한 다음, 성능이 좋다고 판단되면 모든 프로덕션 tracing project에 한곳에서 연결할 수 있다. 이후 프롬프트를 개선하면 그 업데이트가 연결된 곳들에 함께 적용된다. 글의 마지막에서는 평가자 템플릿과 재사용 가능한 평가자가 지금 LangSmith에서 제공된다고 안내하며, 다음 단계로 평가 비용을 추적하고 예산을 설정할 수 있는 spend visibility 기능을 추가할 예정이라고 밝힌다.

🧾 핵심 주장 / 시사점

• 원문이 강조하는 핵심은 최종 답변 평가만으로는 에이전트의 실제 실패 지점을 충분히 찾을 수 없으며, 단계·경로·대화·도구 호출 단위의 평가가 함께 필요하다는 점이다.
• 평가자 템플릿은 초기 구축 시간을 줄이는 출발점이지만, 원문은 실제 데이터로 점수를 확인하고 프롬프트를 조정하는 반복 과정도 계속 중요하다고 설명한다.
• 재사용 가능한 평가자는 조직 전체에서 같은 안전 점검과 품질 기준을 유지하게 해, 평가 로직을 프로젝트마다 복제해 관리하는 부담을 줄이는 기능으로 제시된다.

✅ 액션 아이템

• 에이전트 평가는 최종 답변만 보지 않고 검색·계획·위임·도구 호출까지 포함해 항목을 정의한다.
• 평가자 템플릿을 그대로 사용하거나 맞춤화해 온라인 트래픽 분류 평가와 오프라인 데이터셋 실험 양쪽에 적용한다.
• 재사용 가능한 평가자를 Evaluators 탭에서 중앙 관리하고 tracing project에 빠르게 붙여 안전·품질 지표의 일관성을 유지한다.

❓ 열린 질문

• 최종답변 외 지표의 판단 우선순위는 어떤 기준으로 정할 것인가?
• 동일 템플릿을 온라인과 오프라인에서 동시에 쓸 때 임계치와 대응 규칙은 어떻게 설계할 것인가?
• 어떤 tracing project에 재사용 가능한 평가자를 먼저 붙여야 조직 전체 일관성이 확보될 것인가?