🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith의 pairwise evaluation은 정답이 하나로 정해지기 어려운 LLM 생성·채팅 과제에서 두 후보 답변을 직접 비교해 사람 선호에 가까운 평가를 가능하게 하는 기능이다.

📌 핵심 요약

• 글은 LLM 애플리케이션 개발에서 모델 출력 평가가 중요하지만, 채팅이나 글쓰기처럼 사람의 선호가 핵심인 작업은 고정된 규칙이나 단일 점수로 평가하기 어렵다는 문제에서 출발한다.
• Pairwise evaluation은 같은 입력에 대한 두 개의 LLM 응답을 나란히 비교해 어느 쪽이 기준에 더 잘 맞는지 고르는 방식이며, RLHF와 Chatbot Arena 같은 사례를 통해 이미 LLM 정렬과 벤치마킹에서 널리 쓰이고 있다.
• LangSmith는 사용자가 원하는 기준을 담은 맞춤형 LLM-as-a-judge 평가자를 정의하고, 이미 실행된 두 실험의 생성 결과를 직접 비교할 수 있는 pairwise evaluation 기능을 추가했다.
• 기존 comparison view는 각 실행 결과를 독립적으로 채점한 뒤 점수를 비교하는 반면, pairwise evaluation은 두 결과를 동시에 보고 한 쌍에 대한 선호 점수를 산출한다는 점에서 다르다.
• 논문 요약 트윗 생성 사례에서 독립 기준 평가는 여러 모델에 같은 만점이 나와 차이를 구분하지 못했지만, 맞춤형 pairwise evaluator는 모델 간 선호를 더 명확히 드러냈다.

🧩 주요 포인트

1. 글은 LLM 애플리케이션 개발에서 모델 출력 평가가 중요하지만, 채팅이나 글쓰기처럼 사람의 선호가 핵심인 작업은 고정된 규칙이나 단일 점수로 평가하기 어렵다는 문제에서 출발한다.
2. Pairwise evaluation은 같은 입력에 대한 두 개의 LLM 응답을 나란히 비교해 어느 쪽이 기준에 더 잘 맞는지 고르는 방식이며, RLHF와 Chatbot Arena 같은 사례를 통해 이미 LLM 정렬과 벤치마킹에서 널리 쓰이고 있다.
3. LangSmith는 사용자가 원하는 기준을 담은 맞춤형 LLM-as-a-judge 평가자를 정의하고, 이미 실행된 두 실험의 생성 결과를 직접 비교할 수 있는 pairwise evaluation 기능을 추가했다.
4. 기존 comparison view는 각 실행 결과를 독립적으로 채점한 뒤 점수를 비교하는 반면, pairwise evaluation은 두 결과를 동시에 보고 한 쌍에 대한 선호 점수를 산출한다는 점에서 다르다.
5. 논문 요약 트윗 생성 사례에서 독립 기준 평가는 여러 모델에 같은 만점이 나와 차이를 구분하지 못했지만, 맞춤형 pairwise evaluator는 모델 간 선호를 더 명확히 드러냈다.

🧠 상세 정리

1. LLM 출력 평가에서 드러나는 사람 선호의 어려움

글은 LLM 애플리케이션 개발에서 모델 출력 평가가 핵심 과제라는 점을 먼저 짚는다. 특히 채팅이나 글쓰기처럼 결과의 품질이 사람의 선호에 크게 좌우되는 작업은, 단순한 규칙 집합으로 좋은 답변과 덜 좋은 답변을 명확히 나누기 어렵다. 그래서 여러 후보 답변을 직접 비교하는 pairwise evaluation이 사람의 선호를 모델 평가에 반영하는 더 효과적인 접근이 될 수 있다고 설명한다. LangSmith의 새 기능 소개도 이 문제의식, 즉 모호하고 주관적인 생성 결과를 어떻게 더 실용적으로 평가할 것인가에서 출발한다.

2. Pairwise evaluation의 배경과 기존 활용 사례

Pairwise evaluation은 이미 LLM 성능 테스트와 벤치마킹 논의에서 중요한 역할을 해 온 방식으로 소개된다. RLHF에서는 인간 트레이너가 같은 입력에 대한 두 LLM 응답을 보고, 유용성·정보성·안전성 같은 기준에 더 잘 맞는 답변을 선택한다. Chatbot Arena도 비슷하게 익명의 두 모델 출력을 사용자에게 보여주고 더 나은 쪽을 고르게 한다. 글은 이러한 방식이 공개 벤치마크와 LLM 정렬에서는 익숙하지만, 많은 사용자가 자신의 LLM 애플리케이션 개선을 위해 맞춤형 pairwise evaluation을 어떻게 적용할지는 잘 모를 수 있다고 지적한다.

3. LangSmith의 pairwise evaluators 기능

LangSmith의 pairwise evaluation은 사용자가 원하는 기준을 담은 맞춤형 LLM-as-a-judge 평가자를 정의하고, 이 평가자를 이용해 두 LLM 생성 결과를 비교하도록 설계되어 있다. 사용자는 LangSmith의 Datasets and Testing 탭에서 Pairwise Experiments라는 새 하위 영역을 통해 이러한 비교 실험을 확인할 수 있다. 이 기능의 핵심은 단순히 실행 결과를 나열하는 것이 아니라, 특정 기준을 기준으로 두 응답 중 어느 쪽이 더 선호되는지 평가한다는 데 있다. 따라서 공개 벤치마크에서 쓰이던 쌍대 비교 아이디어를 개별 LLM 앱 개발 워크플로에 끌어오는 기능으로 제시된다.

4. 기존 comparison view와의 차이

글은 pairwise evaluation이 기존 comparison view와 비슷한 목적을 갖지만 구현 방식은 분명히 다르다고 설명한다. 기존 comparison view는 회귀 테스트를 위해 두 실행 결과를 비교하되, 각 run을 독립적으로 평가한 뒤 점수를 나중에 비교하는 방식이었다. 예를 들어 각 실행에 1점부터 10점까지의 점수를 따로 매기고, 어느 실행이 더 높은 점수를 받았는지 확인하는 식이다. 반면 pairwise evaluation은 두 결과를 동시에 보고 평가자가 명시적으로 두 답변을 비교하게 하며, 각 run의 개별 점수가 아니라 그 쌍 자체에 대한 선호 점수를 산출한다.

5. 논문 요약 트윗 생성 사례에서 드러난 한계

LangSmith 팀은 콘텐츠 생성과 관련된 예시로, 학술 논문을 흥미로운 트윗으로 요약하는 작업을 제시한다. 이 사례에서는 10개의 논문으로 구성된 데이터셋을 만들고, 4개의 서로 다른 LLM으로 요약 트윗을 생성했다. 단일한 정답 요약이 존재하지 않기 때문에, 처음에는 이모지 사용이나 흥미로운 제목 같은 기준을 포함한 criteria evaluator를 사용해 요약 트윗을 1점부터 5점까지 평가했다. 그러나 그 결과 4개 모델 중 3개가 summary_engagement_score에서 만점을 받아, 독립적인 기준 평가만으로는 모델 간 차이를 충분히 구분하지 못하는 문제가 드러났다.

6. 맞춤형 pairwise 평가자의 적용과 결론

글은 LangSmith SDK에서 evaluate_comparative를 사용해 이미 데이터셋에서 실행된 두 실험을 맞춤형 pairwise evaluator로 비교하는 흐름을 보여준다. 사용자는 제목, 불릿 포인트 등 자신이 중요하게 보는 기준을 담은 pairwise evaluation prompt를 정의하고, 두 실험 결과에 대해 어느 트윗 요약이 더 매력적인지 평가할 수 있다. LangSmith UI의 Pairwise Experiments 탭에서는 모든 쌍대 평가 결과를 확인하고, 각 답변 중 어느 생성물이 선호되었는지 색상과 표시를 통해 살펴볼 수 있다. 글의 결론은 정답이 하나로 고정되지 않는 텍스트 생성이나 채팅 작업에서는 사람 또는 LLM이 더 나은 응답을 고르는 pairwise evaluation이 강력한 평가 방법이며, 독립 기준 평가가 놓치는 모델 간 선호 차이를 드러낼 수 있다는 것이다.

🧾 핵심 주장 / 시사점

• 정답 기반 평가가 어려운 생성형 작업에서는 개별 점수보다 두 결과를 직접 비교하는 방식이 더 뚜렷한 판단 신호를 줄 수 있다.
• criteria evaluator가 여러 모델에 같은 높은 점수를 주는 상황은 평가 기준이 너무 관대하거나 변별력이 부족하다는 신호일 수 있으며, pairwise evaluation이 이를 보완할 수 있다.
• LangSmith의 pairwise evaluation은 평가 프롬프트, SDK 실행, UI 추적을 연결해 모델 선택과 프롬프트 개선을 더 실험 중심으로 진행하게 해 준다.

✅ 액션 아이템

• 고정 점수의 기존 comparison view로는 분리되지 않은 편차를 줄 세우기 위해, 같은 입력의 두 응답을 동시에 보고 선호 점수를 산출한다.
• LangSmith에서 사용자 맞춤형 LLM-as-a-judge를 정의해 채팅·작성 과제의 선호 판단 기준을 시스템에 반영한다.
• 독립 점수화에서 동점이 자주 나는 구간은 pairwise 결과를 우선해 모델 간 선호 우위를 가시화하고 선택 근거로 둔다.

❓ 열린 질문

• 같은 입력의 두 응답을 비교할 때 선호 판단 기준은 정확성·문체·유용성 중 무엇을 최우선으로 둘 것인가?
• LangSmith의 맞춤형 pairwise evaluator가 RLHF나 Chatbot Arena 정렬·벤치마크 방식과 실제로 동일한 가정으로 동작하는가?
• 독립 비교에서 동점이 반복될 때, pairwise 반복 횟수는 어느 수준에서 모델 간 미세 차이를 신뢰성 있게 구분할 수 있는가?