🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangChain Labs는 Fireworks와 함께 Qwen-3.5-35B를 미세조정해 사용자가 에이전트 응답에서 오류를 느꼈는지 판별하는 Trace Judge를 만들었고, 프런티어 모델 수준의 정확도를 유지하면서 최대 100배 저렴한 추론 비용을 보였다고 설명한다.

📌 핵심 요약

• 이 글의 핵심 문제의식은 LangSmith가 매일 처리하는 대규모 프로덕션 트레이스에서 중요한 신호를 프런티어 모델 수준의 성능으로, 동시에 비용 효율적으로 채굴할 수 있는가이다.
• 대상 지표인 ‘Perceived Error’는 객관적 정답 여부나 사용자 만족도가 아니라 사용자가 assistant가 실수했거나 수정이 필요하다고 느낀 흔적을 의미하며, 사용자 정정, 반복 요청, 에이전트 행동 거부, assistant의 오류 인정 같은 신호로 추론된다.
• 데이터셋은 프로덕션에서 쓰이는 chat-langchain과 Fleet 트레이스에서 구성했으며, perceived error 판정에는 AI 응답 뒤의 인간 반응이 중요하다고 보고 멀티턴 트레이스를 선별했다.
• 라벨은 모델 보조 판정과 인간 검토를 조합해 만들었고, 학습에는 chat-langchain 데이터만 사용해 다른 도메인인 Fleet으로 전이되는지 검증했다.
• 실험 결과 미세조정된 Qwen 모델은 두 데이터셋에서 기본 Qwen보다 성능이 개선됐고, Fleet에서는 프런티어 모델들과 같거나 더 나은 수준을 보였으며, 대규모 트레이스 처리에서는 10~100배 수준의 비용 절감 가능성을 제시했다.

🧩 주요 포인트

1. 이 글의 핵심 문제의식은 LangSmith가 매일 처리하는 대규모 프로덕션 트레이스에서 중요한 신호를 프런티어 모델 수준의 성능으로, 동시에 비용 효율적으로 채굴할 수 있는가이다.
2. 대상 지표인 ‘Perceived Error’는 객관적 정답 여부나 사용자 만족도가 아니라 사용자가 assistant가 실수했거나 수정이 필요하다고 느낀 흔적을 의미하며, 사용자 정정, 반복 요청, 에이전트 행동 거부, assistant의 오류 인정 같은 신호로 추론된다.
3. 데이터셋은 프로덕션에서 쓰이는 chat-langchain과 Fleet 트레이스에서 구성했으며, perceived error 판정에는 AI 응답 뒤의 인간 반응이 중요하다고 보고 멀티턴 트레이스를 선별했다.
4. 라벨은 모델 보조 판정과 인간 검토를 조합해 만들었고, 학습에는 chat-langchain 데이터만 사용해 다른 도메인인 Fleet으로 전이되는지 검증했다.
5. 실험 결과 미세조정된 Qwen 모델은 두 데이터셋에서 기본 Qwen보다 성능이 개선됐고, Fleet에서는 프런티어 모델들과 같거나 더 나은 수준을 보였으며, 대규모 트레이스 처리에서는 10~100배 수준의 비용 절감 가능성을 제시했다.

🧠 상세 정리

1. 대규모 트레이스에서 신호를 저렴하게 찾는 문제

글은 LangSmith가 프로덕션 트레이스에서 매일 수십억 토큰을 처리한다는 배경에서 출발한다. 에이전트가 여러 애플리케이션에서 사용되면서, 실제 사용자와의 상호작용을 담은 트레이스는 에이전트 시스템의 행동을 이해하는 핵심 데이터가 된다고 본다. 여기서 제기한 연구 질문은 모든 트레이스에서 중요한 신호를 빠짐없이 채굴하면서도 프런티어 모델 수준의 성능을 유지할 수 있는가이다. 저자들은 이 문제를 풀기 위해 Fireworks와 협력해 사용자 상호작용에서 ‘Perceived Error’를 감지하는 Qwen 기반 judge 모델을 미세조정했다.

2. Perceived Error의 정의와 범위

Perceived Error는 사용자가 assistant가 실수했거나 수정이 필요한 결과를 냈다고 생각하는 상황을 가리킨다. 이는 답변이 객관적으로 맞는지, 또는 사용자가 전반적으로 만족했는지를 평가하는 지표가 아니라고 글은 분명히 구분한다. 예를 들어 에이전트가 맞는 정보를 제공했더라도 사용자가 그 정보 자체에 불만을 느낄 수 있는데, 이런 경우는 에이전트 오류 판단과는 다르다. 저자들은 애플리케이션별 evaluator가 보통 더 적합하다고 보면서도, Perceived Error는 여러 애플리케이션에 공통적으로 나타나는 신호를 포착할 수 있는 일반 목적 evaluator가 될 수 있다고 주장한다.

3. 트레이스에서 오류 인식을 추론하는 신호

모델은 사용자의 명시적 반응과 대화 흐름에서 Perceived Error를 추론하도록 설계됐다. 글에서 언급한 주요 신호는 사용자의 정정, 에이전트 행동의 거부, 같은 요청의 반복, assistant가 오류를 인정하는 발화 등이다. 예시 출력은 perceived_error라는 불리언 값과 그 이유를 담은 짧은 JSON 형태로 제시된다. 이를 통해 트레이스는 단순 로그가 아니라 사용자가 어디에서 문제를 느꼈는지 설명 가능한 메타데이터가 붙은 데이터로 확장된다. 저자들은 이후 실험에서 이 지표가 특정 도메인에만 묶이지 않고 일반화될 수 있는지를 주요 질문으로 삼는다.

4. chat-langchain과 Fleet에서 만든 학습·검증 데이터

데이터는 내부 프로덕션 tracing 데이터셋 두 곳에서 가져왔다. chat-langchain은 LangChain 라이브러리와 제품에 대한 문서 Q&A 에이전트로, 개념 질문, 디버깅 질문, 구현 도움처럼 기술적이고 세부적인 대화가 많다. Fleet은 문서 작성이나 리서치처럼 실제 작업을 수행하는 에이전트를 만드는 노코드 도구로, 사용자가 다양한 작업과 도구 또는 스킬을 호출할 수 있다. 전체 예시는 chat-langchain 885개, Fleet 911개이며 각각 학습과 홀드아웃으로 나뉘었다. 저자들은 AI 결과에 대한 인간의 반응이 필요하다고 보고, perceived error 판정에 적합한 멀티턴 트레이스를 선별했다.

5. 데이터 준비와 라벨 생성 방식

학습과 예측을 위한 입력에는 Human 메시지와 AI 메시지만 포함하고 도구 호출은 제외했다. 저자들은 찾으려는 신호의 주요 정보원이 사람과 AI의 대화 내용이라고 가정했기 때문이며, 이 선택은 향후 실험할 수 있는 조정 지점이라고 설명한다. 긴 콘텐츠도 잘라내지 않고 모든 메시지를 그대로 포함했는데, 이 역시 나중에 바꿔볼 수 있는 레버로 제시된다. 라벨링은 먼저 여러 모델 패널이 트레이스를 판정하고, 의견이 일치하면 이를 정답 라벨로 삼는 방식이었다. 모델들이 불일치하면 라벨과 근거를 다시 다른 모델 패널에 넘기고, 그래도 합의되지 않으면 사람이 직접 주석을 달았다.

6. Qwen-3.5-35B 선택과 Fireworks 기반 미세조정

학습의 기본 모델로는 Qwen-3.5-35B가 선택됐다. 저자들은 몇 가지 소규모 실험을 거친 뒤, 훨씬 작은 모델들은 오류율이 높고 멀티턴 트레이스를 추론하기에 충분히 강하지 않았다고 설명한다. Qwen-3.5-35B는 상대적으로 저렴한 오픈 모델이면서도 미세조정을 통해 프런티어 성능에 접근할 여지가 있는 모델로 평가됐다. 학습은 chat-langchain 데이터만으로 수행했는데, 이는 완전히 다른 도메인인 Fleet 데이터로 전이되는지를 확인하기 위한 의도적 설계였다. 또한 기본 모델의 실패 양상을 보고 입력 프롬프트를 가볍게 최적화했으며, Fireworks의 managed SFT training과 LoRA를 사용했다.

7. 정확도 실험 결과와 프런티어 모델 비교

실험은 미세조정이 baseline judge 품질을 프런티어 모델 수준까지 끌어올리는지, 학습된 judge가 데이터셋을 넘어 전이되는지, 그리고 비용 효율적인지라는 세 질문을 중심으로 구성됐다. 기본 Qwen은 chat-langchain에서 90.5%, Fleet에서 83.2%의 정확도를 보여 좋은 프롬프팅만으로도 강한 출발점이었지만 프런티어 모델에는 뒤처졌다. chat-langchain SFT 모델은 chat-langchain 96.1%, Fleet 90.8%를 기록했고, Fleet SFT 모델은 chat-langchain 92.7%, Fleet 91.3%를 기록했다. 비교 대상으로 제시된 Claude Opus는 각각 91.6%와 90.2%, GPT-5.5는 98.9%와 89.1%였다. 저자들은 LoRA SFT가 기본 모델을 두 데이터셋 모두에서 프런티어 성능에 가깝거나 그 이상으로 끌어올렸다고 해석한다.

8. 도메인 전이, 비용 절감, 향후 방향

초기 결과에서 Fleet은 모든 모델에 더 어려운 데이터셋으로 나타났지만, chat-langchain으로만 미세조정한 모델이 Fleet에서 모든 프런티어 모델보다 높은 성능을 냈다고 글은 강조한다. 이후 Fleet 데이터로 별도 학습한 모델은 chat-langchain SFT 모델보다 Fleet에서 소폭 더 나은 성능을 보였다. 이는 Perceived Error 모델이 다른 도메인으로도 전이되며, 필요하다면 애플리케이션별 트레이스로 추가 미세조정해 성능을 더 끌어올릴 수 있음을 보여주는 결과로 제시된다. 비용 측면에서는 미세조정 모델이 프런티어 정확도에 맞먹으면서도 트레이스 규모와 모델 선택에 따라 10~100배 저렴하게 운용될 수 있다고 설명한다. 저자들은 앞으로 팀들이 자체 agent trace용 evaluator 모델을 만들 수 있도록 좋은 학습 목표와 rubric 설계를 돕는 방향의 연구를 이어가겠다고 말한다.

🧾 핵심 주장 / 시사점

• 이 글에서 가장 중요한 포인트는 judge 모델의 품질 문제가 반드시 더 큰 폐쇄형 모델 호출로만 해결되는 것이 아니라, 잘 정의된 평가 목표와 트레이스 기반 데이터셋, 오픈 모델 미세조정으로도 해결될 수 있다는 점이다.
• Perceived Error를 객관적 정답성이나 만족도와 분리해 정의한 것은 유용하다. 실제 운영에서는 사용자가 무엇을 문제로 인식했는지를 따로 측정해야 에이전트 개선 지점을 더 직접적으로 찾을 수 있기 때문이다.
• chat-langchain에서만 학습한 모델이 Fleet으로 전이된 결과는 이 지표가 특정 제품의 대화 패턴에만 묶이지 않을 가능성을 보여준다. 다만 글 자체도 일반성은 핵심 질문이라고 두고 있으며, 향후 더 많은 애플리케이션과 데이터에서 검증될 필요가 있다.

✅ 액션 아이템

• 기사의 Perceived Error 정의를 기준으로 사용자 정정, 반복 요청, 행동 거부, 오류 인정 신호를 판정 항목으로 일원화한다.
• Qwen-3.5-35B를 chat-langchain 트레이스에 미세조정해 Fleet 전이 데이터에서 프런티어급 성능과 비용 절감 비율을 함께 비교한다.
• 라벨은 모델 보조 판정과 인간 검토를 결합해 멀티턴 반응 맥락을 반영한 학습 데이터셋 기준을 확정한다.

❓ 열린 질문

• 대량 프로덕션 트레이스에서 10~100배 비용 절감이 지속되기 위한 트래픽 가정은 어떤 범위로 둬야 하는가?
• 사용자 반응 신호로 Perceived Error를 추론할 때 오류 인정 표현의 미기록 구간은 어떻게 판단할 것인가?
• chat-langchain 학습 모델의 Fleet 전이 성능 저하를 어디에서 가장 먼저 감지하고 어느 지표로 점검할 것인가?