Catch production failures early with LangSmith Alerts
Quick Summary
LangChain은 운영 중인 LLM 앱과 에이전트의 장애와 응답 품질 저하를 조기에 파악할 수 있도록 LangSmith Alerts를 출시했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
LangChain은 운영 중인 LLM 앱과 에이전트의 장애와 응답 품질 저하를 조기에 파악할 수 있도록 LangSmith Alerts를 출시했다.
📌 핵심 요약
- LangChain은 2025년 4월 22일 LangSmith Alerts 출시를 발표했다. 이미 LangSmith에 운영 트레이스를 보내는 사용자는 첫 알림을 바로 설정할 수 있었다.
- 출시 당시 지원한 알림 지표는 오류 건수, 오류율, 평균 지연 시간, 평균 피드백 점수였다. 피드백 점수는 사용자 피드백이나 온라인 평가에서 얻을 수 있다.
- 모델 제공업체나 외부 도구의 장애, 요청 한도, 응답 지연은 사용자 경험에 영향을 준다. 통제된 평가에서 좋은 결과를 낸 프롬프트도 실제 사용자와의 상호작용에서는 품질이 떨어질 수 있다.
- 모델, 도구 호출, 실행 유형으로 알림 대상을 좁히고 5분 또는 15분의 집계 구간과 임곗값을 설정할 수 있다. 알림은 PagerDuty로 보내거나 사용자 지정 웹훅을 통해 Slack 채널 등으로 전달할 수 있다.
- LangChain은 실행 건수와 LLM 토큰 사용량에 대한 알림, 상대 변화율에 따른 알림, 사용자 지정 집계 구간을 향후 계획으로 제시했다. 지연 시간 25% 급증은 상대 변화율 알림의 예시였다.
🧩 주요 포인트
- 외부 서비스 문제는 실행 오류나 응답 지연으로 나타날 수 있어 오류율과 평균 지연 시간이 조기 경보 지표가 된다.
- 실제 사용 환경에서는 평가 때와 다른 응답이 나올 수 있어 평균 피드백 점수가 운영 중 품질 저하를 알아차리는 신호가 된다.
- 모델·도구 호출·실행 유형 필터는 감시 범위를 정하고, 집계 구간과 임곗값은 그 범위에서 알림이 얼마나 민감하게 반응할지 정한다.
🧠 상세 정리
1. 운영 트레이스와 외부 서비스 장애
LangChain은 사용자가 문제를 겪기 전에 이상 징후를 발견할 수 있도록 2025년 4월 22일 LangSmith Alerts 출시를 발표했다. 에이전트는 하나 이상의 모델 제공업체와 API, 웹 검색 서비스, 데이터베이스 같은 도구에 의존할 수 있다. 이 가운데 한 곳에서 장애가 발생하거나 요청 한도에 걸리거나 응답이 늦어지면 에이전트를 사용하는 사람도 영향을 받는다. 이미 운영 트레이스를 LangSmith로 보내던 사용자는 오류 건수와 오류율, 평균 지연 시간에 알림을 설정해 이런 문제의 징후를 살필 수 있었다.
2. 실제 사용 환경에서 드러나는 응답 품질 저하
응답이 빠르게 돌아와도 사용자가 받은 결과의 품질과 정확성은 떨어질 수 있다. LangChain은 프롬프트나 모델, 입력이 조금만 달라져도 LLM의 결과가 예상 밖으로 바뀔 수 있다고 설명했다. 통제된 평가에서 좋은 성과를 낸 프롬프트조차 실제 사용자가 평가 때와 다른 방식으로 상호작용하면 성능이 떨어질 수 있다. LangSmith Alerts는 사용자 피드백이나 온라인 평가에서 얻은 점수를 집계하고, 평균 피드백 점수가 설정한 기준에 이르면 알림을 보내 이런 품질 변화를 일찍 알아차릴 수 있게 한다.
3. 알림 대상과 민감도 설정
알림을 설정할 때는 먼저 지표를 고르고 해당 지표를 집계할 실행의 범위를 정한다. 예를 들어 오류율을 살필 때 특정 모델을 사용한 실행만 고를 수 있으며, 도구 호출이나 실행 유형을 기준으로 범위를 좁힐 수도 있다. 이어서 선택한 실행의 지표를 5분 또는 15분 동안 집계하고 알림을 보낼 임곗값을 정한다. 이렇게 집계 구간과 임곗값으로 민감도를 조정한 뒤에는 알림을 PagerDuty에 연결하거나 사용자 지정 웹훅으로 기존 Slack 채널에 직접 보낼 수 있다.
4. 상대 변화율 알림과 향후 확장 계획
LangChain은 출시 당시 제공한 지표에 더해 실행 건수와 LLM 토큰 사용량에도 알림을 설정할 수 있도록 지원할 계획이라고 밝혔다. 지표가 상대적으로 얼마나 달라졌는지를 기준으로 알림을 보내는 기능도 계획에 포함했다. 글에서 든 지연 시간 25% 급증은 이 기능을 어떻게 쓸 수 있는지 보여 주는 예시다. 집계 구간 역시 당시 제공하던 5분과 15분 외에 사용자가 직접 지정할 수 있도록 확장할 계획이었다. 구체적인 출시 일정은 밝히지 않았으며, 의견과 기능 요청은 LangChain Slack 커뮤니티를 통해 받는다고 안내했다.
🧾 핵심 주장 / 시사점
- 오류율과 평균 지연 시간은 실행 과정의 이상을 드러내고, 평균 피드백 점수는 실행이 끝난 뒤 사용자가 받은 응답의 품질을 살피는 데 쓰인다.
- 같은 지표라도 특정 모델이나 도구 호출로 범위를 좁히면 해당 실행에서 나타나는 변화를 따로 관찰할 수 있다.
- 지연 시간 25% 급증처럼 변화 폭을 기준으로 삼는 기능은 당시의 임곗값 설정에서 한 걸음 더 나아간 확장 계획이었다.
✅ 액션 아이템
- LangSmith에 운영 트레이스를 보내는 앱에서 오류율과 평균 지연 시간 알림을 설정한다.
- 사용자 피드백이나 온라인 평가에서 얻은 평균 피드백 점수에 품질 저하를 감지할 임곗값을 정한다.
- 모델, 도구 호출, 실행 유형으로 감시 범위를 정하고 5분 또는 15분의 집계 구간을 선택한 뒤 PagerDuty나 사용자 지정 웹훅으로 알림을 연결한다.
❓ 열린 질문
- 어떤 모델이나 도구 호출의 오류율과 평균 지연 시간을 별도로 살펴야 할까?
- 실제 사용 환경의 품질 저하를 알아차리려면 평균 피드백 점수의 임곗값을 어느 수준으로 정해야 할까?
- 운영 중인 앱에서 원하는 알림 민감도에는 5분 또는 15분 중 어느 집계 구간이 적합할까?