New in LangSmith Engine: red teaming and automated testing

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith Engine v2는 레드팀 테스트, 비효율·성능 추세 탐지, 수정안 자동 검증을 통해 에이전트 문제의 사전 발견과 수정 과정을 확장한다.

📌 핵심 요약

• LangSmith Engine은 운영 트레이스를 분석해 문제 분류, 근본 원인 진단, 수정안 제안과 지속 모니터링을 수행하며, 5월 출시 이후 7천만 건 이상의 트레이스를 분석하고 수만 건의 문제를 진단했다.
• Engine v2의 Red Teaming은 운영 트레이스와 저장소를 분석해 환각과 시스템 프롬프트 위반 등 아직 운영에서 드러나지 않은 문제를 시험하며, 기존 LangSmith Deployment 사용자에게 Private Beta로 제공된다.
• Engine v2는 잘못되거나 반복적인 도구 호출 등 비효율적인 에이전트 경로를 탐지하고 대안을 제안하며, 오류율·지연 시간·비용의 추세도 추적한다.
• LangSmith Deployment에서 제공되는 수정안 자동 검증은 실패 재현, 변경 제안, 동일 입력 테스트, 결과 평가와 조정을 거쳐 해결이 확인된 수정안을 사용자 검토에 올리며, 기존 사용자 대상 Private Beta 기능이다.
• 발표에 따르면 Engine은 IssueBench 기준 문제 탐지 성능이 2배 넘게, Terminal-Bench 기준 수정안 효과가 25% 개선됐다. Engine v2는 LangSmith Plus·Enterprise의 SaaS 배포에서 이용할 수 있고 Self-Hosted 지원은 곧 제공될 예정이며, 다음 자체 호스팅 릴리스에는 트레이스 데이터를 VPC에 유지하는 BYOK 지원이 예고됐다.

🧩 주요 포인트

1. 운영 트레이스 기반 진단에 Red Teaming을 추가 → 실제 운영에서 문제가 나타나기 전까지 탐지 범위를 확장한다.
2. 비효율적인 에이전트 경로와 오류율·지연 시간·비용 추세를 함께 추적 → 개별 오류뿐 아니라 누적되는 성능·비용 문제도 개선 대상으로 다룬다.
3. 수정안 자동 검증 후 사용자 검토 → 미검증 배포의 위험과 수동 테스트 부담을 줄이려는 접근이며, 현재 적용 범위는 LangSmith Deployment의 Private Beta로 제한된다.

🧠 상세 정리

1. Engine의 역할과 v2의 개선 방향

2026년 9월 24일 발표된 LangSmith Engine v2는 개발자가 버그 대응에 쓰는 시간을 줄이고 새로운 기능 개발에 집중하도록 에이전트 개선 작업의 자동화를 확대한다. Engine은 플랫폼 내부의 에이전트로, 운영 트레이스에서 오류와 충족되지 않은 사용자 요청 등 개선 대상을 찾는다. 발견한 문제를 분류하고 관련 트레이스를 하나로 묶어 근본 원인, 수정안, 평가 데이터셋용 정답 예시와 지속 모니터링을 제공한다. 원문은 대규모 데이터 분석과 코드 작성에 강한 에이전트가 이러한 개발 생애주기 작업에 적합하다고 설명한다. 5월 출시 이후 분석한 트레이스는 7천만 건 이상이고 진단한 문제는 수만 건이며, 이번 버전은 특히 문제 식별과 수정안 제안을 개선하는 데 초점을 맞췄다.

2. Red Teaming을 통한 사전 문제 탐지

Engine v2는 환각이나 시스템 프롬프트 위반이 운영 사용자에게 영향을 주기 전에 찾아내기 위한 Red Teaming을 도입했다. 이 기능은 에이전트의 운영 트레이스와 저장소를 분석해 목적과 동작을 이해하고, 그 맥락을 활용해 취약점을 시험한다. 따라서 이미 발생한 장애를 진단하는 것에서 나아가 아직 운영에서 표면화되지 않은 문제를 식별하는 것이 목표다. 사용자는 향후 실패를 예상하고 대응할 수 있도록 관련성이 있으며 검증된 문제 목록을 받는다. 다만 발표 시점의 제공 범위는 기존 LangSmith Deployment 사용자를 대상으로 한 Private Beta이며, 참여를 원하는 사용자는 베타 신청을 할 수 있다.

3. 비효율적인 경로와 성능 추세의 탐지

원문은 에이전트가 겉으로 정상 작동하더라도 미세한 지연 시간 악화가 사용자를 불편하게 하고 비효율적인 수행 경로가 토큰을 낭비할 수 있다고 지적한다. 이러한 문제는 고객 경험이나 LLM 비용에 영향을 줄 때까지 사람의 검토에서 놓치기 쉽다는 설명이다. Engine v2는 에이전트의 수행 경로를 분석해 특정 작업에서 잘못되거나 반복적인 도구 호출을 하는지 판단하고 더 효율적인 대안을 제안한다. 또한 오류율, 지연 시간, 비용과 같은 주요 지표의 추세를 추적해 개별 실패 외의 성능 변화도 탐지 대상으로 삼는다. 발견된 모든 문제는 같은 대기열에서 추적되므로 사용자는 한곳에서 여러 유형의 문제를 확인하고 해결할 수 있다.

4. 수정안의 자동 재현·테스트·검증

기존 Engine도 수정안을 제안했지만, 사용자는 바로 운영에 배포해 실제 트래픽을 관찰하거나 수동 검토와 오프라인 테스트 후 배포하는 방식을 선택해야 했다. 원문은 전자의 경우 고객 경험을 해칠 위험이 있고 후자는 제품 개발을 늦춘다는 상충 관계를 제시한다. Engine v2는 LangSmith Deployment에서 문제가 된 입력을 다시 실행해 실패를 재현한 뒤 변경 제안, 동일 입력 테스트, 결과 평가와 수정안 조정을 반복한다. 문제가 해결됐다고 확인하면 수정안을 LangSmith의 사용자 검토 대기열에 올리며, 사용자는 클릭 한 번으로 PR을 열어 배포를 진행할 수 있다. 이는 사람의 검토와 배포에 앞서 검증을 수행하는 방식으로, 기존 LangSmith Deployment 사용자에게 Private Beta로 제공된다.

5. 기본 성능 개선과 벤치마크 근거

새 기능 도입과 함께 Engine의 기존 핵심 작업 성능도 지속적으로 개선하고 있다는 것이 발표의 또 다른 축이다. 원문은 영향이 더 큰 문제를 찾고 효과적인 수정안을 만들수록 사용자가 에이전트의 문제를 더 빠르게 해결할 수 있다고 설명한다. 이를 위해 Engine의 하네스, 프롬프트, 기반 모델을 정기적으로 개선하고 내부 및 외부 벤치마크로 성능을 측정한다. 8월에 공유한 결과를 인용해 IssueBench로 측정한 문제 탐지 성능이 2배 넘게 개선됐으며, Terminal-Bench로 측정한 수정안 효과는 25% 향상됐다고 밝혔다. 이 수치는 해당 벤치마크에 근거한 발표 내용이며, 본문에는 비교 기준의 상세 조건이나 모든 운영 환경에서의 동일한 개선을 입증하는 결과가 제시되지는 않는다.

6. 제공 범위와 자체 호스팅 BYOK 계획

Engine v2는 발표 시점에 모든 LangSmith Plus 및 Enterprise 플랜의 SaaS 배포에서 이용할 수 있으며, Self-Hosted 플랜 지원은 곧 제공될 예정이다. Plus 사용자는 몇 번의 클릭으로 Engine을 활성화할 수 있고 Enterprise 사용자는 담당 계정 팀을 통해 이용을 시작할 수 있다고 안내한다. 엄격한 데이터 정책 때문에 LangSmith를 자체 호스팅하는 팀을 위해서는 다음 자체 호스팅 릴리스에서 Engine의 BYOK를 지원할 계획이다. 이 방식은 팀이 자체 모델 API 키로 Engine의 추론을 구동하면서 트레이스 데이터는 VPC 안에 유지하도록 한다. BYOK의 추가 세부 사항은 다음 자체 호스팅 릴리스와 함께 공개할 예정이므로, 현재 제공되는 SaaS 기능과 향후 제공 계획을 구분해 이해할 필요가 있다.

🧾 핵심 주장 / 시사점

• Red Teaming은 기존의 운영 트레이스 기반 진단을 보완하며, Engine의 역할을 발생한 문제의 분석에서 잠재적 실패의 사전 탐지까지 넓힌다.
• 비효율적인 경로와 성능 추세를 탐지 대상으로 포함한 것은 에이전트 품질을 요청의 성공 여부뿐 아니라 처리 시간과 비용까지 고려해 개선하려는 방향을 보여준다.
• 수정안 자동 검증은 사용자 검토 전에 반복 테스트를 수행한다는 점에서 개발 부담을 줄일 가능성이 있지만, 본문이 설명하는 검증은 문제가 된 입력의 재시험을 중심으로 한다.

✅ 액션 아이템

• 기존 LangSmith Deployment 사용자는 Red Teaming과 수정안 자동 검증의 Private Beta 적용 가능성을 검토한다.
• 비효율적인 에이전트 경로와 오류율·지연 시간·비용 추세를 에이전트 개선 대상으로 검토한다.
• LangSmith Plus·Enterprise의 SaaS 이용 가능 범위와 Self-Hosted 지원 예정 상태, BYOK 계획을 도입 판단에 반영한다.

❓ 열린 질문

• Red Teaming은 아직 운영에서 드러나지 않은 환각과 시스템 프롬프트 위반을 어느 범위까지 탐지할 수 있는가?
• 수정안 자동 검증에서 동일 입력으로 해결을 확인한 결과는 다른 입력에서의 성능 유지도 보장하는가?
• Engine v2의 Self-Hosted 지원과 BYOK는 구체적으로 언제 이용할 수 있는가?