Why we rebuilt LangSmith around the agent
Quick Summary
LangChain은 여러 환경에서 실행되는 같은 에이전트의 기록을 하나의 ID로 묶어, 개발자는 변경 효과를 비교하고 플랫폼 팀은 비용·품질·담당자를 파악할 수 있도록 LangSmith를 개편했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
LangChain은 여러 환경에서 실행되는 같은 에이전트의 기록을 하나의 ID로 묶어, 개발자는 변경 효과를 비교하고 플랫폼 팀은 비용·품질·담당자를 파악할 수 있도록 LangSmith를 개편했다.
📌 핵심 요약
- LangChain은 2026년 11월 16일 글에서 기업가치 30억 달러에 3억 달러 규모의 시리즈 C 투자를 유치했다고 밝히고, 전주에 공개한 LangSmith Agent Platform의 개편 배경을 설명했다.
- 에이전트 레코드에는 담당자, 전역에서 고유하고 변경할 수 없는 ID, 에이전트 유형이 기록된다. 로컬·개발·스테이징·프로덕션 환경이 같은 ID 아래 묶여 환경 간 성능을 비교할 수 있다.
- 개발자는 LangSmith Studio에서 에이전트를 만들거나 기존 런타임을 유지할 수 있다. LangSmith에 실행 추적 데이터를 보내면 평가와 모니터링 기능을 쓸 수 있고, LangSmith Agent Server를 쓰면 Engine으로 수정안을 프로덕션 반영 전에 검증할 수 있다.
- 현재 지원하는 유형은 범용 에이전트와 코딩 에이전트다. 코딩 에이전트는 GitHub를 연결해 병합된 풀 리퀘스트(PR), 즉 코드 변경이 실제로 반영된 결과를 확인하고 토큰 비용과 함께 살펴볼 수 있다.
- OpenTelemetry Protocol(OTLP)을 지원하는 외부 플랫폼의 에이전트도 등록해 담당자와 비용·품질을 확인할 수 있다. 중앙 대시보드는 현재 워크스페이스 단위로 제공되며, 조직 단위 대시보드와 음성 에이전트 유형, ID 공급자 연동은 향후 계획이다.
🧩 주요 포인트
- 환경이 달라도 에이전트 ID가 유지되므로, 개발자는 같은 에이전트의 변경 전후 성능을 추적하고 플랫폼 팀은 비용 변동을 담당자에게 확인할 수 있다.
- 에이전트 유형이 평가 기준과 데이터 연결을 결정하므로, 같은 유형끼리는 일관되게 비교하면서 코딩 에이전트에는 병합된 PR처럼 업무 성과에 맞는 지표를 적용할 수 있다.
- 실행 환경과 관리 기능을 독립적으로 선택할 수 있어, 팀은 기존 런타임을 유지하면서 LangSmith의 평가·거버넌스 기능을 도입할 수 있다.
🧠 상세 정리
1. 에이전트가 늘면서 개발 기록과 책임 소재가 흩어졌다
LangChain의 Sam Crowder는 2026년 11월 16일 글에서 새 실행 도구와 모델, 개발 방식이 복잡하고 가치가 큰 업무를 안정적으로 수행할 수 있게 되면서 그해 에이전트 도입 양상이 달라졌다고 설명했다. 엔지니어링 팀은 코딩 에이전트를, 제품 팀은 고객용 에이전트를, 여러 부서는 내부 생산성 에이전트를 사용하면서 프레임워크와 실행 환경도 다양해졌다. 개발자는 실행 기록을 추적하고 상태를 모니터링하고 변경 사항을 배포할 때마다 다른 화면으로 이동해야 했고, 그 과정에서 품이 많이 드는 평가 작업을 건너뛰기도 했다. 플랫폼 팀은 어떤 에이전트가 존재하는지부터 비용이 급증했을 때 누구에게 물어야 하는지까지 파악하기 어려웠다. 회사는 전주에 시리즈 C 투자 유치와 함께 공개한 LangSmith Agent Platform에서 에이전트 하나를 개발과 관리의 공통 단위로 삼았다.
2. 빌드부터 운영·개선·관리까지 이어지는 레코드
개발자는 LangSmith Studio의 자연어 빌더로 원하는 에이전트를 설명하거나, LangChain의 오픈소스 실행 도구 또는 다른 프레임워크로 직접 코드를 작성할 수 있다. 배포할 때는 LangSmith Agent Server를 선택하거나 이미 사용 중인 런타임에서 계속 실행할 수 있다. 어느 쪽이든 LangSmith로 실행 추적 데이터를 보내면 해당 에이전트에 추적, 평가, 데이터셋, 주석 작성, Engine 기능을 적용할 수 있다. 관리자는 에이전트 레지스트리와 LLM Gateway를 통해 등록된 에이전트의 현황을 파악하고 조직 차원의 통제를 적용한다. 개발자가 개별 레코드를 열면 그 에이전트의 실행 기록, 평가, Agent Server, Engine이 발견한 문제에 한 번의 클릭으로 접근할 수 있다.
3. 프로젝트별 실행 기록을 에이전트 ID로 연결
개편 전 LangSmith는 실행 추적 데이터를 개별 프로젝트에 저장했고, 각 프로젝트가 어느 에이전트에 속하는지 나타내는 연결 관계가 없었다. 같은 에이전트를 개발 환경과 프로덕션에서 실행해도 두 환경에서 수집된 기록을 함께 살펴보기 어려웠던 이유다. 새 데이터 모델은 특정인을 담당자로 지정하고, 전역에서 고유하며 변경할 수 없는 ID를 부여하고, 에이전트가 수행하는 일에 따라 유형을 기록한다. 로컬·개발·스테이징·프로덕션 환경과 각 환경의 실행 기록이 이 ID 아래 모이므로 개발자는 수정 이후 성능이 어떻게 달라졌는지 비교할 수 있다. LangSmith에서 빌드와 실행까지 하는 팀에 대해서는, 프로덕션에 변경 사항을 병합하기 전에 Engine이 Agent Server의 미리보기 환경에서 수정안을 검증하는 사례를 제시했다.
4. 업무 유형에 맞춘 평가 기준과 GitHub 연동
LangChain은 코딩 에이전트가 작성한 코드가 실제로 병합됐는지와 고객 지원 에이전트가 얼마나 빨리 응답하는지는 서로 다른 성과 기준이라고 설명한다. 현재 제공되는 범용 에이전트 화면에는 에이전트 설명, 최근 활동, 온라인 모니터링 결과, 자주 쓰는 모델과 도구, Engine이 발견한 실패가 표시된다. 코딩 에이전트 화면에는 병합된 PR, 토큰 비용, 수행한 작업의 종류가 표시되며, GitHub 저장소를 연결하면 에이전트가 만든 코드가 이후 어떻게 처리됐는지 추적할 수 있다. 유형을 지정하면 대시보드와 평가 기준이 정해져 있어 사용자가 먼저 맞춤 화면을 만들 필요가 없다. 회사는 세 사람이 각각 코딩 에이전트를 운영하더라도 같은 기준으로 결과를 비교할 수 있다는 점을 예로 들었다.
5. 외부 플랫폼에서 실행되는 에이전트의 비용과 담당자
조직이 관리해야 할 에이전트에는 엔지니어링 팀이 직접 만든 것 외에도 사업 부서가 공급업체를 통해 도입한 것과 직원이 개별적으로 쓰기 시작한 것이 있다. 글은 IT 부서에서 사용하는 ServiceNow, 기업 검색에 쓰는 Glean, 직원이 선택한 코딩·생산성 에이전트를 예로 들며, 모든 팀의 실행 플랫폼을 통일하기는 어렵다고 설명한다. LangSmith는 OpenTelemetry Protocol(OTLP)을 지원하는 플랫폼에서 실행되는 에이전트도 연결해 자체 개발한 에이전트와 함께 등록할 수 있다. 관리자는 각 레코드에서 담당자와 유형을 파악하고 여러 환경의 비용과 품질 지표를 에이전트별로 모아 볼 수 있다. 가령 Glean 에이전트의 비용이 급증했다면 등록된 담당자에게 경위를 묻고 실행 기록에서 원인을 살필 수 있다는 것이 회사가 제시한 예다.
6. 검토한 운영 사례를 평가와 모델 개선에 재사용
LangChain이 다음 단계로 제시한 구상은 운영 중에 발견한 문제와 그 수정 결과를 같은 에이전트 레코드에서 계속 추적하는 것이다. 예를 들어 Engine이 에이전트를 시험해 실패를 찾고, 팀이 수정 사항을 배포하면 같은 문제가 다시 나타나는지 모니터링하는 흐름을 설명했다. 팀은 자체 검토 절차에 맞춘 주석 앱에서 프로덕션 실행 기록을 살펴보고, 검토를 마친 사례가 평가 데이터셋에 자동으로 반영되도록 할 수 있다. 성과가 좋았던 실행 과정은 모델 미세조정에 활용해 비용 절감과 성능 향상을 도모하고, 그 결과를 같은 레코드에서 실시간 핵심성과지표로 확인한다는 구상이다. 회사는 이 흐름을 구성하는 개별 기능은 이미 제공하고 있으며, 이들을 서로 연결하는 작업을 진행 중이라고 밝혔다.
7. 현재 이용 범위와 조직 단위 관리 계획
새 LangSmith는 전 세계에서 클라우드, 고객의 클라우드 환경에 배포하는 BYOC, 자체 호스팅 방식으로 제공되며, 사용자는 Studio에서 첫 에이전트를 만들거나 이미 운영 중인 에이전트를 연결해 시작할 수 있다. 현재 제공하는 범용·코딩 유형에 이어 회사가 예고한 유형은 음성 에이전트다. 고객 문제를 해결했는지와 함께 응답 지연과 음질도 살펴야 한다는 점을 유형별 분석이 필요한 이유로 들었다. 중앙 대시보드는 현재 워크스페이스 단위로 제공되고, 여러 워크스페이스에 걸친 전사 성능 지표와 추세를 한 화면에 모으는 조직 단위 대시보드는 개발 중이다. 각 에이전트에는 이미 변경할 수 없는 고유 ID가 있으며, 앞으로는 조직이 사용하는 ID 공급자에 에이전트를 등록해 보안 팀이 다른 조직 내 ID와 마찬가지로 관리하고 감사할 수 있도록 할 계획이다.
🧾 핵심 주장 / 시사점
- 개발 환경에서 검증한 변경이 프로덕션에서 어떤 결과를 냈는지 살펴보려면 두 환경의 기록이 같은 에이전트에 속한다는 사실을 알아야 한다. 변경되지 않는 ID가 그 연결을 유지한다.
- 코딩 에이전트의 토큰 비용과 병합된 PR을 함께 보면 자원 소비와 실제 코드 반영 결과를 함께 살필 수 있다. 유형별 데이터 연결이 평가의 범위를 넓히는 사례다.
- 비용을 에이전트별로 집계하고 담당자를 같은 레코드에 두면, 플랫폼 팀은 외부 서비스에서 발생한 비용 변동도 해당 에이전트의 운영 맥락을 아는 사람에게 확인할 수 있다.
✅ 액션 아이템
- 같은 에이전트 ID에 연결된 개발·스테이징·프로덕션 환경의 성능을 비교해 변경 효과를 확인한다.
- 코딩 에이전트의 GitHub 기록에서 병합된 PR을 확인하고 토큰 비용과 함께 살펴본다.
- 외부 플랫폼의 OTLP 지원 여부를 확인하고, 등록된 에이전트의 비용 변동을 담당자와 검토한다.
❓ 열린 질문
- 같은 에이전트 ID로 비교했을 때 개발 환경에서 관찰한 성능 변화가 프로덕션에서도 나타나는가?
- 코딩 에이전트별로 병합된 PR과 토큰 비용을 함께 보면 어떤 차이가 나타나는가?
- 현재 워크스페이스 단위로 볼 수 있는 성능 지표를 조직 단위 대시보드에서는 언제부터 모아 볼 수 있는가?