LangSmith for Coding Agents: Now track spend by outcome
Quick Summary
LangSmith for Coding Agents는 코딩 에이전트의 지출을 풀 리퀘스트(PR)와 연결해 병합된 PR 한 건의 비용을 보여주고, PR로 이어지지 않은 작업도 살펴볼 수 있게 했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
LangSmith for Coding Agents는 코딩 에이전트의 지출을 풀 리퀘스트(PR)와 연결해 병합된 PR 한 건의 비용을 보여주고, PR로 이어지지 않은 작업도 살펴볼 수 있게 했다.
📌 핵심 요약
- LangChain은 2026년 11월 18일, LangSmith Cloud에서 LangSmith for Coding Agents를 퍼블릭 베타로 제공한다고 발표했다. 코딩 에이전트의 추적 기록은 기존 LangSmith 추적 사용량에 포함된다.
- 새로운 ‘성과(outcomes)’ 기능은 작업 스레드와 GitHub 풀 리퀘스트 또는 GitLab 머지 리퀘스트를 연결한다. 한 스레드가 여러 PR을 열거나 여러 스레드가 한 PR에 기여하는 경우도 반영한다.
- 대시보드는 열린 PR, 병합 없이 닫힌 PR, 병합된 PR의 비용을 구분한다. PR에 연결되지 않은 비용은 ‘미귀속 지출’로 표시하며, 해당 스레드를 열어 코드 리뷰나 문제 조사에 쓰였는지 확인할 수 있다.
- Claude Code, OpenAI Codex, Cursor, VS Code의 GitHub Copilot, 자체 코딩 에이전트를 구축하는 팀을 위한 Deep Agents를 지원한다. 여러 에이전트의 지출과 PR 성과를 한 화면에서 집계한다.
- 팀은 모델 변경 전후의 병합된 PR당 비용을 비교하고, 비용이 큰 PR에서 사용한 모델과 대화 내용을 확인할 수 있다. 대화 길이별 비용, 작업 유형별 지출 비중, 스킬이 호출된 스레드도 살펴볼 수 있다.
🧩 주요 포인트
- 스레드와 PR의 다대다 연결 → 여러 세션에 걸쳐 완성한 코드 변경도 PR 단위로 비용 파악
- PR 상태와 작업 유형의 병행 분석 → 병합을 기다리는 변경과 자체 PR 없이 끝난 코드 리뷰·문제 조사의 지출 구별
- 모델·대화 길이·스킬별 지표에서 원래 스레드로 이동 → 유사한 작업의 비용 차이를 설명하고 팀에 공유할 사례 확인
🧠 상세 정리
1. 사용량만으로 답하기 어려웠던 투자 효과
LangChain은 2026년 기업의 AI 애플리케이션 지출 중 코딩이 가장 큰 분야였으며, 그 규모가 340억 달러에 이르렀다고 소개했다. 글쓴이 Jacob Lee에 따르면 많은 엔지니어링 책임자는 팀이 AI를 얼마나 사용했는지는 알아도 그 지출로 어떤 결과물을 얻었는지 정확히 답하기 어렵다. 사용자와 팀별 소비량을 집계해도 토큰이 어떤 작업에 쓰였고 어떤 코드 변경으로 이어졌는지까지는 드러나지 않기 때문이다. LangChain 역시 자체 코딩 에이전트 Robin의 비용이 늘면서 같은 어려움을 겪었고, 이를 모델 라우터를 만든 이유 중 하나로 들었다. 이번 발표에서 회사가 제시한 투자 효과 분석의 출발점은 에이전트 예산을 팀이 실제로 병합한 코드 변경과 연결하는 것이다.
2. 스레드와 코드 변경을 연결하는 ‘성과’
LangSmith Agent Platform은 에이전트마다 개별 기록을 두고, 에이전트 유형에 따라 대시보드에 표시할 지표와 연결할 데이터, 평가 방식을 정한다. 코딩 에이전트는 첫 번째 특화 유형으로, 에이전트가 유용한 작업을 했는지 판단하는 신호 중 하나로 PR을 사용한다. 새로 도입한 ‘성과(outcomes)’는 작업 대화가 담긴 스레드를 GitHub의 풀 리퀘스트나 GitLab의 머지 리퀘스트와 연결하고, 각 추적 기록의 비용을 에이전트가 기여한 PR에 자동으로 귀속한다. 한 스레드에서 여러 PR을 열 수도 있고, 반대로 하나의 PR을 완성하기까지 여러 스레드가 필요할 수도 있다. 팀은 이 관계를 따라 특정 PR에 기여한 대화를 찾아보고, 여러 세션에서 진행된 작업의 비용을 코드 변경 단위로 살펴볼 수 있다.
3. 병합 상태와 작업 유형으로 읽는 지출
기존 LangSmith에서는 추적 기록을 하나씩 열어 비용을 확인했지만, 새 개요 화면은 팀 전체 비용을 집계하고 각 지표를 클릭하면 기간별 추이를 보여준다. PR에 연결된 비용은 아직 열려 있는 PR, 병합 없이 닫힌 PR, 병합된 PR로 나뉘며, 연결된 PR이 없는 작업의 비용은 미귀속 지출로 따로 표시된다. 코드 리뷰와 문제 조사는 자체 PR을 만들지 않고도 끝날 수 있으므로, 미귀속 지출의 가치를 판단하려면 해당 스레드에서 실제로 어떤 일을 했는지 살펴봐야 한다. 작업 유형별 화면은 기능 개발, 버그 수정, 문제 조사, 코드 리뷰 등이 전체 스레드와 비용에서 각각 차지하는 비중을 보여준다. 용도에서 벗어난 작업의 기준은 조직이 정하며, 글에서는 백엔드 서비스 전용 에이전트에 마케팅 문안 작성을 맡긴 경우를 예로 든다.
4. 여러 코딩 에이전트를 아우르는 팀 단위 집계
한 엔지니어링 조직 안에서도 개발자마다 선호하는 코딩 도구가 다를 수 있고, 플랫폼 팀은 오픈소스 도구를 이용해 자체 에이전트를 구축하기도 한다. LangChain이 발표한 지원 대상은 Claude Code, OpenAI Codex, Cursor, VS Code에서 사용하는 GitHub Copilot, 자체 코딩 에이전트를 만드는 팀을 위한 Deep Agents다. LangSmith는 이들 에이전트의 추적 기록을 한곳에 모아, 팀이 여러 공급자의 관리 화면을 오가지 않고도 전체 지출과 PR 성과를 볼 수 있게 한다. 팀 집계에서 궁금한 지점이 생기면 해당 지표를 구성하는 스레드와 세션까지 들어갈 수 있다. 예를 들어 비용이 가장 큰 PR을 고른 뒤, 연결된 대화를 열어 에이전트가 실제로 어떤 작업을 수행했는지 확인하는 식이다.
5. 비용이 큰 PR에서 찾는 팀 코칭 사례
PR을 귀속 비용순으로 정렬하면 비용이 많이 든 변경부터 살펴볼 수 있고, 각 PR에서 관련 스레드와 사용 모델, 작업한 GitHub 사용자를 확인할 수 있다. 같은 종류의 변경을 병합하는 데 비용 차이가 컸다면, 작은 수정에 고성능 모델을 선택했는지 또는 한 스레드가 여러 작업에 걸쳐 길어졌는지 대화에서 단서를 찾을 수 있다. 글은 긴 스레드에서 대화를 이어갈 때마다 앞선 맥락도 함께 처리되므로 비용이 매우 긴 대화에 집중될 수 있다고 설명한다. 새 작업을 시작할 때 스레드를 새로 열면 이전 작업의 맥락을 다시 처리하는 비용을 피할 수 있으며, Anthropic의 Claude Code 비용 가이드도 작업 사이에 맥락을 비우도록 권한다. 팀에 이 방법을 공유한 뒤에는 같은 대화 길이별 비용 지표를 다시 살펴 사용 습관이 달라졌는지 확인할 수 있다.
6. 모델 교체와 스킬 변경의 효과 비교
새 모델의 가격이 결과에 비추어 적절한지 살펴보려면 팀이 모델을 바꾸기 전후의 병합된 PR당 비용을 비교할 수 있고, 새 공급자를 시험할 때는 기존 공급자와 병행해 양쪽의 비용과 성과를 볼 수 있다. 하위 에이전트에 더 작은 모델을 쓰는 경우에는 모델별 비용으로 실제 절감액을 확인하고, 변경한 뒤에도 작업이 계속 병합되는지 살펴볼 수 있다. 스킬 역시 호출된 스레드까지 추적되므로, 특정 스킬이 비용이 큰 긴 대화에 자주 등장한다면 해당 스킬의 지시 때문에 대화가 길어졌는지 검토할 수 있다. 반대로 짧은 대화에서 PR 병합으로 이어지는 사례가 많다면 그 스킬을 다른 구성원에게도 소개할 근거가 된다. 글은 새 스킬을 일부 엔지니어에게 먼저 적용한 뒤, 사용한 스레드와 사용하지 않은 스레드의 비용 및 병합 결과를 비교하는 방법도 제시한다.
7. 엔지니어링과 재무가 같은 비용을 해석하는 법
병합된 PR당 비용은 재무팀이 실제로 반영된 코드 변경 한 건에 평균적으로 얼마가 들었는지 파악하는 지표이며, LangSmith는 그 옆에 PR로 이어지지 않은 세션의 지출도 표시한다. 두 수치를 함께 보는 이유는 코드베이스를 탐색하거나 다른 사람이 만든 변경을 검토하는 작업에도 에이전트 사용 비용이 발생하기 때문이다. 병합된 PR당 비용이 높게 보이는 팀도 합리적인 방식으로 에이전트를 활용하고 있을 수 있다는 것이 글의 설명이다. 비용이 급증하거나 감소하면 엔지니어링 팀은 관련 스레드를 열어 어떤 작업이 지출 변화를 이끌었는지 재무팀에 설명할 수 있다. 이렇게 해야 병합된 코드의 단위 비용과 별도의 PR을 남기지 않은 작업의 가치를 같은 예산 논의에 담을 수 있다.
8. LangSmith Cloud 퍼블릭 베타와 도입 범위
LangSmith for Coding Agents는 발표 시점에 LangSmith Cloud의 퍼블릭 베타로 제공되며, 코딩 에이전트가 남긴 추적 기록은 기존 LangSmith 추적 사용량에 포함된다. 글에서 안내하는 도입 절차는 팀이 사용하는 코딩 에이전트에 LangSmith 플러그인을 설치하고 GitHub를 연결한 다음, LangSmith에서 코딩 에이전트 개요 화면을 여는 순서다. 처음부터 조직 전체에 적용할 필요는 없으며, 회사는 에이전트 하나와 저장소 하나로 시작하는 예를 든다. 이 범위에서 첫 스레드들이 수집되면 해당 에이전트의 비용을 PR별로 나누어 확인할 수 있다. LangChain은 코딩 에이전트에 특화된 기능을 더 제공할 계획이라고 밝혔고, 다음으로 추적할 지표에 관한 의견을 LangChain Forum에서 받는다고 안내했다.
🧾 핵심 주장 / 시사점
- 병합된 PR당 비용은 팀의 코드 변경 비용을 논의할 공통 단위가 된다. 코드 리뷰와 문제 조사에 든 미귀속 지출을 함께 보면 PR 수에 드러나지 않는 작업까지 설명할 수 있다.
- 비슷한 PR 사이에 큰 비용 차이가 있을 때 팀에 공유할 만한 사례는 실제 대화에서 찾을 수 있다. 사용 모델과 대화 길이를 확인하면 작은 수정에 비싼 모델을 썼는지, 이전 작업의 맥락을 계속 처리했는지 구체적으로 살펴볼 수 있다.
- 특정 스킬이 긴 스레드에 자주 등장한다는 사실은 개선할 곳을 찾는 단서다. 연결된 대화에서 추가 작업이 발생한 이유를 살피고, 스킬 사용 여부에 따른 비용과 병합 결과를 비교해야 변경 효과를 판단할 수 있다.
✅ 액션 아이템
- 모델 변경 전후의 병합된 PR당 비용과 병합 결과를 비교한다.
- 미귀속 지출에 연결된 스레드를 열어 코드 리뷰와 문제 조사에 쓰인 비용을 확인한다.
- 비용이 큰 PR과 유사한 작업의 스레드를 비교해 사용 모델과 대화 길이에서 비용 차이의 단서를 찾는다.
❓ 열린 질문
- 모델 변경 전후에 병합된 PR당 비용은 어떻게 달라졌는가?
- 미귀속 지출 가운데 코드 리뷰와 문제 조사에 쓰인 비중은 각각 얼마인가?
- 비용이 큰 PR에서 사용한 모델과 대화 길이는 유사한 작업을 수행한 다른 PR과 어떻게 다른가?