How Pendo uses LangSmith to trace Novus from user behavior to code fixes

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Pendo는 LangSmith의 추적 기능을 활용해 Novus가 사용자 행동 데이터와 코드 맥락을 함께 분석하도록 개선하고, 운영 중 발생하는 문제를 고객보다 먼저 발견해 실제 코드 수정까지 이어지는 제품 피드백 순환을 구축했다.

📌 핵심 요약

• Novus는 실제 애플리케이션의 클릭과 세션 리플레이를 분석해 사용성 문제를 발견하고, 관련 코드 파일을 찾아 수정안을 생성하는 Pendo의 제품 에이전트다.
• Pendo는 AI 코딩 도구가 개발 속도는 높였지만 사용자 피드백 수집과 제품 개선의 순환은 따라가지 못해, 사용하기 어렵고 채택·유지 목표를 달성하지 못하는 소프트웨어가 늘었다고 진단했다.
• LangSmith의 전체 추적 트리를 통해 입력, 출력, 도구 호출, 하위 에이전트 실행, 토큰 수와 비용을 확인함으로써 Novus의 판단이 어느 단계에서 잘못됐는지 분석할 수 있었다.
• 사용자명, 대화 ID, 조직 태그와 스레드·피드백 정보를 결합해 지원 이슈를 관련 실행 기록에 연결하고, 조직별 비용과 활용 사례, 다중 대화의 해결 여부를 파악했다.
• Pendo는 추적을 통해 AI 문제의 60%를 고객이 발견하기 전에 포착했으며, 새로운 활용 사례를 식별하고 평가하는 데 걸리는 시간을 기존 제품 대비 25% 절감했다고 밝혔다.

🧩 주요 포인트

1. Novus는 실제 애플리케이션의 클릭과 세션 리플레이를 분석해 사용성 문제를 발견하고, 관련 코드 파일을 찾아 수정안을 생성하는 Pendo의 제품 에이전트다.
2. Pendo는 AI 코딩 도구가 개발 속도는 높였지만 사용자 피드백 수집과 제품 개선의 순환은 따라가지 못해, 사용하기 어렵고 채택·유지 목표를 달성하지 못하는 소프트웨어가 늘었다고 진단했다.
3. LangSmith의 전체 추적 트리를 통해 입력, 출력, 도구 호출, 하위 에이전트 실행, 토큰 수와 비용을 확인함으로써 Novus의 판단이 어느 단계에서 잘못됐는지 분석할 수 있었다.
4. 사용자명, 대화 ID, 조직 태그와 스레드·피드백 정보를 결합해 지원 이슈를 관련 실행 기록에 연결하고, 조직별 비용과 활용 사례, 다중 대화의 해결 여부를 파악했다.
5. Pendo는 추적을 통해 AI 문제의 60%를 고객이 발견하기 전에 포착했으며, 새로운 활용 사례를 식별하고 평가하는 데 걸리는 시간을 기존 제품 대비 25% 절감했다고 밝혔다.

🧠 상세 정리

1. AI 개발 속도가 끊어 놓은 제품 피드백 순환

Pendo의 기존 사용자는 대시보드를 살피고 사용자와 대화하며 발견한 내용을 바탕으로 제품 요구사항 문서를 작성하는 제품 관리자들이었다. 그러나 이제는 제품 엔지니어가 AI 코딩 도구를 사용해 매일 코드를 배포하고, 여러 작업을 동시에 처리할 만큼 개발과 출시 속도가 빨라졌다. 문제는 시장의 관심이 코딩과 배포에 집중된 반면, 제품 관리자가 사용자 반응을 수집하고 개발자에게 반복 개선의 맥락을 제공하는 후반부 과정은 같은 속도로 발전하지 못했다는 점이다. 과거에 일반적이던 사용자 인수 테스트 없이 코드가 운영 환경에 들어가면서 사용하기 어렵고 채택률과 유지율 목표를 충족하지 못하는 소프트웨어가 나올 가능성도 커졌다. Novus는 배포 후 사용자가 겪는 문제를 빠르게 발견하고 수정함으로써 이 끊어진 순환을 다시 연결하기 위해 만들어졌다.

2. 사용자 행동을 코드 수정으로 바꾸는 Novus

사용자는 코드베이스를 연결하고 모든 클릭과 세션 리플레이를 기록하는 Novus 스니펫을 설치한다. Novus는 이렇게 수집한 행동 데이터를 집계하고 AI로 해석해, 예를 들어 하루 방문자가 천 명인 페이지에서 결제부터 주문 확인까지의 전환율이 3% 하락했다는 식의 구체적인 문제를 지속적으로 제시한다. 핵심은 현상을 보고하는 데 그치지 않고 세션 리플레이에서 반복 클릭 같은 행동을 찾아 근본 원인을 진단하는 데 있다. 이어 해당 행동과 관련된 코드 파일을 연결하고 실제 수정 제안까지 생성함으로써 제품 분석과 개발 작업을 하나의 과정으로 묶는다. Pendo는 Novus가 제품 관리자의 검토를 거친 평가에서 90% 이상의 성공률을 기록했으며, 수개월이 아니라 며칠 만에 운영 환경에 출시됐다고 설명한다.

3. 운영 환경의 에이전트를 해부하는 LangSmith 추적

행동 분석부터 코드 수정까지 이어지는 과정에는 도구 호출, 하위 에이전트, 프롬프트와 외부 데이터 등 많은 요소가 관여하므로 실패 원인을 찾으려면 전체 실행 과정을 볼 수 있어야 한다. 도구가 예상하지 못한 데이터를 반환하거나 하위 에이전트가 잘못된 방향으로 진행하고, 프롬프트 변경으로 결과 품질이 저하되는 상황을 개별 로그만으로 진단하기는 어렵다. Pendo는 Claude Agent SDK 통합 과정에서 LangSmith 추적을 Novus의 운영 환경에 함께 배포했고, 이를 시스템 동작을 관찰하는 주된 창구로 사용했다. 각 실행에는 입력과 출력, 도구 호출, 하위 에이전트 호출, 토큰 수와 비용을 포함하는 전체 추적 트리가 생성된다. 이 중첩 구조가 실제 에이전트 구성과 대응하기 때문에 생성된 코드 변경안이 문제를 제대로 해결하지 못했을 때 각 판단 단계를 따라가며 오류가 발생한 지점을 확인할 수 있다.

4. 실제 사용자 대화에서 활용 사례와 평가 기준 도출

초기 디자인 파트너 단계에서 Pendo 팀은 매일 아침 LangSmith의 추적 화면을 열어 사용자가 무엇을 요청했고 에이전트가 어떻게 응답했는지 개별 대화 단위로 검토했다. 이는 가정이나 추측이 아니라 운영 환경에서 사용자가 실제로 수행한 행동을 근거로 우선순위를 정하게 해주었다. 반복적으로 나타난 활용 방식은 오픈 베타에서 제공한 추천 프롬프트로 발전했고, 이후에는 Novus 평가 세트의 기반이 됐다. 제품이 성숙하면서 관찰 대상은 달라졌지만, 추적은 디자인 파트너 단계부터 운영 환경까지 지속적인 관측 기반으로 유지됐다. Pendo는 이러한 방식이 새로운 활용 사례를 찾아 평가하는 데 필요한 시간을 이전 제품과 비교해 25% 줄였다고 보고했다.

5. 태그·스레드·피드백으로 연결한 지원과 고객 가치

Pendo는 모든 추적 기록에 사용자명, 대화 ID와 조직 정보를 태그로 부여해 지원 또는 엔지니어링 이슈가 발생하면 관련 실행 기록으로 곧바로 이동할 수 있게 했다. 같은 태그는 조직별 토큰 비용과 비용이 큰 워크플로를 파악하는 데도 사용되며, 더 뛰어난 모델에 토큰 사용을 집중하면서도 비용이 어디서 발생하는지 관리하게 해준다. 조직별 활용 사례를 분석하면 각 고객이 Novus에서 실제로 어떤 가치를 얻는지도 확인할 수 있어, 고객 접촉과 고객 엔지니어링 지원을 그에 맞게 조정할 수 있다. 스레드 화면에서는 여러 차례 이어지는 개발자의 후속 질문과 PR 생성까지의 전체 대화 궤적을 살펴보고, 단순히 출력을 만들었는지 아니면 문제 해결에 도달하도록 안내했는지를 판단한다. 여기에 실행별 사용자 피드백 점수를 함께 확인해 테스트 결과뿐 아니라 실제 사용 현장에서 출력이 어떻게 받아들여지는지도 관찰한다.

6. 분석 데이터와 코드 맥락의 결합이 만든 개선 효과

초기 추적을 살펴본 Pendo는 Novus가 제품 분석 데이터와 코드 기반 맥락을 함께 사용하기보다 둘 중 하나만 선택하는 경우가 많다는 사실을 발견했다. 이는 사용자 행동에서 문제를 찾고 관련 코드까지 수정한다는 Novus의 핵심 가치를 약화시키는 행동이었다. 팀은 두 정보원을 결합해야 한다는 점을 프롬프트에 더 명시적으로 반영했고, 제품 분석이나 코드 맥락 중 하나에만 의존하는 기존 방식으로 돌아가지 않도록 조정했다. Pendo는 전체 AI 문제의 60%를 고객이 알아차리기 전에 추적을 통해 발견했다고 밝혔다. 궁극적으로 Novus는 아이디어에서 운영 배포까지의 시간이 계속 짧아지는 환경에서, 배포된 기능과 실제 사용자가 경험하는 문제 사이의 이해 격차를 사용자 세션이 발생한 뒤 수분 내에 자동으로 좁히는 것을 목표로 한다.

🧾 핵심 주장 / 시사점

• 에이전트 추적은 장애 조사 도구에 그치지 않고, 실제 사용자 대화에서 우선 활용 사례와 추천 프롬프트, 평가 세트를 도출하는 제품 기획 자료로도 쓰였다.
• 사용자·대화·조직 태그를 동일한 추적 체계에 적용하면 기술적 실패 분석, 고객 지원, 활용도 파악과 조직별 비용 관리를 하나의 실행 기록을 중심으로 연결할 수 있다.
• Novus의 차별점은 제품 분석이나 코드 분석을 각각 수행하는 데 있지 않고, 관찰된 사용자 행동의 원인을 특정 코드와 연결해 수정안까지 생성하는 전체 순환에 있다.

✅ 액션 아이템

• Novus 방식으로 클릭·세션 리플레이에서 발견된 사용성 결함을 관련 코드 수정안과 즉시 연결해 피드백 순환을 운영한다.
• LangSmith 추적 트리에서 입력·출력·툴 호출·하위 에이전트·토큰·비용을 함께 수집해 판단 실패 단계를 분해 분석한다.
• 지원 이슈를 사용자명·대화ID·조직 태그·스레드·피드백으로 실행 기록에 결합해 조직별 비용과 활용 사례, 다중대화 해결률을 점검한다.

❓ 열린 질문

• 클릭·세션 리플레이 기반 탐지가 실제 코드 수정으로 이어지는 전환율을 높이려면 어떤 운영 기준이 필요한가?
• AI 문제의 60% 선제 포착을 유지하면서 오탐을 줄이려면 입력·출력·툴 호출·하위 에이전트 지표 중 어떤 조합을 우선 본격화해야 하는가?
• 25% 활용사례 평가 시간 절감 효과를 검증하려면 조직별 비용, 활용 사례, 다중대화 해결률 중 어떤 지표를 먼저 비교할 것인가?