🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Pendo는 LangSmith의 추적 기능을 활용해 Novus가 사용자 행동 데이터와 코드 맥락을 함께 분석하도록 개선하고, 운영 중 발생하는 문제를 고객보다 먼저 발견해 실제 코드 수정까지 이어지는 제품 피드백 순환을 구축했다.

📌 핵심 요약

• Novus는 실제 애플리케이션의 클릭과 세션 리플레이를 분석해 사용성 문제를 발견하고, 관련 코드 파일을 찾아 수정안을 생성하는 Pendo의 제품 에이전트다.
• Pendo는 AI 코딩 도구가 개발 속도는 높였지만 사용자 피드백 수집과 제품 개선의 순환은 따라가지 못해, 사용하기 어렵고 채택·유지 목표를 달성하지 못하는 소프트웨어가 늘었다고 진단했다.
• LangSmith의 전체 추적 트리를 통해 입력, 출력, 도구 호출, 하위 에이전트 실행, 토큰 수와 비용을 확인함으로써 Novus의 판단이 어느 단계에서 잘못됐는지 분석할 수 있었다.
• 사용자명, 대화 ID, 조직 태그와 스레드·피드백 정보를 결합해 지원 이슈를 관련 실행 기록에 연결하고, 조직별 비용과 활용 사례, 다중 대화의 해결 여부를 파악했다.
• Pendo는 추적을 통해 AI 문제의 60%를 고객이 발견하기 전에 포착했으며, 새로운 활용 사례를 식별하고 평가하는 데 걸리는 시간을 기존 제품 대비 25% 절감했다고 밝혔다.

🧩 주요 포인트

1. Novus는 실제 애플리케이션의 클릭과 세션 리플레이를 분석해 사용성 문제를 발견하고, 관련 코드 파일을 찾아 수정안을 생성하는 Pendo의 제품 에이전트다.
2. Pendo는 AI 코딩 도구가 개발 속도는 높였지만 사용자 피드백 수집과 제품 개선의 순환은 따라가지 못해, 사용하기 어렵고 채택·유지 목표를 달성하지 못하는 소프트웨어가 늘었다고 진단했다.
3. LangSmith의 전체 추적 트리를 통해 입력, 출력, 도구 호출, 하위 에이전트 실행, 토큰 수와 비용을 확인함으로써 Novus의 판단이 어느 단계에서 잘못됐는지 분석할 수 있었다.
4. 사용자명, 대화 ID, 조직 태그와 스레드·피드백 정보를 결합해 지원 이슈를 관련 실행 기록에 연결하고, 조직별 비용과 활용 사례, 다중 대화의 해결 여부를 파악했다.
5. Pendo는 추적을 통해 AI 문제의 60%를 고객이 발견하기 전에 포착했으며, 새로운 활용 사례를 식별하고 평가하는 데 걸리는 시간을 기존 제품 대비 25% 절감했다고 밝혔다.

🧠 상세 정리

1. AI 개발 속도가 끊어 놓은 제품 피드백 순환

Pendo의 기존 사용자는 대시보드를 살피고 사용자와 대화하며 발견한 내용을 바탕으로 제품 요구사항 문서를 작성하는 제품 관리자들이었다. 그러나 이제는 제품 엔지니어가 AI 코딩 도구를 사용해 매일 코드를 배포하고, 여러 작업을 동시에 처리할 만큼 개발과 출시 속도가 빨라졌다. 문제는 시장의 관심이 코딩과 배포에 집중된 반면, 제품 관리자가 사용자 반응을 수집하고 개발자에게 반복 개선의 맥락을 제공하는 후반부 과정은 같은 속도로 발전하지 못했다는 점이다. 과거에 일반적이던 사용자 인수 테스트 없이 코드가 운영 환경에 들어가면서 사용하기 어렵고 채택률과 유지율 목표를 충족하지 못하는 소프트웨어가 나올 가능성도 커졌다. Novus는 배포 후 사용자가 겪는 문제를 빠르게 발견하고 수정함으로써 이 끊어진 순환을 다시 연결하기 위해 만들어졌다.

2. 사용자 행동을 코드 수정으로 바꾸는 Novus

사용자는 코드베이스를 연결하고 모든 클릭과 세션 리플레이를 기록하는 Novus 스니펫을 설치한다. Novus는 이렇게 수집한 행동 데이터를 집계하고 AI로 해석해, 예를 들어 하루 방문자가 천 명인 페이지에서 결제부터 주문 확인까지의 전환율이 3% 하락했다는 식의 구체적인 문제를 지속적으로 제시한다. 핵심은 현상을 보고하는 데 그치지 않고 세션 리플레이에서 반복 클릭 같은 행동을 찾아 근본 원인을 진단하는 데 있다. 이어 해당 행동과 관련된 코드 파일을 연결하고 실제 수정 제안까지 생성함으로써 제품 분석과 개발 작업을 하나의 과정으로 묶는다. Pendo는 Novus가 제품 관리자의 검토를 거친 평가에서 90% 이상의 성공률을 기록했으며, 수개월이 아니라 며칠 만에 운영 환경에 출시됐다고 설명한다.

3. 운영 환경의 에이전트를 해부하는 LangSmith 추적

행동 분석부터 코드 수정까지 이어지는 과정에는 도구 호출, 하위 에이전트, 프롬프트와 외부 데이터 등 많은 요소가 관여하므로 실패 원인을 찾으려면 전체 실행 과정을 볼 수 있어야 한다. 도구가 예상하지 못한 데이터를 반환하거나 하위 에이전트가 잘못된 방향으로 진행하고, 프롬프트 변경으로 결과 품질이 저하되는 상황을 개별 로그만으로 진단하기는 어렵다. Pendo는 Claude Agent SDK 통합 과정에서 LangSmith 추적을 Novus의 운영 환경에 함께 배포했고, 이를 시스템 동작을 관찰하는 주된 창구로 사용했다. 각 실행에는 입력과 출력, 도구 호출, 하위 에이전트 호출, 토큰 수와 비용을 포함하는 전체 추적 트리가 생성된다. 이 중첩 구조가 실제 에이전트 구성과 대응하기 때문에 생성된 코드 변경안이 문제를 제대로 해결하지 못했을 때 각 판단 단계를 따라가며 오류가 발생한 지점을 확인할 수 있다.

4. 실제 사용자 대화에서 활용 사례와 평가 기준 도출

초기 디자인 파트너 단계에서 Pendo 팀은 매일 아침 LangSmith의 추적 화면을 열어 사용자가 무엇을 요청했고 에이전트가 어떻게 응답했는지 개별 대화 단위로 검토했다. 이는 가정이나 추측이 아니라 운영 환경에서 사용자가 실제로 수행한 행동을 근거로 우선순위를 정하게 해주었다. 반복적으로 나타난 활용 방식은 오픈 베타에서 제공한 추천 프롬프트로 발전했고, 이후에는 Novus 평가 세트의 기반이 됐다. 제품이 성숙하면서 관찰 대상은 달라졌지만, 추적은 디자인 파트너 단계부터 운영 환경까지 지속적인 관측 기반으로 유지됐다. Pendo는 이러한 방식이 새로운 활용 사례를 찾아 평가하는 데 필요한 시간을 이전 제품과 비교해 25% 줄였다고 보고했다.