LangSmith Custom Apps: Build custom interfaces around your agent data

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith Custom Apps는 LangSmith 데이터 기반 맞춤 UI를 채팅이나 코드로 제작하고, 호스팅·인증·권한 처리 부담을 덜면서 워크스페이스 안에서 게시·실행·공유하는 기능이다.

📌 핵심 요약

• 2026년 9월 24일 발표된 LangSmith Custom Apps는 기본 UI만으로 충족하기 어려운 팀별 품질 기준과 검토 절차에 맞춰 맞춤 인터페이스를 만들 수 있게 한다.
• LangSmith Chat에 원하는 데이터와 시각화 방식을 설명해 앱을 생성하거나, 제공되는 템플릿과 코딩 에이전트를 이용해 LangSmith API 기반으로 직접 개발할 수 있다.
• 게시된 앱은 워크스페이스에서 공유·재사용할 수 있으며, 주요 용도는 검토자별 맥락을 제공하는 사람의 피드백 수집, 실험 비교, 에이전트 유형에 맞춘 트레이스 검토다.
• Custom Apps는 LangSmith 디자인 시스템인 Macaw를 기본 사용하며 외형을 변경할 수 있다. Macaw는 이번 출시와 함께 오픈소스로 공개됐다.
• Custom Apps와 채팅 경험은 Plus와 Enterprise 요금제에서 제공된다. Plus는 조직당 Custom App 1개, Enterprise는 개수 제한 없이 사용할 수 있다.

🧩 주요 포인트

1. 맞춤 UI를 LangSmith 내부에 게시·공유 → 별도 프런트엔드의 호스팅·인증·권한 처리 부담을 줄이고 반복 검토에 같은 앱을 재사용할 수 있다.
2. 사람의 피드백·실험 비교·트레이스 검토에 맞춘 화면 구성 → 검토자 역할과 애플리케이션별 품질 기준에 필요한 정보에 집중할 수 있다.
3. 채팅·코드 제작 경로와 Macaw 외형 변경 지원 → 제작 방식과 표현을 선택할 수 있지만, 운영할 앱 수는 Plus의 조직당 1개와 Enterprise의 무제한 조건에 영향을 받는다.

🧠 상세 정리

1. 기본 UI를 넘어 팀별 검토 방식 지원

LangSmith는 2026년 9월 24일 LangSmith 데이터 위에 맞춤 UI를 만들고 플랫폼 내부에서 게시·실행하는 Custom Apps를 발표했다. 수천 개 AI 엔지니어링 팀이 에이전트를 디버깅·평가·개선하는 데 LangSmith를 사용하며, 기존 제품은 지연 시간·비용·오류율 대시보드와 실험 간 성능 퇴행을 보여주는 비교 화면을 제공한다. 그러나 공통 요구사항을 반영한 기본 UI만으로는 각 팀의 품질 기준과 검토 절차를 모두 충족하기 어렵다는 것이 출시 배경이다. 일부 팀은 이미 코딩 에이전트와 LangSmith API, 내부 도구로 별도 프런트엔드를 만들었지만 호스팅·인증·권한·공유를 계속 관리해야 했다. Custom Apps는 원하는 인터페이스를 워크스페이스에 게시하게 하고 호스팅·인증·권한 처리 작업을 덜어주는 방식으로 이 부담에 대응한다.

2. 채팅 또는 코드로 제작하고 반복 사용

Custom Apps 제작은 채팅 프롬프트로 시작하거나 코드로 직접 진행할 수 있다. Plus와 Enterprise 사용자는 LangSmith Chat에 보고 싶은 데이터와 시각화 방식을 설명하면 작동하는 앱을 생성할 수 있다. 직접 개발하려는 경우에는 제공되는 템플릿에서 출발해 코딩 에이전트와 함께 LangSmith API를 사용하는 인터페이스를 구성한다. 게시가 끝난 앱은 워크스페이스 안에서 팀이 공유하는 인터페이스가 되며, 기존에 트레이스·실험·주석·평가 결과를 검토하던 공간에서 사용할 수 있다. 원문은 데이터를 내보내거나 필요할 때마다 같은 정적 화면을 다시 만드는 대신, 데이터에 연결된 앱을 반복 업무에 재사용할 수 있다는 점을 강조한다.

3. 검토자에게 필요한 맥락과 사람의 피드백

원문은 자동 평가가 패턴 발견에 도움이 되더라도 출력과 행동을 판단하고 애플리케이션에 적합한 품질 기준을 설명하는 사람의 검토가 여전히 필요하다고 설명한다. 엔지니어에게는 도구 호출·메타데이터·중간 단계를 포함한 전체 트레이스가 필요할 수 있지만, 분야 전문가는 사용자 요청·모델 응답·관련 맥락·명확한 평가 기준만으로 검토할 수 있다. Custom Apps는 이러한 역할 차이에 맞춰 필요한 정보를 보여주고 불필요한 세부사항을 숨기며 수집할 피드백을 안내하는 화면을 지원한다. Chime의 Roxanne Wang은 기존 검토가 스프레드시트와 별도 도구에 분산돼 플랫폼 전환과 파일 준비, 형식 표준화에 수작업이 들었다고 밝혔다. Chime은 LangSmith 내부에서 API로 연결되는 구조화된 LLM 평가·주석 앱을 구축했고, 검토자가 대기열을 선택해 출력을 평가·수정한 뒤 결과를 데이터셋에 추가하도록 했다. Wang은 이를 통해 검토를 반복 가능한 방식으로 운영하고 추적을 단순화하며 여러 팀으로 평가를 확대하기 쉬워졌다고 설명했다.

4. 출시 판단에 맞춘 실험 비교

실험은 에이전트 변경이 의도한 결과를 냈는지 평가하는 수단이지만, 출시 전 판단에는 개별 결과나 특정 집단, 실패 패턴을 자세히 살펴보는 과정이 필요하다. 원문은 프롬프트 버전별 출력 비교, 모델 교체 후 성능 퇴행 확인, 고객군·실패 범주·모델 제공자·내부 평가 기준별 결과 분류를 예로 든다. Custom Apps로 이러한 판단에 필요한 실험 검토 화면을 만들면 중요한 결과 집단을 강조하고 대표 사례를 표시하거나 출력을 나란히 비교할 수 있다. 결과를 팀이 출시 검토에 사용하는 형식으로 구성하는 것도 가능하다. 실험 검토가 반복되는 업무라면 매번 정적 차트나 맞춤 분석을 다시 만드는 대신, LangSmith 데이터에 계속 연결된 공유 앱을 각 검토 주기에 재사용할 수 있다는 설명이다.

5. 에이전트 유형에 맞춘 트레이스 검토

트레이스를 검토할 때 중요한 항목은 운영하는 에이전트의 유형에 따라 달라진다. 고객 지원 에이전트는 말투와 문제 해결 여부가 주요 검토 대상이 될 수 있으며, 이를 판단하려면 실제 대화 내용을 읽어야 한다. 반면 연구 에이전트는 사용한 출처와 작업에 필요했던 도구 호출 횟수를 중심으로 평가할 수 있다. Custom Apps는 이처럼 애플리케이션별로 자주 확인하는 질문에 맞춰 트레이스 검토 화면을 구성하는 데 쓰인다. 정기적인 검토에서는 행동이 어느 지점에서 바뀌었는지, 어떤 단계가 실패를 일으켰는지, 예상한 절차를 따랐는지를 중심으로 UI를 만들 수 있다. 원문이 강조하는 이점은 에이전트의 성격과 반복되는 검토 질문에 맞게 필요한 정보에 집중할 수 있다는 것이다.

6. Macaw 디자인 시스템과 요금제별 제공 범위

Custom Apps는 기본적으로 LangSmith 디자인 시스템인 Macaw를 사용해 기존 제품과 일관된 구성요소와 아이콘 등 시각적 표현을 제공한다. 회사 브랜드에 맞추거나 다른 외형을 원한다면 채팅이나 코딩 에이전트로 디자인을 변경할 수 있으며, 원문은 옛 Macintosh 소프트웨어처럼 보이게 만드는 요청을 예로 든다. LangSmith는 이번 출시와 함께 Macaw를 오픈소스로 공개했고, 앞으로 확장하면서 커뮤니티의 피드백을 받겠다고 밝혔다. Custom Apps는 Plus와 Enterprise 요금제에서 제공되며 두 요금제 모두 채팅 경험을 포함한다. Plus는 조직당 Custom App 1개를 제공하고 Enterprise는 앱 개수에 제한이 없다. 원문은 일반적인 사용량과 청구 정보는 가격 페이지에서, 구체적인 사용법은 문서에서 확인하도록 안내하며 LangSmith 로그인 또는 가입을 통해 이용을 시작할 수 있다고 설명한다.

🧾 핵심 주장 / 시사점

• Custom Apps의 핵심 가치는 맞춤 화면 제작뿐 아니라, LangSmith 데이터에 연결된 화면을 공유하고 반복 사용해 검토의 지속성을 높이는 데 있다.
• 사람의 피드백 수집에서는 모든 검토자에게 동일한 정보를 제공하기보다 역할별로 필요한 맥락과 평가 기준을 제시하는 방식이 중요하게 다뤄진다.
• 채팅과 코드라는 제작 경로의 선택권에 더해, 요금제별 앱 개수 차이가 팀의 맞춤 인터페이스 운영 범위를 결정하는 조건이 된다.

✅ 액션 아이템

• 사람의 피드백·실험 비교·트레이스 검토 중 반복 사용이 필요한 업무와 검토자별 정보 요구를 검토한다.
• 필요한 데이터와 시각화 방식에 따라 LangSmith Chat 또는 템플릿·코딩 에이전트 기반 제작 경로를 선택한다.
• 운영할 Custom Apps 수를 Plus의 조직당 1개 및 Enterprise의 무제한 제공 조건과 대조한다.

❓ 열린 질문

• 사람의 피드백·실험 비교·트레이스 검토 중 맞춤 UI가 가장 필요한 반복 업무는 무엇인가?
• 원하는 데이터와 시각화 방식을 구현하는 데 LangSmith Chat과 템플릿·코딩 에이전트 중 어떤 제작 경로가 적합한가?
• 필요한 Custom Apps 수를 Plus의 조직당 1개로 충족할 수 있는가, 아니면 Enterprise의 무제한 제공이 필요한가?