Search agent traces by behavior with AI Search in LangSmith

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith의 AI Search는 자연어로 설명한 에이전트 행동을 빠른 판단 모델로 확인하고, SmithDB가 정규화한 trajectory를 분석해 해당 행동이 나타난 트레이스를 찾는다.

📌 핵심 요약

• AI Search는 트레이스 내용의 의미를 이해해 개인정보(PII) 유출, 사용자 불만, 실제로 완료하지 않은 작업의 완료 주장 같은 행동을 검색하며, 기존 오류·태그 필터와 함께 사용할 수 있다.
• LangSmith 이용팀은 평가 데이터셋이나 주석 검토용 대화를 찾기 위해 트레이스를 탐색한다. AI Search는 사전에 평가기를 설정하거나 수동으로 검토해야 했던 행동 검색을 자연어 질의로 지원한다.
• 원문은 임베딩 기반 벡터 검색이 주제 검색에는 유용하지만 압축 과정에서 행동을 구분하는 세부 정보를 잃을 수 있다고 설명한다. AI Search는 필터로 후보를 좁힌 뒤 빠른 판단 모델이 남은 각 trajectory를 검색 조건과 대조한다.
• SmithDB는 트레이스 유입 시 세션별 trajectory를 구성하고, 지원하는 형식을 통일하며 메시지·도구 호출·도구 결과의 반복을 제거한다. 이를 통해 서로 다른 SDK로 만든 에이전트를 검색하고 세션 전체 맥락을 보면서 검색 속도를 높인다.
• LangChain 팀이 매일 사용하는 오픈소스 코딩 에이전트 Open SWE의 대화 150개를 무작위로 표본 추출한 결과, 일부는 100만 토큰을 넘었다. 중앙값에 해당하는 대화에서는 전체 72K 토큰 중 사용자 메시지와 에이전트 답변이 약 2K였고, 약 85%는 도구 출력이었다. 원문은 많은 행동 관련 질문에 수천 토큰만으로 답할 수 있다고 설명한다.

🧩 주요 포인트

1. 태그·메타데이터·전문 검색으로 포착하기 어려운 행동을 자연어로 질의 → 평가 사례 발굴과 제품 문제 탐색을 필요할 때 수행할 수 있다.
2. 트레이스 전체를 압축한 임베딩은 실제 작업 완료와 완료 주장만 있는 상황을 비슷하게 표현할 수 있음 → 행동 판별에는 질문과 실제 내용을 함께 읽는 판단 모델이 필요하다는 것이 원문의 설명이다.
3. trajectory 정규화와 중복 제거는 형식 차이와 문맥 비대를 줄이지만 긴 세션 자체를 없애지는 못함 → 검색에 필요한 정보의 비중과 전체 토큰 규모를 함께 고려해야 한다.

🧠 상세 정리

1. 트레이스 활용을 위한 기반과 AI Search의 등장

에이전트 트레이스는 사용자 입력, 에이전트의 응답과 추론, 도구 호출, 논리적 실패 등 동작을 이해하는 데 필요한 정보를 담는다. 크고 멀티모달이며 정보 밀도가 높아 사용자 행동과 에이전트 성능을 분석하는 데 가치가 있지만, 원문은 기존 데이터 플랫폼이 이런 대규모 비정형 데이터를 위해 설계되지는 않았다고 설명한다. 팀이 이를 활용하려면 대량 실행 기록의 수집·저장부터 유연한 질의, 디버깅·제품 분석·주석 작업을 위한 조회까지 지원하는 기반이 필요하다. LangSmith는 이를 위해 트레이스 전용 데이터베이스 SmithDB와 맞춤형 조회 화면을 만드는 Custom Apps를 구축했다. AI Search는 이 기반 위에 자연어로 트레이스를 질의하는 방식을 추가한다.

2. 속성 검색으로 찾기 어려운 행동 탐색

LangSmith 이용팀은 평가 데이터셋에 넣을 사례나 주석 대기열에서 검토할 대화를 찾기 위해 트레이스를 탐색한다. 그러나 개인정보가 유출됐는지, 사용자가 불만을 느꼈는지 같은 질문은 하나의 태그나 메타데이터에 깔끔하게 대응하지 않고 전문 검색만으로도 답하기 어렵다. AI Search는 찾는 행동을 자연어로 설명하면 그 행동이 발생한 트레이스를 반환해, 사전 평가기 설정이나 수동 검토가 필요했던 탐색을 지원한다. 검색 대상에는 미완료 작업의 완료 주장, 답변에 대한 사용자 반발, 구독 취소 시도, 지원하지 않는 연동 요청, 경쟁사 언급, 온보딩 혼란 등이 포함된다. 기존 필터를 함께 적용할 수 있어 오류가 발생한 트레이스나 특정 태그가 있는 트레이스만 검색할 수도 있다.

3. 벡터 검색의 한계와 판단 모델의 역할

벡터 검색은 질의와 트레이스를 임베딩으로 변환하고 서로 가까운 항목을 찾아, 청구 관련 대화처럼 주제가 같은 기록을 검색하는 데 유용하다. 하지만 트레이스 전체를 작은 벡터 하나로 압축하는 과정에는 정보 손실이 있어, 검색 질문과 관련된 중요한 세부 사항이 사라질 수 있다. 원문은 작업을 실제로 성공한 트레이스와 성공했다고 말만 한 트레이스가 거의 같은 임베딩을 가질 수 있다는 예를 든다. 이 차이를 구분하려면 모델이 질문과 실제 트레이스 내용을 함께 읽고 무슨 일이 일어났는지 판단해야 한다는 설명이다. AI Search는 빠르고 저렴하게 좁은 질문에 답하는 판단 모델을 SmithDB와 결합하며, 검색 시 필터를 통과한 각 trajectory를 사용자의 설명과 대조한다.

4. trajectory로 형식을 통일하고 반복 제거

트레이스는 OpenAI·Anthropic SDK, LangChain, LangGraph, Vercel AI SDK, OpenTelemetry 등 다양한 출처에서 생성되며 메시지를 기록하는 방식도 조금씩 다르다. 에이전트가 LLM을 호출할 때마다 대화 이력을 다시 보내는 경우에는 같은 메시지가 이후 호출마다 반복되기도 한다. SmithDB는 트레이스가 들어올 때 지원하는 형식을 공통 구조로 바꾸고, 각 메시지·도구 호출·도구 결과를 한 번씩 나열한 세션별 trajectory를 만든다. AI Search는 원시 트레이스 대신 이 구조를 분석하므로 서로 다른 SDK로 구축한 에이전트에도 하나의 검색을 적용할 수 있고, 반복 제거로 문맥 비대를 줄여 검색을 빠르게 한다. 또한 세션 전체를 포함하므로 취소 시도를 검색할 때 사용자의 요청, 에이전트의 행동, 대화의 결말을 함께 볼 수 있다.

5. 중복 제거 뒤에도 남는 대규모 세션

반복된 내용을 제거하더라도 에이전트 trajectory는 여전히 길 수 있으며, 원문은 이를 살펴보기 위해 Open SWE의 대화 150개를 무작위로 표본 추출했다. Open SWE는 LangChain 팀이 매일 사용하는 오픈소스 코딩 에이전트로, 각 작업이 셸 접근 권한을 가진 별도 샌드박스에서 실행되고 하위 에이전트에 작업을 맡길 수도 있다. 이러한 작업 특성으로 대화가 커지며, 작은 표본 안에서도 일부 대화는 100만 토큰을 넘었다. 드문 행동을 찾으려면 많은 대화를 읽어야 하므로 AI Search는 이런 규모의 기록을 정기적으로 접하지만 모든 토큰을 읽을 수는 없다고 설명한다. 이 사례는 trajectory 정규화가 반복을 줄여도 긴 세션의 처리 문제까지 모두 해소하지는 못함을 보여준다.

6. 전체 길이와 행동 판별에 필요한 정보의 차이

원문은 많은 질문이 사용자가 무엇을 요청했고 에이전트가 어떻게 응답했는지에 관한 것이어서, 답을 얻는 데 대화의 모든 토큰이 필요하지는 않다고 설명한다. 표본의 중앙값에 해당하는 대화에서는 전체 72K 토큰 가운데 사용자 메시지와 에이전트 답변이 차지한 분량이 약 2K였다. 약 85%는 도구 출력이었으며, 그 대부분은 파일 읽기와 셸 명령에서 나왔다. 이를 근거로 원문은 트레이스가 100만 토큰을 넘더라도 많은 에이전트 행동 관련 질문은 수천 토큰으로 답할 수 있다고 강조한다. 다만 이 설명은 많은 질문에 대한 가능성을 제시하며, 모든 행동 검색이 같은 분량으로 해결된다고 주장하거나 실제 입력을 선별하는 구체적인 절차를 밝히지는 않는다.

🧾 핵심 주장 / 시사점

• AI Search의 핵심은 같은 주제의 대화를 찾는 데서 더 나아가, 특정 행동이 실제로 발생했는지를 트레이스 내용으로 판별하는 데 있다.
• SmithDB의 trajectory는 저장 형식을 통일하는 동시에 세션의 흐름을 보존하므로, 서로 다른 SDK의 기록에서도 요청·행동·결말을 연결해 해석하는 기반이 된다.
• Open SWE 표본은 전체 토큰 수와 행동 질문에 필요한 정보량이 크게 다를 수 있음을 보여준다. 다만 도구 출력이 많은 분량을 차지한다는 사실만으로 모든 질문에서 그 내용을 생략할 수 있다고 결론 내릴 수는 없다.

✅ 액션 아이템

• LangSmith AI Search로 개인정보(PII) 유출, 사용자 불만, 미완료 작업의 완료 주장에 해당하는 트레이스 탐색.
• 기존 오류·태그 필터로 AI Search의 검색 후보를 좁혀 평가 데이터셋이나 주석 검토용 대화 발굴.
• Open SWE 표본의 72K·2K 토큰과 약 85% 도구 출력 비중을 참고해, 행동 질문에 필요한 정보와 전체 세션 규모를 함께 검토.

❓ 열린 질문

• AI Search의 빠른 판단 모델은 개인정보(PII) 유출이나 사용자 불만을 얼마나 정확하게 판별하는가?
• 기존 오류·태그 필터로 후보를 좁힌 뒤에도 trajectory가 100만 토큰을 넘으면 AI Search는 어떤 정보를 읽는가?
• Open SWE 대화 150개에서 관찰된 사용자 메시지·에이전트 답변 약 2K 토큰과 도구 출력 약 85%의 구성은 다른 에이전트에서도 유사한가?