langsmith 태그 문서 61개 | 우성짱의 문서

LangChain State of AI 2024 Report

LangChain의 2024년 보고서는 LangSmith 사용 데이터를 통해 오픈소스 모델과 다단계 AI 에이전트의 확산, LLM 호출 효율화, 평가와 인간 피드백 활용을 보여준다.

#langchain #langgraph #langsmith #openai

How Podium optimized agent behavior and reduced engineering intervention by 90% with LangSmith

Podium은 LangSmith를 활용해 AI Employee의 대화 종료 판단 품질을 높이고 고객지원에 필요한 엔지니어 개입을 90% 줄였다.

#langgraph #langsmith #podium #ai-employee

Reflections on Three Years of Building LangChain

LangChain은 지난 3년간 단일 파이썬 패키지에서 신뢰할 수 있는 에이전트 구축을 위한 생태계로 성장했으며, LangChain 1.0 출시와 LangSmith 확장, 1억 2,500만 달러 투자 유치를 발표했다.

#langchain #langgraph #langsmith #langchain-1-0

Why We Rebuilt LangChain’s Chatbot and What We Learned

LangChain은 지원 엔지니어의 문서·지식 기반·코드 검색 방식을 재현해 챗봇을 재구축하고, 빠른 createAgent와 심층 분석용 Deep Agent를 결합했다.

#createagent #langchain #langsmith #deep-agent

Automating Web Research

LangChain 팀은 자율 웹 연구 에이전트를 실험한 뒤, 병렬 검색과 문서 검색을 결합한 단순하고 설정 가능한 리트리버를 구현했다.

#gpt4all #langchain #langsmith #retrieval-observability

Debugging Deep Agents with LangSmith

LangSmith는 긴 실행과 다중 대화로 복잡해진 딥 에이전트의 디버깅을 실행 추적, Polly의 분석·프롬프트 수정, LangSmith Fetch CLI의 데이터 조회로 지원한다.

#langsmith #polly #claude-code #langsmith-fetch-cli

Introducing Pytest and Vitest integrations for LangSmith Evaluations

LangSmith는 기존 테스트 개발 흐름에서 LLM 애플리케이션을 평가하고 결과를 추적·공유할 수 있도록 Pytest 및 Vitest/Jest 통합을 베타로 공개했다.

#langsmith #pytest #vitest #evaluation-feedback-tracing

Making Data Ingestion Production Ready: a LangChain-Powered Airbyte Destination

LangChain과 Airbyte의 통합은 정기적인 데이터 수집·갱신과 텍스트 분할·임베딩을 결합해 검색 기반 애플리케이션의 프로덕션 전환을 지원한다.

#airbyte #langchain #langsmith #scheduled-reindexing

Multi-modal RAG on slide decks

Datadog 슬라이드의 10개 질문 평가에서 이미지 요약 기반 멀티 벡터 검색은 정확도 90%로 멀티모달 임베딩 60%와 텍스트 전용 RAG 20%를 앞섰지만, 요약 사전 생성에 따른 복잡성과 비용이 발생했다.

#langsmith #openclip #gpt-4v #retrieval-quality-bottleneck

$The rise of \"context engineering\$

The rise of \"context engineering\

컨텍스트 엔지니어링은 LLM이 과제를 수행할 수 있도록 적절한 정보·지시·도구를 알맞은 형식으로 제공하는 동적 시스템을 설계하는 일이다.

#langchain #langgraph #langsmith #context-failure-diagnosis

Using LangSmith to Support Fine-tuning

LangSmith로 지식 그래프 삼중항 추출의 데이터 관리와 평가를 지원한 실험에서 LLaMA2 7b chat과 gpt 3.5 turbo의 파인튜닝 효과를 확인했지만, 최고 점수는 퓨샷 GPT 4가 기록했다.

#langsmith #llama2-7b-chat #format-quality-separation #task-specific-adaptation

Workspaces in LangSmith for improved collaboration and organization

LangSmith의 워크스페이스는 조직 내 사용자와 리소스를 분리하고 조직·워크스페이스별 권한을 구분해 협업, 자원 관리, 보안을 지원한다.

#langchain #langsmith #workspace-resource-isolation #llm

Article2026년 8월 24일

Toyota Scales Enterprise AI with Deep Agents and LangSmith

Toyota Motor North America는 Deep Agents·LangGraph·LangSmith를 활용해 에이전트 개발과 제조·연구 업무를 단축하고, 전사 AI의 투자 수익과 비용 절감을 추진하고 있다.

#langgraph #langsmith #deep-agents #agent-development-acceleration

Article2026년 8월 20일

Test Agent Changes with LangSmith Preview Builds

랭스미스 프리뷰 빌드는 풀 리퀘스트의 소스 브랜치를 임시 운영 유사 환경에 배포해, 상위 배포를 변경하지 않고 에이전트의 실제 동작을 병합 전에 공동 검증하게 해주는 기능이다.

#github #langsmith #langsmith-preview-builds #automatic-branch-revisions

Article2026년 8월 18일

Introducing LangSmith Tuned Evaluators

LangSmith Tuned Evaluators는 Perceived Error를 시작으로 전문화된 관리형 판정 모델이 적격 생산 대화를 평가하고 결과와 설명을 추적에 첨부해, 평가 정확도와 범위를 확보하면서 비용과 운영 부담을 낮추는 서비스다.

#langchain #langsmith #perceived-error #langsmith-tuned-evaluators

Article2026년 8월 17일

AgentCore Payments middleware for LangChain agents

AgentCore Payments 미들웨어는 LangChain 에이전트가 유료 API를 자동 결제하도록 지원하면서, 인프라 계층의 세션 예산 통제와 LangSmith의 추적·평가를 통해 지출의 안전성과 구매의 유용성을 함께 검증하게 한다.

#langchain #langsmith #agentcore-payments #contextual-payment-audits

Article2026년 8월 13일

Why managed agents are the next big thing in agent building

Managed Deep Agents는 표준화된 에이전트 하네스와 프로덕션 인프라를 결합해 개발자가 고유한 비즈니스 로직에 집중하면서 에이전트를 안정적으로 구축·실행·배포하도록 돕는 관리형 에이전트 서비스다.

#langsmith #managed-deep-agents #model-context-protocol #developer-extensible-agents

Article2026년 8월 7일

Managed Deep Agents is now in public beta

관리형 딥 에이전트는 모델과 비즈니스 로직에 대한 개발자의 통제권을 유지하면서, 장기 실행·상태 보존·샌드박스·평가·채널·배포에 필요한 운영 인프라를 랭스미스가 맡는 코드 중심의 관리형 런타임이다.

#langsmith #deep-agents #harbor-evals #managed-deep-agents

Article2026년 8월 7일

Managed Deep Agents: the fastest way to ship a production deep agent

Managed Deep Agents는 오픈소스 Deep Agents의 정의와 프로젝트 구조는 개발자가 유지하면서, 장기 실행에 필요한 스레드·체크포인트·컨텍스트·도구·샌드박스·추적을 LangSmith가 관리하는 API 중심 호스팅 런타임이다.

#langsmith #context-hub #deep-agents #agent-definition-portability

Article2026년 8월 5일

How we built an autonomous SRE agent for Kubernetes

Kubernetes 상태 읽기와 진단은 자율화하되 모든 변경은 사람이 승인하도록 구조적으로 분리하고, 저비용 감시와 추적·평가 루프를 결합한 자율형 SRE 에이전트 구축 사례다.

#kubernetes #langgraph #langsmith #deep-agents

Article2026년 8월 4일

How to Evaluate Voice Agents with LangSmith

음성 에이전트는 지시 이행, 실제 결과, 통화 경험을 분리해 평가하고, 각 신호에 맞는 코드·언어 모델·음성·비즈니스 시스템 평가와 사람 검토를 결합해야 한다.

#langchain #langsmith #human-calibrated-evaluators #llm

Article2026년 7월 31일

Evaluating code review agents with ReviewBench

ReviewBench는 실제 LangSmith PR의 검토 의견을 재현 가능한 평가 과제로 만든 벤치마크로, 기본 하네스에서는 최신 모델도 기준 이슈 대부분을 놓쳤지만 구조화된 검토 프롬프트만으로도 성능이 크게 달라질 수 있음을 보여준다.

#harbor #langsmith #reviewbench #coverage-precision-tradeoff

Article2026년 7월 30일

LangSmith LLM Gateway: runtime governance built into the agent lifecycle

LangSmith LLM Gateway는 에이전트와 모델 제공자 사이에서 비용·민감정보 정책을 요청 단계에 집행하고, 위반 조사와 수정까지 기존 LangSmith 추적 환경에 통합하는 런타임 거버넌스 계층이다.

#llm #langchain #langsmith #langsmith-llm-gateway

Article2026년 7월 29일

How Similarweb Evaluates Agent Reports with LangSmith

시밀러웹은 랭스미스에서 단답형 질의에는 정답 예시와 도구 검사를, 장문 연구 보고서에는 다차원 평가표·근거 충실성 검사·기준 실행 비교를 적용하고, 모든 점수를 설명과 실행 추적에 연결해 에이전트 변경을 검증한다.