🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith가 OpenTelemetry 형식의 trace 수집을 지원해, OpenLLMetry 규약 기반의 LLM 모니터링과 시스템 telemetry를 LangSmith 안에서 함께 볼 수 있게 됐다는 발표입니다.

📌 핵심 요약

• LangSmith는 이제 OpenTelemetry 형식의 trace를 직접 ingest할 수 있으며, 지원되는 OpenTelemetry exporter를 LangSmith OTEL endpoint로 지정하면 trace가 LangSmith 대시보드에 수집됩니다.
• 이번 업데이트의 핵심은 LLM 모니터링과 일반 시스템 telemetry를 통합해 애플리케이션 성능을 더 완전하게 관찰할 수 있게 하는 것입니다.
• LangSmith는 생성형 AI 영역의 semantic convention 중 OpenLLMetry 형식을 지원하며, 이 형식은 LLM 모델, 벡터 데이터베이스, 일반 LLM 프레임워크에 대한 기본 instrumentation을 제공합니다.
• 글은 OpenTelemetry Python client, Traceloop SDK, Vercel AI SDK를 이용해 LangSmith로 trace를 보내는 세 가지 시작 방법을 단계별로 설명합니다.
• 현재는 OpenLLMetry semantic convention으로 데이터를 보내야 하며, LangSmith는 향후 OpenTelemetry Gen AI semantic convention 같은 다른 규약도 발전에 맞춰 지원할 계획이라고 밝힙니다.

🧩 주요 포인트

1. LangSmith는 이제 OpenTelemetry 형식의 trace를 직접 ingest할 수 있으며, 지원되는 OpenTelemetry exporter를 LangSmith OTEL endpoint로 지정하면 trace가 LangSmith 대시보드에 수집됩니다.
2. 이번 업데이트의 핵심은 LLM 모니터링과 일반 시스템 telemetry를 통합해 애플리케이션 성능을 더 완전하게 관찰할 수 있게 하는 것입니다.
3. LangSmith는 생성형 AI 영역의 semantic convention 중 OpenLLMetry 형식을 지원하며, 이 형식은 LLM 모델, 벡터 데이터베이스, 일반 LLM 프레임워크에 대한 기본 instrumentation을 제공합니다.
4. 글은 OpenTelemetry Python client, Traceloop SDK, Vercel AI SDK를 이용해 LangSmith로 trace를 보내는 세 가지 시작 방법을 단계별로 설명합니다.
5. 현재는 OpenLLMetry semantic convention으로 데이터를 보내야 하며, LangSmith는 향후 OpenTelemetry Gen AI semantic convention 같은 다른 규약도 발전에 맞춰 지원할 계획이라고 밝힙니다.

🧠 상세 정리

1. LangSmith의 OpenTelemetry trace 수집 지원 발표

이 글은 LangSmith가 OpenTelemetry 형식의 trace ingest를 지원하기 시작했다는 회사 발표입니다. OpenTelemetry는 다양한 프로그래밍 언어, 프레임워크, 모니터링 도구에서 telemetry 데이터를 instrument하고 export할 수 있게 하는 공개 표준입니다. LangSmith의 API layer가 이제 OpenTelemetry trace를 직접 받을 수 있으므로, 사용자는 지원되는 exporter를 LangSmith의 OTEL endpoint로 지정해 trace를 보낼 수 있습니다. 이렇게 수집된 trace는 LangSmith 안에서 접근 가능하며, LLM 모니터링과 시스템 telemetry를 함께 보면서 애플리케이션 성능을 확인하는 흐름을 제공합니다.

2. semantic convention과 생성형 AI trace의 위치

본문은 OpenTelemetry가 다양한 사용 사례에 맞춰 attribute 이름과 데이터 구조에 대한 semantic convention을 정의한다고 설명합니다. 예시로 데이터베이스, 메시징 시스템, HTTP나 gRPC 같은 프로토콜에 대한 규약이 언급됩니다. LangSmith가 특히 관심을 두는 영역은 생성형 AI 관련 semantic convention입니다. 다만 이 영역은 아직 새롭기 때문에 일부 기존 규약은 있으나 공식 표준은 계속 개발 중이라고 정리합니다. 따라서 이번 지원은 단순히 trace를 받는 기능을 넘어서, LLM 호출과 응답, 모델, 토큰 사용량 같은 정보를 어떤 속성 체계로 표현할지에 초점을 둡니다.

3. OpenLLMetry 형식 지원과 향후 규약 확장 계획

LangSmith는 현재 OpenLLMetry 형식의 trace를 지원한다고 밝힙니다. OpenLLMetry는 LLM 모델, 벡터 데이터베이스, 일반적인 LLM 프레임워크에 대해 out-of-the-box instrumentation을 가능하게 하는 semantic convention이자 구현입니다. 본문은 데이터를 OpenLLMetry semantic convention에 맞춰 보내야 하며, 그런 다음 OpenTelemetry 호환 SDK를 LangSmith OTEL endpoint로 설정해 trace를 ingest할 수 있다고 설명합니다. 또한 LangSmith는 OpenTelemetry Gen AI semantic convention 같은 다른 semantic convention도 발전에 맞춰 수용할 계획이라고 덧붙입니다.

4. OpenTelemetry Python client로 시작하는 방법

첫 번째 예시는 일반 OpenTelemetry Python client를 사용해 LangSmith로 trace를 보내는 방법입니다. 글은 openai, opentelemetry-sdk, opentelemetry-exporter-otlp 패키지를 설치한 뒤, OTEL_EXPORTER_OTLP_ENDPOINT를 LangSmith의 OTEL endpoint로 지정하고 header에 LangSmith API key와 프로젝트 이름을 넣도록 안내합니다. 이어지는 코드 예시는 OpenAI chat completion 호출을 span으로 감싸고, span kind, 사용자 metadata, provider, 요청 모델, 메시지, 응답 모델, completion 내용, 토큰 사용량 같은 attribute를 설정합니다. 실행 후 LangSmith dashboard에서 trace를 확인할 수 있다고 설명합니다.

5. Traceloop SDK를 이용한 OpenLLMetry 기반 instrumentation

두 번째 예시는 Traceloop의 OpenLLMetry SDK를 사용해 trace를 전송하는 방식입니다. 이 SDK는 모델, 벡터 데이터베이스, 프레임워크 등 여러 통합을 기본으로 지원한다고 소개됩니다. 사용자는 traceloop-sdk를 설치하고, TRACELOOP_BASE_URL을 LangSmith OTEL endpoint로 설정하며, TRACELOOP_HEADERS에 API key를 넣습니다. 이후 Traceloop.init()을 호출해 SDK를 초기화하면 됩니다. 본문은 OpenAI chat completion을 호출하는 완전한 예시를 보여주며, 이 경우에도 실행 결과가 LangSmith dashboard의 trace로 나타난다고 안내합니다.

6. Vercel AI SDK 통합 방식

세 번째 예시는 Vercel AI SDK 통합입니다. LangSmith library가 정의한 client-side trace exporter를 사용하며, 먼저 ai, @ai-sdk/openai, zod 패키지를 설치하도록 안내합니다. 환경 변수로 LangChain tracing, LangSmith API key, 예시에서 사용할 OpenAI API key를 설정한 뒤, 프로젝트 root에 instrumentation.js 파일을 만들고 @vercel/otel의 registerOTel과 langsmith/vercel의 AISDKExporter를 연결합니다. 이후 trace하려는 AI SDK 호출에 experimental_telemetry 인자를 추가하고, AISDKExporter.getSettings()를 사용해 LangSmith용 추가 metadata를 붙입니다. 예시는 streamText 호출을 통해 vegetarian lasagna recipe 프롬프트를 실행하고, 결과 trace를 LangSmith dashboard에서 확인할 수 있다고 설명합니다.

🧾 핵심 주장 / 시사점

• LangSmith의 새 지원은 기존 OpenTelemetry exporter와 SDK를 활용해 LLM 애플리케이션 trace를 LangSmith로 직접 연결하는 데 초점을 둡니다.
• 현재 실제 사용의 중심 규약은 OpenLLMetry이며, 생성형 AI semantic convention이 아직 발전 중이라는 점을 전제로 설계되어 있습니다.
• 본문의 세 가지 예시는 Python 기본 OpenTelemetry client, Traceloop SDK, Vercel AI SDK처럼 서로 다른 개발 환경에서도 LangSmith trace 수집 흐름을 구성할 수 있음을 보여줍니다.

✅ 액션 아이템

• LangSmith OTEL endpoint에 지원되는 OpenTelemetry exporter를 지정해 핵심 트래픽 경로 trace가 대시보드에 실제 수집되는지 우선 검증한다.
• OpenLLMetry semantic convention 기반 계측을 LLM 모델, 벡터 데이터베이스, LLM 프레임워크에 적용해 두 telemetry를 통합 관측 관점에서 정렬한다.
• OpenTelemetry Python client·Traceloop SDK·Vercel AI SDK를 비교해 현재 환경에서 적용 난이도와 초기 설정 부담이 가장 낮은 연동 방식을 선정한다.

❓ 열린 질문

• OpenLLMetry 기본 계측이 현재 운영 스택의 LLM, 벡터 DB, 프레임워크에서 실제 커버리지를 충분히 확보하는가?
• 향후 OpenTelemetry Gen AI semantic convention 지원이 확대되면 OpenLLMetry 전용 구성은 언제까지 유지하고 언제 전환해야 하는가?
• 세 가지 전송 방법 중 어떤 방식이 LLM 모니터링과 시스템 telemetry를 동시에 안정적으로 LangSmith에서 함께 보게 할 수 있는가?