🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangSmith가 LangChain·LangGraph 애플리케이션을 위한 엔드투엔드 OpenTelemetry 지원을 추가해, LLM 애플리케이션의 추적 데이터를 표준 형식으로 수집·전송·시각화할 수 있게 했습니다.

📌 핵심 요약

• LangSmith는 기존에 OpenTelemetry를 백엔드 추적 수집 형식으로만 지원했지만, 이번 업데이트로 LangSmith SDK 안에 네이티브 OpenTelemetry 지원을 추가해 엔드투엔드 파이프라인을 완성했습니다.
• OpenTelemetry는 복잡하고 분산된 애플리케이션에서 성능, 시스템 동작, 문제 원인을 일관된 방식으로 추적하게 해주는 오픈소스 관측성 표준입니다.
• LLM 애플리케이션은 단순 오류율보다 다단계 워크플로, 동적이고 확률적인 출력, 복잡한 평가 지표를 이해해야 하므로 기존 모니터링보다 더 특화된 관측성이 필요합니다.
• 새 파이프라인은 LangChain·LangGraph 계측, LangSmith SDK의 표준 형식 변환·전송, LangSmith 플랫폼의 수집·시각화로 구성되며, Datadog·Grafana·Jaeger 같은 기존 관측 도구와도 연결할 수 있습니다.
• 다만 OpenTelemetry 방식은 LangSmith 네이티브 추적 형식보다 약간 더 많은 오버헤드가 있으므로, LangSmith만 사용하는 경우에는 실시간 추적, 빠른 수집, 낮은 메모리 사용량을 제공하는 네이티브 형식이 권장됩니다.

🧩 주요 포인트

1. LangSmith는 기존에 OpenTelemetry를 백엔드 추적 수집 형식으로만 지원했지만, 이번 업데이트로 LangSmith SDK 안에 네이티브 OpenTelemetry 지원을 추가해 엔드투엔드 파이프라인을 완성했습니다.
2. OpenTelemetry는 복잡하고 분산된 애플리케이션에서 성능, 시스템 동작, 문제 원인을 일관된 방식으로 추적하게 해주는 오픈소스 관측성 표준입니다.
3. LLM 애플리케이션은 단순 오류율보다 다단계 워크플로, 동적이고 확률적인 출력, 복잡한 평가 지표를 이해해야 하므로 기존 모니터링보다 더 특화된 관측성이 필요합니다.
4. 새 파이프라인은 LangChain·LangGraph 계측, LangSmith SDK의 표준 형식 변환·전송, LangSmith 플랫폼의 수집·시각화로 구성되며, Datadog·Grafana·Jaeger 같은 기존 관측 도구와도 연결할 수 있습니다.
5. 다만 OpenTelemetry 방식은 LangSmith 네이티브 추적 형식보다 약간 더 많은 오버헤드가 있으므로, LangSmith만 사용하는 경우에는 실시간 추적, 빠른 수집, 낮은 메모리 사용량을 제공하는 네이티브 형식이 권장됩니다.

🧠 상세 정리

1. LangSmith의 엔드투엔드 OpenTelemetry 지원

이 글은 LangSmith가 LangChain 또는 LangGraph 기반 애플리케이션을 위해 완전한 엔드투엔드 OpenTelemetry 지원을 제공하게 됐다고 소개합니다. 이전에는 전체 시스템을 관찰하려면 여러 도구와 형식을 함께 다뤄야 했지만, 이제는 OpenTelemetry 표준을 통해 추적 데이터를 더 일관되게 다룰 수 있습니다. LangSmith는 이 추적 데이터를 자체 테스트·관측성 플랫폼으로 받을 수 있고, 필요하면 다른 관측성 플랫폼으로도 보낼 수 있게 합니다. 특히 과거에는 OpenTelemetry가 주로 백엔드 추적 수집 형식으로만 지원됐지만, 이번 업데이트는 LangSmith SDK 자체에 OpenTelemetry 지원을 넣었다는 점이 핵심입니다.

2. LLM 애플리케이션에서 OpenTelemetry가 필요한 이유

OpenTelemetry는 텔레메트리 데이터를 수집하고, 내보내고, 분석하는 방식을 표준화하는 오픈소스 관측성 프레임워크로 설명됩니다. 애플리케이션이 점점 복잡해지고 분산 구조를 갖게 되면, 성능을 추적하고 시스템 동작을 이해하며 문제를 해결하는 공통 방식이 중요해집니다. 글은 특히 LLM 애플리케이션의 관측성이 일반 애플리케이션 모니터링과 다르다고 강조합니다. 기존 모니터링이 오류나 예상 동작 준수 여부에 초점을 맞춘다면, LLM 관측성은 다단계 흐름과 확률적 출력, 단순 오류율을 넘어서는 평가 지표까지 이해해야 합니다.

3. LangSmith OpenTelemetry 파이프라인의 구성

이번 업데이트로 LangSmith는 LLM 애플리케이션을 위한 완전한 OpenTelemetry 파이프라인을 제공한다고 설명합니다. 첫 단계는 LangChain 계측으로, LangChain 또는 LangGraph 애플리케이션에서 상세한 추적 정보를 자동으로 생성합니다. 두 번째 단계는 LangSmith SDK이며, 이 SDK가 추적 데이터를 OpenTelemetry의 표준화된 형식으로 변환하고 전송합니다. 마지막 단계는 LangSmith 플랫폼으로, 수집된 추적을 LLM에 특화된 관측성 대시보드에서 시각화해 개발자가 각 실행 단계를 확인할 수 있게 합니다.

4. 통합 관측성, 분산 추적, 상호운용성

이 통합이 제공하는 주요 이점은 전체 애플리케이션 스택을 하나의 일관된 관점에서 볼 수 있다는 점입니다. 글은 LangChain 구성 요소부터 그 아래의 인프라까지 하나의 응집된 화면에서 관찰할 수 있다고 설명합니다. 또한 분산 추적을 통해 요청이 마이크로서비스 구조 안에서 어떻게 이동하는지 따라갈 수 있고, 컨텍스트 전파를 통해 관련 span이 같은 trace에 연결됩니다. OpenTelemetry 표준을 사용하기 때문에 Datadog, Grafana, Jaeger 같은 기존 관측성 도구와 인프라에도 연결할 수 있다는 점이 함께 강조됩니다.

5. 시작 방법과 예제 흐름

글은 OpenTelemetry 지원을 사용하기 위한 기본 절차도 함께 제시합니다. 먼저 OpenTelemetry 지원이 포함된 LangSmith 패키지와 LangChain을 설치하고, 환경 변수로 LANGSMITH_OTEL_ENABLED, LANGSMITH_TRACING, LangSmith 엔드포인트, API 키를 설정합니다. 이후 LangChain 애플리케이션을 만들면, 환경 변수 설정에 따라 LangChain이 OpenTelemetry를 사용해 추적을 LangSmith로 보내게 됩니다. 예시는 프롬프트 템플릿과 ChatOpenAI 모델을 연결한 간단한 체인을 실행하고, 실행 후 LangSmith 대시보드에서 trace를 확인하는 흐름을 보여줍니다.

6. 성능상 고려와 네이티브 추적 형식의 권장 조건

글은 OpenTelemetry 지원이 유연성과 상호운용성을 제공하지만, LangSmith의 네이티브 추적 형식과 비교하면 약간 더 높은 오버헤드가 있다고 밝힙니다. 따라서 관측성 플랫폼으로 LangSmith만 사용하는 사용자는 최적의 성능을 위해 네이티브 추적 형식을 계속 쓰는 것이 권장됩니다. 네이티브 형식은 pending run을 포함한 실시간 추적, 더 빠른 수집 속도, SDK의 낮은 메모리 오버헤드를 장점으로 제시합니다. 또한 이 형식은 LLM 애플리케이션의 고유한 데이터 패턴과 데이터 규모에 맞춰 설계됐기 때문에, 범용 OpenTelemetry 형식보다 계산 및 메모리 부담이 낮다고 설명됩니다.

🧾 핵심 주장 / 시사점

• 이번 업데이트의 핵심은 단순한 추적 수집 기능 추가가 아니라, LangChain·LangGraph 계측부터 SDK 전송, LangSmith 대시보드 시각화까지 이어지는 표준 기반 관측성 흐름을 완성했다는 점입니다.
• OpenTelemetry는 여러 관측성 도구를 함께 쓰는 조직에는 유리하지만, LangSmith만 사용하는 경우에는 네이티브 형식이 성능 면에서 더 적합할 수 있으므로 사용 환경에 따라 선택해야 합니다.
• LLM 애플리케이션 관측성은 일반적인 오류 모니터링을 넘어 프롬프트부터 최종 응답까지의 다단계 실행 경로와 평가 지표를 함께 추적하는 방향으로 확장되고 있습니다.

✅ 액션 아이템

• LangSmith SDK에 네이티브 OpenTelemetry를 적용해 LangChain·LangGraph 추적을 엔드투엔드로 수집·전송·시각화한다.
• Datadog·Grafana·Jaeger 연동 시 OpenTelemetry 경로의 오버헤드와 메모리 사용량을 네이티브 형식과 비교해 기준을 정한다.
• LLM의 다단계 워크플로와 확률적 출력 특성을 반영해 기존 오류율 중심 모니터링에 처리 지연·평가 지표 점검을 결합한다.

❓ 열린 질문

• OpenTelemetry 전환 시 LangSmith 네이티브 형식 대비 허용할 추가 오버헤드 상한은 어느 정도인가?
• LangChain·LangGraph에서 어떤 계측 단위를 기본 span으로 잡아 추적 정밀도와 비용을 균형있게 맞출 것인가?
• Datadog·Grafana·Jaeger 연동에서 어떤 수집 항목을 우선 모니터링해야 오탐과 누락을 함께 줄일 수 있는가?