How Orange Business Built Live Intelligence with LangChain and LangSmith

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Orange Business는 LangChain과 LangSmith를 기반으로 Live Intelligence를 확장해, 기업용 에이전트의 개발·거버넌스·평가·운영을 연결하는 플랫폼을 구축했다.

📌 핵심 요약

• Orange Group의 B2B 사업 부문인 Orange Business의 대표 AI 플랫폼 Live Intelligence는 Orange 직원 120,000명에게 배포됐으며, 프랑스와 유럽에서 150곳 이상의 고객사가 도입했다.
• Orange Business는 기업용 에이전트 인프라를 자체 구축하려면 1년 이상이 필요하다고 판단했다. Orange Innovation이 약 20개 공급업체를 평가한 뒤 모델 중립성·이식성·유럽 데이터 주권 요구 대응을 위해 LangChain을 선택했으며, LangSmith의 관측 기능을 내부에서 개발했다면 일정이 12~18개월 지연됐을 것이라고 설명했다.
• Live Intelligence는 개발자용 Studio, 업무 사용자용 Portal, 관리자용 Console로 구성된다. Agent Registry와 MCP Registry는 에이전트·프롬프트의 재사용 및 버전 관리와 신뢰할 수 있는 도구·기업 시스템 접근의 통제를 지원한다.
• Orange Business는 LangSmith로 RAG 품질, 에이전트 행동, 프로덕션 실행 추적을 평가한다. 배포 전 회귀 평가, 에이전트 버전 비교, 과거 실행 추적 재생, 정상·비정상 행동 데이터셋을 활용해 오류 원인을 파악하고 프롬프트를 개선한다.
• Orange Business는 기술팀과 업무팀이 함께 개발·평가하는 방식으로 운영 효율이 개선됐다고 설명한다. 향후 온라인 평가로 협업을 확대하고, CRM·법무 워크플로를 연계한 보험금 청구 전 과정 지원과 항만 보안 센서 감시 및 현장 엔지니어 긴급 개입 지원을 추진할 계획이다.

🧩 주요 포인트

1. 모델 중립성과 이식성을 갖춘 기반 채택 → 에이전트 아키텍처 소유권을 유지하면서 유럽 데이터 주권 요구에 맞춰 워크로드를 관리하는 선택.
2. Studio·Portal·Console의 역할 분담과 Agent Registry·MCP Registry의 공통 통제 → 개발부터 업무 활용·관리까지 연결하고, 팀별 중복 구현을 줄이는 구조.
3. 실행 추적·배포 전 회귀 평가·업무팀의 품질 평가 참여 연결 → 오류 원인 분석과 프롬프트 개선을 지속적인 협업 과정으로 전환.

🧠 상세 정리

1. 개인 업무 지원에서 기업 프로세스 자동화로

Orange Business는 유럽의 대형 통신·디지털 서비스 기업인 Orange Group의 B2B 사업 부문이며, 대표 AI 플랫폼 Live Intelligence를 제공한다. 이 플랫폼은 Orange 직원 120,000명에게 배포됐고 프랑스와 유럽에서 150곳 이상의 고객사가 도입했다. 초기 Live Intelligence Portal은 직원이 간단한 AI 에이전트를 만들고 기본 API 호출을 실행하는 수준의 개인 업무를 지원했다. 다음 목표는 분산된 기업 시스템을 연결해 전체 업무 프로세스를 조율하고, 접근 권한을 통제하며, 대규모 프로덕션 환경에서 안정적으로 작동하는 에이전트였다. 그러나 이에 필요한 오케스트레이션·배포·모니터링·관측 인프라를 자체 구현하려면 1년 이상이 필요하다고 판단했고, 외부 기반을 찾는 과정에서 Live Intelligence Studio가 탄생했다.

2. 약 20개 공급업체 평가와 기반 기술 선택

Orange Group의 혁신 기술 탐색 조직인 Orange Innovation은 주요 클라우드 사업자와 전문 AI 공급업체의 솔루션 약 20개를 평가했다. 오픈소스를 우선하는 평가에서 LangChain을 선택한 핵심 이유는 모델 중립성과 이식성이었다. 이를 통해 팀은 에이전트 아키텍처의 소유권을 온전히 유지하고 유럽 데이터 주권 요구에 대응해 워크로드를 관리할 수 있다고 보았다. 평가와 관측 영역에서는 LangSmith가 가장 적합한 선택으로 판단됐다. Orange Business의 AI 제품 책임자 Mathieu Ducrot는 LangSmith의 관측 기능이 내부에서 현실적으로 구축할 수 있는 수준을 크게 앞섰으며, 자체 개발했다면 일정이 12~18개월 지연됐을 것이라고 설명했다.

3. Studio·Portal·Console의 역할 분담

Live Intelligence는 서로 다른 사용자를 위한 Studio, Portal, Console의 세 구성요소로 나뉜다. Studio는 AI 엔지니어와 에이전트 개발자가 여러 시스템을 연결하는 복잡한 워크플로를 설계하는 환경으로, Orange Business 인프라와 퍼블릭 클라우드에 호스팅된 모델의 LLM-as-a-Service 카탈로그를 제공한다. 여기에 LangSmith Fleet 기반 에이전트 빌더, MCP 지원, LangSmith를 통한 에이전트 관측, 오케스트레이션 도구가 포함된다. Portal은 인사팀의 채용 공고 작성, 법무팀의 NDA 조항 검토, 소프트웨어팀의 테스트 스크립트 자동 생성, 헬프데스크의 IT 지원 에이전트 구축 등 업무 사용자를 위한 인터페이스다. Studio에서 만든 워크플로는 Portal에 직접 배포해 통제된 사용자 경험으로 제공할 수 있다. Console은 기업 관리자가 사용량과 성능을 확인하고 보안·컴플라이언스 정책을 적용하도록 지원한다.

4. 두 레지스트리를 통한 조직 차원의 거버넌스

Live Intelligence는 개별 에이전트를 넘어 조직 전체의 재사용과 통제를 지원하기 위해 Agent Registry와 MCP Registry를 제공한다. Agent Registry에서는 에이전트와 프롬프트를 검색·재사용하고 버전과 수명주기를 관리해, 여러 팀이 같은 기능을 반복해서 만드는 일을 줄인다. Orange는 LangSmith Context Hub로 환경별 프롬프트 버전을 유지하며, 코드 변경 없이 프롬프트 변경 사항을 테스트·검증한 뒤 프로덕션에 제공한다. MCP Registry는 신뢰할 수 있는 도구·커넥터·외부 기능을 중앙 카탈로그로 관리하고, Microsoft 365·CRM·내부 API·사용자 정의 서비스에 대한 접근을 통제하고 감사할 수 있게 한다. 두 레지스트리는 비즈니스 로직을 프롬프트에서 플랫폼 계층으로 옮겨, 각 팀이 인증·보안·거버넌스를 처음부터 다시 구현할 필요를 줄이는 역할을 한다.

5. 세 계층 평가와 배포 전 회귀 검증

Orange Business는 LangSmith를 기반으로 프로덕션에서 RAG 품질, 에이전트 행동, 실행 추적 모니터링의 세 계층을 평가한다. RAG 품질은 질문·답변 쌍과 기대 원문 문서를 담은 골든 데이터셋을 이용해 검색 재현율, 근거 연결 품질, 답변 충실도를 살피고, 에이전트 행동은 도구 선택 정확도·작업 완료율·거부 행동·프롬프트 인젝션 견고성·업무 제약 준수를 점검한다. 실행 추적에서는 지연 시간, 비용, 모델 사용량, 실패한 실행, 사람의 피드백과 에스컬레이션 사례를 확인하며, 엔지니어·제품 관리자·QA가 같은 기록과 평가 결과를 공유한다. 배포 전에는 회귀 평가를 수행하고 에이전트 버전 비교와 과거 실행 추적 재생으로 동작을 검증한다. 여러 에이전트와 도구가 상호작용하는 워크플로에서는 전체 실행 트리를 통해 실패 위치, 실행 중이던 에이전트·도구, 입력·응답, 단계별 소요 시간과 전체 실행에 대한 기여를 조사한다. 또한 정상·비정상 행동을 보여주는 실행 사례를 데이터셋으로 만들어 오프라인 평가와 지속적인 프롬프트 개선에 활용한다.

6. 공동 개선 방식의 성과와 향후 확장

Orange Business는 구축한 시스템이 엔지니어와 분야 전문가에게 에이전트 개발·개선을 위한 공통 작업 방식을 제공해 팀 전반의 운영 효율을 높였다고 설명한다. Mathieu Ducrot에 따르면 기술팀은 애플리케이션과 에이전트 워크플로 구현을 담당하고, 업무팀은 프롬프트 개선과 품질 평가에 적극 참여한다. LangSmith는 프롬프트 반복 개선, 실행 추적, 평가를 하나의 지속적인 개선 과정으로 연결하며, Orange는 더 풍부한 피드백을 얻기 위해 이러한 협업을 온라인 평가로 확대할 계획이다. 향후 추진 사례에는 CRM과 법무 워크플로를 연계해 보험금 청구 전 과정을 지원하는 에이전트가 포함된다. 항만의 보안 센서를 감시하고 현장 엔지니어의 긴급 개입을 지원하는 에이전트도 개발 방향으로 제시됐으며, 이 사례들은 향후 확장 계획으로 설명된다.

🧾 핵심 주장 / 시사점

• Orange Business의 선택은 기업용 에이전트 구축에서 모델 활용뿐 아니라 오케스트레이션·배포·관측 인프라의 개발 부담이 주요 의사결정 요인임을 보여준다.
• Agent Registry와 MCP Registry는 에이전트 재사용과 기업 시스템 접근 통제를 함께 다루며, 조직 규모의 확장에 필요한 공통 기능을 플랫폼에 모으는 역할을 한다.
• 실행 추적을 공유하고 업무팀이 품질 평가에 참여하는 방식은 기술적 오류 분석과 업무 적합성 판단을 하나의 개선 과정으로 연결한다.

✅ 액션 아이템

• 기업용 에이전트 기반 선정 시 LangChain의 모델 중립성·이식성과 유럽 데이터 주권 요구 대응을 검토.
• LangSmith의 배포 전 회귀 평가·에이전트 버전 비교·과거 실행 추적 재생을 활용한 변경 검증 적용 검토.
• 기술팀과 업무팀의 품질 평가 협업을 온라인 평가로 확대하는 방안 검토.

❓ 열린 질문

• Live Intelligence의 운영 효율 개선은 어떤 지표와 수치로 확인할 수 있는가?
• LangChain의 모델 중립성과 이식성은 유럽 데이터 주권 요구에 맞춘 워크로드 관리에서 구체적으로 어떻게 활용되는가?
• 온라인 평가로 협업을 확대할 때 기술팀과 업무팀은 품질 평가 역할을 어떻게 나눌 계획인가?