🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

인터콤은 조기 실험으로 모델 이해도를 높이고, 엄격한 평가로 도입 속도를 끌어올리며, 모델 교체가 쉬운 유연한 아키텍처를 구축해 지속 가능한 인공지능 경쟁력을 만들었다.

📌 핵심 요약

• 인터콤은 2022년 챗지피티 공개 직후 생성형 모델 실험을 시작했고, 비인공지능 프로젝트를 중단하는 등 전사적 전환을 거쳐 불과 4개월 만에 고객 문의를 처리하는 핀을 출시했다.
• 초기 실험을 통해 지피티-3.5의 가능성과 한계를 미리 파악한 경험은 지피티-4가 등장했을 때 모델의 실전 투입 가능성을 빠르게 판단하고 제품화하는 기반이 됐다.
• 실제 고객지원 대화와 다단계 업무를 활용한 오프라인 평가와 실시간 에이비 시험을 운영함으로써 지시 이행, 도구 호출, 일관성, 해결률, 고객 만족도를 배포 전에 검증했다.
• 지피티-4.1은 핀 태스크 평가에서 높은 신뢰도를 보이면서 지피티-4오보다 비용을 20퍼센트 절감했고, 인터콤은 평가 결과를 바탕으로 며칠 만에 주요 업무를 새 모델로 이전했다.
• 채팅·이메일·음성을 지원하는 모듈형 모델 독립 아키텍처는 업무별로 적합한 모델을 선택하거나 교체할 수 있게 했으며, 고객지원뿐 아니라 환불·계정 변경·제품 기획을 위한 데이터 활용까지 확장할 토대를 제공했다.

🧩 주요 포인트

1. 인터콤은 2022년 챗지피티 공개 직후 생성형 모델 실험을 시작했고, 비인공지능 프로젝트를 중단하는 등 전사적 전환을 거쳐 불과 4개월 만에 고객 문의를 처리하는 핀을 출시했다.
2. 초기 실험을 통해 지피티-3.5의 가능성과 한계를 미리 파악한 경험은 지피티-4가 등장했을 때 모델의 실전 투입 가능성을 빠르게 판단하고 제품화하는 기반이 됐다.
3. 실제 고객지원 대화와 다단계 업무를 활용한 오프라인 평가와 실시간 에이비 시험을 운영함으로써 지시 이행, 도구 호출, 일관성, 해결률, 고객 만족도를 배포 전에 검증했다.
4. 지피티-4.1은 핀 태스크 평가에서 높은 신뢰도를 보이면서 지피티-4오보다 비용을 20퍼센트 절감했고, 인터콤은 평가 결과를 바탕으로 며칠 만에 주요 업무를 새 모델로 이전했다.
5. 채팅·이메일·음성을 지원하는 모듈형 모델 독립 아키텍처는 업무별로 적합한 모델을 선택하거나 교체할 수 있게 했으며, 고객지원뿐 아니라 환불·계정 변경·제품 기획을 위한 데이터 활용까지 확장할 토대를 제공했다.

🧠 상세 정리

1. 챗지피티 공개 직후 시작된 전사적 인공지능 전환

인터콤은 2022년 챗지피티가 공개되자 시장의 반응을 지켜보는 대신 몇 시간 안에 지피티-3.5 실험을 시작했다. 대규모 언어 모델이 고객 경험을 근본적으로 바꿀 것이라고 판단한 경영진은 여러 부서가 참여하는 전담 조직을 구성하고 비인공지능 프로젝트를 중단했으며, 사업을 인공지능 중심으로 재구축하는 데 1억 달러를 투입했다. 이 결정은 제품 조직 개편, 인공지능 우선 헬프데스크 전략 수립, 대량이면서 복잡한 문의를 처리할 수 있는 플랫폼 구축으로 이어졌다. 그 결과 인터콤은 초기 실험을 시작한 지 불과 4개월 만에 인공지능 에이전트 핀을 출시했고, 핀은 현재 매달 수백만 건의 고객 문의를 해결하고 있다. 인터콤이 강조하는 출발점은 인공지능 기능을 기존 제품에 덧붙이는 것이 아니라 제품과 운영 구조 자체에 처음부터 내장해야 한다는 것이다.

2. 반복적인 조기 실험으로 축적한 모델 이해도

인터콤은 생성형 모델을 일찍부터 직접 다루면서 모델이 잘하는 일과 실패하는 조건을 구체적으로 파악하고, 실제 제품에 적용할 수 있는 기회를 찾아냈다. 지피티-3.5는 자연스러운 대화를 만들 가능성을 보여줬지만 고객 응대를 맡길 만큼 안정적이지 않았고, 이 한계를 미리 확인한 경험 덕분에 2023년 초 지피티-4가 등장했을 때 실전 투입 가능성을 빠르게 판단할 수 있었다. 같은 모델 이해도는 환불과 기술지원 같은 복잡한 절차를 자동화하는 핀 태스크 설계에도 활용됐다. 당초에는 추론 모델 중심의 구성이 필요할 것으로 예상했지만, 평가 결과 지피티-4.1만으로도 더 낮은 지연 시간에 높은 신뢰도로 업무를 수행할 수 있었다. 또한 비추론 질의에 사고 과정 유도형 프롬프트를 적용하면 성능 격차를 줄일 수 있다는 점도 실험을 통해 확인했다.

3. 엄격한 평가가 만든 빠르고 근거 있는 모델 도입

인터콤이 새로운 모델과 기능을 빠르게 채택할 수 있었던 핵심은 구조화된 평가 체계였다. 핀 보이스에 사용하는 실시간 인터페이스 기반 모델이나 핀 태스크에 사용하는 지피티-4.1을 포함해 모든 신규 모델은 배포 전에 오프라인 시험과 실제 에이비 시험을 거친다. 평가 항목에는 지시 이행 능력, 도구 호출의 정확성, 응답의 전체적인 일관성이 포함되며, 실제 고객지원 대화 기록을 이용해 환불 같은 다단계 지시 수행, 핀의 브랜드 말투 유지, 함수 호출의 안정성을 측정한다. 이어 실제 환경에서는 모델별 문의 해결률과 고객 만족도를 비교해 오프라인 결과가 고객 경험 개선으로 연결되는지 확인한다. 이 절차 덕분에 인터콤은 지피티-4.1 공개 후 48시간 안에 평가 결과와 배포 계획을 마련하고, 며칠 만에 지피티-4에서 지피티-4.1로 이전할 수 있었다.

4. 신뢰도·비용·음성 경험까지 확장한 평가 기준

핀 태스크 평가에서 지피티-4.1은 업무 완료 신뢰도가 가장 높으면서 지피티-4오보다 비용을 20퍼센트 절감한 것으로 나타났다. 완료율은 다섯 번의 독립 실행 결과를 평균해 산출했으며, 변동성을 줄이기 위해 다섯 번 모두 성공한 경우에만 완료로 인정하는 엄격한 기준을 적용했다. 지시 처리와 함수 실행의 개선을 확인한 뒤 핀 태스크 전반에 지피티-4.1을 배포하자 성능과 사용자 만족도가 즉시 향상됐다. 핀 보이스에는 음성 상호작용의 특성을 반영해 모델 응답 지연, 함수 실행, 대본 준수뿐 아니라 개성, 말투, 사용자 발화 중단 처리, 배경 소음 대응까지 평가했다. 이처럼 매체별로 필요한 품질 기준을 별도로 정의함으로써 전화에서도 사람과 대화하는 수준의 고객지원 경험을 검증했다.

5. 모델 변화에 대응하는 모듈형 아키텍처

인터콤은 특정 모델에 제품 전체가 종속되지 않도록 핀을 처음부터 모듈형 구조로 설계했다. 채팅, 이메일, 음성은 각각 허용 가능한 지연 시간과 처리 복잡성이 다르지만, 공통 아키텍처 안에서 업무에 가장 적합한 모델로 요청을 보내고 기반 시스템을 다시 만들지 않은 채 모델을 교체할 수 있다. 핀의 구조는 이미 세 번째 주요 개편 단계에 도달했으며 다음 구조도 개발 중으로, 모델이 발전할 때 새로운 기능에 필요한 복잡성은 추가하고 불필요한 구성은 제거하는 방식으로 계속 조정되고 있다. 핀 태스크에서도 이러한 유연성이 효과를 발휘해, 추론 모델이 필요하다는 초기 가정과 달리 지피티-4.1의 지시 이행 성능이 충분하다는 평가 결과에 따라 구조를 단순화할 수 있었다. 그 결과 동일한 신뢰도를 유지하면서 지연 시간과 비용을 낮추고 복잡한 구성 요소를 제거하는 방향으로 신속하게 전환했다.

6. 통합 데이터와 업무 자동화를 통한 활용 범위 확대

인터콤은 조기 실험, 성능 중심 평가, 모델 독립적 설계를 바탕으로 핀의 역할을 고객지원에서 조직 전반의 업무 흐름으로 확대하고 있다. 지원 조직에서는 핀이 채팅, 이메일, 음성 등 여러 채널로 들어오는 문의의 대다수를 해결하고, 운영 조직에서는 핀 태스크가 환불, 계정 변경, 구독 정보 갱신처럼 여러 단계가 필요한 절차를 자동화한다. 제품 조직은 인터콤의 엠시피 서버를 통해 챗지피티 같은 인공지능 도구가 고객 대화, 지원 요청, 사용자 데이터에 접근하도록 할 수 있다. 이를 활용하면 조직은 버그를 발견하고 제품 개발 계획을 다듬으며 메시지를 개선하고 분기별 사업 검토를 준비할 수 있다. 인터콤의 사례는 확장 가능한 인공지능 플랫폼이 단일 모델의 성능이 아니라 반복적인 검증, 실제 성과에 근거한 선택, 변화에 대응할 수 있는 시스템 설계의 결합으로 만들어진다는 점을 보여준다.

🧾 핵심 주장 / 시사점

• 조기 실험의 실질적인 가치는 출시를 서두르는 데만 있지 않고, 새 모델이 등장했을 때 기존 경험을 근거로 신뢰성과 적용 가능성을 빠르게 판별하는 조직적 역량을 축적하는 데 있다.
• 평가 체계는 품질을 확인하는 최종 관문이 아니라 모델 공개 후 48시간 안에 결과와 배포 계획을 만들고 며칠 안에 이전을 완료하게 하는 제품 개발 속도의 기반으로 작동했다.
• 지속 가능한 우위는 가장 복잡한 모델 구성을 유지하는 데서 나오지 않으며, 평가 결과에 따라 모델을 교체하고 불필요한 구조를 제거하면서도 채널과 업무 범위를 확장할 수 있는 유연성에서 형성된다.

✅ 액션 아이템

• 인터콤이 GPT-3.5 초기 실험에서 파악한 한계와 성능 지표를 정리해 GPT-4 적용 판단 기준을 재정의한다.
• 오프라인 고객지원 대화 평가와 실시간 A/B 시험을 연동해 지시 이행, 도구 호출, 해결률, 만족도를 통합 지표로 운영한다.
• 채팅·이메일·음성 채널별로 모델 독립 모듈을 분리해 비용·신뢰도 조건 충족 시 GPT-4.1처럼 적합 모델로 신속 전환할 수 있게 설계한다.

❓ 열린 질문

• 오프라인 고객지원 대화 테스트에서 어떤 지표 조합이 모델 전환 결정의 실패 리스크를 가장 먼저 드러낼 것인가?
• 모듈형 아키텍처로 전환했을 때 채널별 모델 교체 지연은 어느 구간에서 병목으로 발생할 가능성이 높은가?
• 고객지원 확장 외에 환불·계정 변경·제품 기획 데이터까지 포함했을 때 모델 교체의 비용 절감 효과는 어떻게 검증할 것인가?