How Decagon Runs 90% of Its Agents on Open-Source Models

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Decagon은 에이전트 업무를 분해해 특화 소형 오픈소스 모델로 워크플로의 90%를 운영하고, 탐색형 업무에만 최첨단 모델을 배치한다.

📌 핵심 요점

1. Decagon은 대규모 고객 서비스와 음성 에이전트에서 지연시간과 동작 통제력을 개선하기 위해 상용 최첨단 모델 중심 구조에서 직접 미세조정할 수 있는 소형 오픈소스 모델로 전환했다.
2. 고객 문의 분류나 악성 사용자 감지처럼 범위가 좁은 세부 작업은 범용 지능이 필요하지 않으며, 업무별로 미세조정한 소형 모델이 대형 모델과 같거나 더 높은 정확도를 낼 수 있다.
3. 특정 업무에 집중하면 비용·지능·지연시간 중 하나를 반드시 희생해야 한다는 통상적인 절충을 벗어나 성능, 속도, 비용을 동시에 개선할 수 있다.
4. 재예약처럼 범위가 명확한 운영 업무는 특화 모델이 맡고, 대규모 대화 분석이나 모델 변형 생성처럼 답이 정해지지 않은 탐색형 업무는 최첨단 모델과 Autopilot이 담당한다.
5. 오픈소스 전환의 핵심은 모델 선택이 아니라 미세조정 데이터, 자체 평가 체계, 모델 팩토리, 종단 간 시스템 평가, 변경 가능한 비즈니스 로직을 함께 구축하는 데 있다.

🧩 배경과 문제 정의

• 대규모 고객 서비스와 음성 에이전트에서는 모델의 지능뿐 아니라 응답 지연, 정확도, 비용을 동시에 관리해야 한다.
• Decagon은 범용 최첨단 모델 대신 특정 업무에 맞게 미세조정한 소형 오픈소스 모델로 워크플로의 90%를 운영하며, 일부 업무에서는 더 높은 성능까지 확보했다.
• 기업용 AI의 경쟁력은 모델 API를 연결하는 데서 끝나지 않고, 업무 절차와 비즈니스 로직을 제품에 담아 반복적으로 개선하는 역량에 달려 있다.
• 고객 현장에 투입된 엔지니어가 일회성 맞춤 개발에 머물면 컨설팅 사업이 되기 쉬우며, 현장의 학습을 확장 가능한 핵심 제품으로 전환해야 소프트웨어 기업의 성장성을 유지할 수 있다.

🕒 시간순 섹션별 상세정리

1. 최첨단 모델에서 오픈소스로 전환한 배경

• 초기에는 빠르게 작동하는 제품을 출시하기 위해 OpenAI와 Anthropic의 최첨단 모델을 사용했고, 당시에는 모델 성능 자체가 가장 중요한 선택 기준이었다. [01:55]
• 수백만 고객을 보유한 대기업과 음성 에이전트로 사업이 확장되면서 빠른 응답이 필수가 됐고, 지연시간을 줄이면서 동작까지 통제할 수 있는 소형 모델이 필요해졌다. [02:28]

2. 에이전트 업무 분해와 소형 모델의 강점

• 대화형 에이전트는 고객의 문의 주제를 분류하고 악의적인 사용자를 감지하는 등 여러 작업을 수행하지만, 각각의 세부 작업에는 수학·코딩까지 처리하는 범용 지능이 필요하지 않다. [03:09]
• 하나의 작업에 특화해 미세조정한 소형 모델은 대형 모델과 같거나 더 높은 정확도를 낼 수 있으며, 이를 위해 전문 연구팀이 지속적으로 모델을 조정한다. [03:42]

3. 비용·지능·지연시간의 동시 최적화

• 모델 선택은 비용, 지능, 지연시간이라는 세 축으로 평가할 수 있으며, 특정 업무만 수행한다면 범용 지능을 낮추는 대신 응답 속도를 크게 높일 수 있다. [04:37]
• 소형 모델은 단순히 값싼 대체재가 아니라 특정 업무에 집중한 모델이며, 미세조정 이후에는 범용 최첨단 모델보다 해당 업무의 성능이 높아질 수 있다. [05:20]

4. 최첨단 모델이 필요한 탐색형 업무

• 재예약이나 의료 절차 지원처럼 범위가 명확한 고객 대화는 특화된 소형 모델이 담당하지만, 핵심 에이전트를 개선하는 보조 업무에는 최첨단 모델이 필요하다. [05:59]
• Autopilot은 약 100만 건의 대화를 검토해 추세를 찾고, 핵심 모델의 여러 변형을 생성한 뒤 어느 변형이 더 우수한지 비교한다. [06:27]

5. 기업의 오픈소스 도입에 필요한 조건

• 오픈소스 모델 도입은 모델을 선택하는 것만으로 끝나지 않으며, 미세조정용 데이터와 실제 업무에 맞춘 평가 체계를 함께 구축해야 한다. [07:17]
• 공개 벤치마크만으로는 특정 기업의 에이전트 성능을 판단할 수 없으므로, 자체 업무를 반영한 벤치마크와 평가 데이터가 필요하다. [07:31]

6. 실험 단계와 운영 단계의 모델 전략

• 새롭거나 실험적인 제품은 인프라를 직접 관리하지 않고 API만 호출하면 되는 최첨단 모델이 훨씬 편리하며, 높은 지능이 필요한 업무에도 적합하다. [08:12]
• 기업의 오픈소스 추론 비중이 단기적으로 감소하는 현상은 새로운 AI 사용 사례가 급증하면서, 검증 전 단계에 최첨단 모델이 우선 투입되기 때문이다. [08:34]

7. 지속적으로 교체되는 모델과 모델 팩토리

• 모델의 형태와 능력이 계속 변하기 때문에 오픈소스 모델을 한 번 구축한 뒤 장기간 유지하는 방식은 통하지 않는다. [09:26]
• 새로운 능력이 생기면 반복 업무를 위한 신규 모델을 훈련하고, 기본 모델만으로 처리할 수 있게 된 기존 특화 모델은 폐기해야 한다. [09:46]

8. 내부 구축과 외부 도구 구매의 경계

• 모델 훈련 과정이 실제 사용 사례와 긴밀하게 결합돼 있어, 핵심 훈련·평가 도구의 상당 부분은 내부에서 구축해야 한다. [11:14]
• 개별 모델의 손실값만 보는 대신 여러 모델이 함께 작동해 최종 고객 성과를 만드는지 전체 시스템을 종단 간 평가한다. [11:34]

9. 성장 단계에서 성능이 비용보다 중요한 이유

• 모델 운영의 우선순위는 비용보다 성능, 지연시간, 정확도이며, 특화 모델 최적화 과정에서 비용 절감은 부가적인 이익으로 따라온다. [12:40]
• 성장 단계 기업의 최우선 목표는 시장 확대이고, 고객은 공급자의 토큰 비용보다 에이전트가 자신의 문제를 얼마나 잘 해결하는지에 관심을 둔다. [13:18]

10. 오픈소스 역량이 토큰 경제성을 바꾸는 방식

• 토큰 경제성 논쟁은 모든 업무를 최첨단 모델로 처리하는 기업에 특히 중요하며, 이 경우 오픈소스로 옮겼을 때의 비용 효과를 면밀히 분석해야 한다. [14:12]
• 문제 분해와 모델 훈련·배포 역량을 갖춰 이미 오픈소스로 전환한 조직에서는 비용 압박이 크게 줄고, 업무별 성능과 속도가 더 중요한 기준이 된다. [14:45]

11. 수직형 애플리케이션 기업의 전문화 가치

• 대기업은 최첨단 연구소의 범용 모델로 직접 구축하거나 전문 애플리케이션 기업과 협력할 수 있으며, 사용 사례의 깊이에 따라 적합한 선택이 달라진다. [16:12]
• 미세조정의 주된 목적은 개별 고객별 맞춤화가 아니라 고객 서비스라는 공통 사용 사례에 필요한 행동을 최적화하는 데 있다. [16:42]

12. 모델 밖에 존재하는 비즈니스 로직

• 자주 바뀌는 업무 절차는 매번 모델 훈련을 되돌릴 수 없으므로 미세조정이 아니라 컨텍스트와 애플리케이션 로직으로 관리해야 한다. [17:24]
• 배포 후 발견되는 문제를 계속 엔지니어가 직접 수정하는 대신, 업무 로직을 담고 반복적으로 변경할 수 있는 플랫폼과 소프트웨어 계층이 필요하다. [18:01]

13. 모델 연구소와 애플리케이션의 수렴

• 모델 연구소는 기업의 도입과 투자수익을 높이기 위해 애플리케이션을 만들고, 애플리케이션 기업은 특정 업무의 성능·속도·비용을 개선하기 위해 자체 모델을 구축하면서 양쪽의 경계가 흐려진다. [19:23]
• AGI 수준의 에이전트가 등장해도 작업을 저장하고 정보를 불러오며 추론할 데이터베이스와 CRM 같은 소프트웨어 기반은 계속 필요하다. [20:12]

14. 포워드 디플로이드 엔지니어의 한시적 역할

• 초기 AI 제품은 검증된 업무 흐름이 없으므로 포워드 디플로이드 엔지니어가 고객과 함께 현장에 들어가, 양쪽이 처음 접하는 업무 흐름을 발견하고 구축해야 한다. [21:21]
• 이 역할은 이미 알려진 절차를 구현하는 인력이 아니라, 고객이 AI를 사용하는 방식을 관찰하며 제품이 따라갈 경로를 개척하는 탐색 인력에 가깝다. [22:31]

15. 현장 학습을 핵심 제품으로 전환하는 조직

• Decagon의 포워드 디플로이드 팀은 고객별 일회성 기능을 만드는 대신, 한 고객에게서 발견한 요구를 핵심 제품에 반영해 다음 열 곳의 고객이 그대로 사용할 수 있게 한다. [24:04]
• 포워드 디플로이드 엔지니어는 고객의 고통을 흡수해 제품으로 바꿔야 하며, 대형 계약 없이 모든 AI 사용 사례를 맞춤 지원하는 전략은 확장 가능한 제품을 찾지 못하면 현대적 컨설팅 회사에 머물 위험이 크다. [26:02]

16. AGI 이후에도 지속되는 일과 첫 제품의 실용 가치

• AGI는 직무의 형태를 바꾸겠지만, 인간을 위해 무언가를 수행하는 활동까지 없애지는 않으므로 사람들이 일하지 않고 가만히 있게 될 가능성은 낮다. [29:56]
• 초기 고객은 AI가 고객과 직접 대화해 더 나은 경험을 제공하면서 운영 비용도 절감하기를 원했고, 이 요구가 첫 번째 핵심 에이전트의 출발점이 됐다. [30:16]

17. 에이전트 구축 노동을 맡는 Duet

• 초기 에이전트를 구축하려면 자연어 절차인 AOP 작성, 사내 시스템과 API에 연결되는 도구 개발, 시뮬레이션 테스트, 운영 대화의 수동 검토까지 많은 작업이 필요했다. [30:45]
• Duet은 기존 고객 응대 에이전트보다 크고 느리지만, AOP·도구·테스트 작성과 운영 모니터링을 대신 수행하는 두 번째 에이전트로 설계됐다. [31:19]

18. 테스트부터 운영 개선까지 이어지는 자율화

• Duet은 문서와 기존 대화 기록만으로 필요한 절차를 구성하고, 그 절차를 검증할 테스트와 시뮬레이션까지 스스로 만든다. [31:59]
• 운영 단계에서는 수천 건의 대화를 분석해 취약한 주제를 찾아내고, 문제를 알리는 데 그치지 않고 구체적인 개선안까지 작성한다. [32:11]

19. 현장 엔지니어링을 반복 가능한 제품으로 전환

• 주요 기능은 포워드 디플로이드 인력이 고객 현장에서 반복하던 작업을 발견하고, 사람의 개입을 줄이는 제품 기능으로 바꾼 결과다. [33:28]
• Duet Autopilot은 배포 후 대화를 검토하고 에이전트를 반복 개선하던 후속 작업까지 자동화해, 초기 구축 이후의 운영 부담을 줄였다. [33:49]

20. 엔터프라이즈 배포 인프라가 만드는 단기 경쟁력

• 단기적인 경쟁력은 강력한 모델 자체보다 모델을 기업의 인력·데이터·시스템과 안전하게 연결하는 능력에서 나온다. [35:19]
• 기업은 모델의 허용 행동을 제한하고, 여러 분야의 전문가가 동작을 공동 검토하며, 규제 위반과 치명적인 오류를 사전에 시험할 수 있어야 한다. [35:59]

21. 블랙박스에서 고객 통제형 글라스박스로

• 경쟁사의 포워드 디플로이드 엔지니어에게 모든 변경을 의존한 고객은 새 여정 개발과 대화 분석이 늦어졌고, 약 1년에 세 개의 여정만 추가할 수 있었다. [38:46]
• Decagon의 글라스박스 방식은 지원 인력이 배포를 돕더라도 고객이 제품을 직접 이해하고 수정하며, 비기술 인력까지 반복 개선에 참여할 수 있게 한다. [39:23]

22. 세일즈 주도형 조직과 초기 영업팀

• 창업자들은 엔터프라이즈 영업 경험이 없었지만, AI 수요가 이미 강한 시장에서는 도입 필요성을 설득하기보다 자사의 접근법이 적합하다는 점을 입증하는 데 집중할 수 있었다. [40:32]
• 세일즈 주도 전략은 고객 조직의 우려와 가치 기준을 제품 결정에 반영하며, 제품 중심 철학이 현장과 동떨어진 기능 개발로 흐르는 것을 막는다. [41:14]

23. 제품뿐 아니라 배포 여정까지 표준화

• 대기업의 핵심 질문은 제품 성능뿐 아니라 실제 운영 환경에 출시할 수 있는지이며, 금융처럼 규제가 강한 산업에서는 내부 승인과 배포 절차가 더 큰 장애물이 될 수 있다. [42:45]
• 첫 미팅부터 전면 운영까지의 단계를 세밀하게 설계해 고객이 어떤 절차와 검증을 거쳐야 하는지 미리 알 수 있게 했다. [43:19]

24. 창업자 주도 영업과 작은 성공의 축적

• 창업자는 업무 시간의 약 80%를 영업에 쓰며, 고객 통화 참여뿐 아니라 내부 팀과 고객사의 의사결정 속도를 함께 끌어올리는 역할을 맡는다. [45:07]
• 은행·항공사·통신사 같은 대형 조직에는 모든 영역을 한 번에 배포하지 않고, 우선순위가 높은 한두 개의 사용 사례부터 성공시켜 후속 확장의 근거를 만든다. [45:50]

25. 고객 지원에서 범용 비즈니스 프로세스로

• 초기 모델은 복잡한 업무를 처리할 능력이 부족했기 때문에 첫 사용 사례가 경로를 엄격하게 제한할 수 있는 고객 지원에 집중됐다. [47:55]
• 모델 성능이 향상되자 고객 지원 과정에서 축적한 제품·브랜드·고객 지식을 인바운드 영업에도 활용해, 질의 응답과 요구 탐색 후 적절한 영업 담당자에게 연결할 수 있게 됐다. [48:20]

26. 지시 이행 능력이 넓힌 업무 범위

• 과거 모델에는 이탈을 막기 위한 매우 구체적이고 좁은 지시가 필요했지만, 향상된 모델은 더 크고 포괄적인 지시를 인간처럼 해석하고 빠진 부분도 합리적으로 보완한다. [49:55]
• 고객 지원은 정해진 경로만 따라도 되지만 영업 자격 검증은 개방형 질문과 유동적인 대화를 요구하므로, 맥락에 맞춰 다음 행동을 선택하는 능력이 새로운 사용 사례의 핵심 조건이다. [50:26]

27. 고정 로드맵보다 명확한 장기 방향

• AI 기능과 개발 속도가 빠르게 변하므로 12개월 로드맵을 세부 항목까지 고정하기 어렵고, 장기 테마를 유지하면서 필요한 기능은 즉시 구현하는 방식이 현실적이다. [50:47]
• 장기적으로 AI 에이전트는 기업과 브랜드의 입구가 되어, 고객의 인바운드 문의뿐 아니라 기업이 먼저 시작하는 상호작용까지 처리하는 컨시어지 역할을 맡는다. [51:21]

28. 채용 병목과 AI가 대체하지 못한 판단

• 가장 큰 성장 병목은 모델 기능이나 토큰 공급보다 채용이며, 만들 수 있는 제품과 기능의 범위가 커질수록 뛰어난 인재에 대한 수요도 함께 증가한다. [52:25]
• AI는 구체적인 실행 단계를 상당 부분 처리하지만, 무엇을 만들고 무엇을 제외할지 결정하거나 결과물이 충분히 완성됐는지 판별하는 취향과 제품 판단은 아직 맡기기 어렵다. [52:54]

29. 남은 모델 과제보다 중요한 회사 실행 속도

• 음성 간 직접 처리하는 모델과 작은 크기에서도 높은 성능을 내는 모델은 아직 발전이 필요한 기술 영역이며, 제품 확장에 영향을 줄 수 있어 지속적으로 관찰할 대상이다. [54:43]
• 사업 관점의 더 큰 제약은 모델 자체보다 회사를 얼마나 빠르게 구축하느냐이며, 기술 진보를 실제 제품·영업·고객 성과로 전환할 조직 역량이 중요해졌다. [55:00]

30. 자발적 몰입과 직군을 넘는 팀 운영

• 장시간 근무는 고생 자체를 과시하기 위한 행동이 아니라 해야 할 일이 많고, 재능과 잠재력을 활용해 좋은 제품을 만들고 시장에서 이기려는 목표에서 자연스럽게 나온다. [55:56]
• 주말 출근이나 사무실 체류 시간을 강제하지 않으며, 사무실 근무의 주된 가치는 빠른 의사소통과 높은 목표를 공유하는 동료들 사이의 밀도에 있다. [56:39]

31. 여러 지역으로 확장되는 문화의 과제

• 호주·런던·뉴욕 등으로 사무실이 늘어나면서 샌프란시스코 중심의 협업 방식과 책임 문화를 각 지역에서 어떻게 유지할지가 새로운 조직 과제가 됐다. [58:25]
• 문화 확장은 아직 해결된 문제가 아니며, 인원이 늘어 서로를 직접 알기 어려워질수록 비전·행동 기준·높은 책임 수준을 명시적으로 전달하는 장치가 필요하다. [58:37]

32. 해외 거점의 조직 문화를 유지하는 방식

• 뉴욕과 런던처럼 규모가 커진 거점은 기존 조직 문화를 자체적으로 유지하지만, 신규 거점에는 핵심 허브 인력을 수개월간 파견해 현지 조직이 지나치게 다른 방향으로 분화하는 것을 막는다. [59:46]
• AI 기업은 설립 연차에 비해 훨씬 이른 시점부터 해외 고객의 요구를 받으며, VMware 전 CEO 라구 라구람 같은 인재도 투자와 함께 국제 사업 역량 구축에 참여한다. [1:00:13]

33. 빨라진 국제 진출과 선택적 시장 투자

• 이사회와 CEO의 AI 도입 압력이 커지면서 코딩 에이전트와 고객 서비스가 우선 적용 분야로 떠올랐고, 다국어 앱 전환도 쉬워져 해외 확장 속도가 빨라졌다. [1:01:01]
• 이미 자연 유입 고객이 생긴 시장에만 인력과 자원을 본격 투입하며, 진출 이후에는 데이터 레지던시 요건과 시장 이해도가 높은 현지 경쟁사를 함께 상대해야 한다. [1:02:13]

34. 수직 특화보다 수평 플랫폼이 유리한 이유

• 지역·산업·시장 규모별 틈새 사업자는 존재할 수 있지만, 장기적으로는 각 영역에서 통합이 일어나며 소수 사업자로 수렴할 가능성이 크다. [1:02:37]
• Salesforce와 Zendesk처럼 수평 플랫폼은 폭넓은 고객 규모를 바탕으로 더 깊고 견고한 제품을 만들 수 있고, 필요한 산업별 기능도 플랫폼 내부에 점진적으로 흡수할 수 있다. [1:03:03]

35. AI 컨시어지가 개인화 서비스의 경제성을 바꾸는 방식

• 연간 10만 달러를 지출하는 고객은 취향과 이력을 반영한 고도의 개인 서비스를 받을 수 있지만, 10달러 고객에게는 인건비 때문에 같은 경험을 제공하기 어렵다. [1:04:18]
• AI 컨시어지가 개인화 서비스 비용을 약 10센트까지 낮추면 소액 고객에게도 경제적으로 동일한 수준의 경험을 제공할 수 있어, 서비스 범위가 대폭 넓어진다. [1:05:14]

36. AI 에이전트 시대에도 남는 CRM의 역할

• 인간 컨시어지가 고객 정보를 CRM에 기록하듯 AI 에이전트도 대화에서 얻은 선호와 상태를 저장할 시스템이 필요하므로, CRM과 보조 소프트웨어는 계속 유지된다. [1:05:24]
• 에이전트가 복잡한 그래픽 인터페이스 대신 CRM을 직접 사용하면 CRM은 원천 데이터 저장소로서 더 자주 호출되며, Decagon은 CRM 구축보다 아직 해결할 문제가 많은 에이전트 계층에 집중한다. [1:06:06]

37. 지속적으로 사업 맥락을 축적하는 개인 에이전트

• 최신 모델은 아이디어 생성 능력이 뛰어나지만, 채용 현황·사업 목표·제약·진행 중인 거래 같은 맥락을 매번 다시 전달해야 하는 문제가 의사결정의 병목이다. [1:07:10]
• 개인 에이전트가 채용 인력, 필요한 직무, 거래와 현안 정보를 지속적으로 축적하면 과거 후보와 역량이 겹치는 채용을 피하고, 이전 거래에서 늦게 검증한 위험 요소를 더 일찍 점검할 수 있다. [1:07:46]

38. 창업자의 의사결정 파트너로 진화한 AI

• 공동창업자는 아이디어를 즉시 주고받으며 결론 도달 속도를 높이지만, 혼자 창업하면 반론과 피드백을 받을 상대가 없어 판단이 느려질 수 있다. [1:09:01]
• 모델이 사용자의 의견에 무조건 동조하지 않고 잘못된 아이디어를 직접 반박할 만큼 발전하면서 유용한 사고 파트너가 됐지만, 과도한 반대 성향을 부여하면 공격적인 상호작용이 지속되는 부작용도 생긴다. [1:09:29]

39. LinkedIn과 X의 서로 다른 영향력

• 초기에는 기업 고객이 모인 LinkedIn에 집중했지만, X에서는 회사 홍보만 반복하면 반응을 얻기 어렵고 공동체가 관심을 두는 논의에 참여해야 한다. [1:11:17]
• X는 많은 사람이 같은 의제를 접하는 하나의 공통 타임라인처럼 작동하므로, 특정 기업보다 시장 변화에 관한 독자적인 관점을 올릴 때 여론 형성에 영향력을 가질 수 있다. [1:11:48]

40. 고객 지원 자동화가 오히려 수요를 늘리는 구조

• 많은 기업은 고객 지원 수요가 공급보다 큰 상태이며, 지원 비용이 30% 낮아져도 팀의 60%를 즉시 감축하기보다 서비스를 확대해 고객 유지율과 초기 활성화를 높이려 한다. [1:15:53]
• 비용이 낮아진 고객 지원은 단순한 절감 항목이 아니라 이탈 감소와 고객 경험 개선을 위한 투자 수단이 되므로, 자동화가 곧바로 동일한 규모의 인력 감축으로 이어지지 않는다. [1:16:14]

41. 반복 업무의 소멸과 새로운 고객 업무의 확대

• 월 5만 건가량의 문의를 처리하던 기업은 AI 도입 후 숨겨진 지원 메뉴를 모든 페이지로 확대하고 무료 사용자에게도 즉시 지원을 제공하면서, 기존에 충족하지 못했던 잠재 수요를 발견했다. [1:16:44]
• 전화 응대와 반복 클릭처럼 정형화된 업무는 AI가 흡수하지만, 고객 만족을 높일 활동은 사실상 무한히 남아 있어 개별 일자리는 사라져도 사람의 경력과 역할은 더 가치 있는 업무로 이동할 수 있다. [1:17:48]

🧾 결론

• 워크플로의 90%를 오픈소스로 운영한 성과는 모든 업무에 하나의 모델을 적용한 결과가 아니라, 에이전트 업무를 세분화하고 모델을 적재적소에 배치한 결과다.
• 최첨단 모델은 초기 실험과 광범위한 탐색에 유리하지만, 사용 사례가 안정되고 대규모 운영에 들어가면 특화 오픈소스 모델로 이동할 경제적·운영적 유인이 커진다.
• 경쟁 우위는 특정 모델을 보유하는 데만 있지 않고, 새 모델을 빠르게 평가·미세조정·배포하고 여러 모델의 최종 고객 성과를 종단 간 검증하는 반복 체계에서 형성된다.
• 자주 바뀌는 업무 절차는 모델 안에 고정하기보다 컨텍스트와 애플리케이션 로직으로 관리해야 하며, 현장 엔지니어링에서 얻은 학습은 반복 가능한 핵심 제품으로 전환해야 한다.

📈 투자·시사 포인트

• 기업용 AI의 방어력은 모델 API 포장보다 업무별 데이터, 자체 벤치마크, 평가 인프라, 시스템 연동, 품질관리와 컴플라이언스 계층에서 나올 가능성이 크다.
• 성장 단계에서는 토큰 비용 절감보다 고객 문제 해결률, 정확도, 응답 지연과 시장 확대가 우선이며, 비용 절감은 특화 모델 최적화에 뒤따르는 이익으로 볼 필요가 있다.
• 수직형 AI 애플리케이션 기업이 자체 훈련과 강화학습 역량을 확보하면 특정 업무에 특화된 모델 연구소로 진화할 수 있으므로, 모델 팩토리의 배포 속도와 평가 역량이 중요한 관찰 지표다.
• 포워드 디플로이드 조직이 고객별 개발을 반복하면 컨설팅형 구조에 머물 수 있으므로, 현장 요구가 공통 제품 기능과 고객 자율 운영 체계로 얼마나 빠르게 전환되는지가 확장성의 핵심이다.

⚠️ 불확실하거나 확인이 필요한 부분

• 워크플로의 90%가 오픈소스 모델에서 실행된다는 설명은 Decagon의 내부 운영 기준이며, 구체적인 모델 종류, 작업별 트래픽 비중, 측정 기간과 산정 방식은 제시되지 않았다.
• 특화 소형 모델이 일부 업무에서 범용 최첨단 모델보다 높은 성능을 낸다는 주장에는 작업별 정확도, 지연시간, 비용, 비교 모델과 평가 데이터의 수치가 공개되지 않았다.
• 오픈소스 전환 속도는 모델 위험 관리, 보안 심사, 데이터 확보와 조직의 훈련·배포 역량에 좌우되므로 Decagon의 운영 비중을 다른 기업에 그대로 적용하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 현재 에이전트 워크플로를 분류·검증·도구 호출·대화 생성·탐색 업무로 분해하고, 범용 지능이 꼭 필요한 단계와 특화 소형 모델로 대체할 단계를 구분한다.
• 공개 벤치마크 대신 실제 고객 업무를 반영한 평가 데이터셋을 만들고, 정확도·지연시간·비용·최종 고객 성과를 함께 측정한다.
• 최첨단 모델로 빠르게 검증한 사용 사례가 안정되면 오픈소스 미세조정 모델로 이전하는 단계별 전환 기준을 정의한다.
• 자주 변경되는 정책과 업무 절차는 미세조정 데이터에 고정하지 않고 컨텍스트, AOP, 애플리케이션 로직으로 분리해 반복 수정할 수 있게 한다.

❓ 열린 질문

• Decagon이 90%의 오픈소스 워크플로를 구성할 때 사용하는 기본 모델, 작업별 라우팅 기준과 재학습 주기는 무엇인가?
• 특화 모델이 최첨단 모델을 능가했다고 판단한 자체 벤치마크는 어떤 고객 성과와 실패 유형을 측정하는가?
• 추가 검증 호출과 병렬 처리를 포함한 전체 시스템 기준에서 오픈소스 전환 전후의 대화당 비용과 지연시간은 얼마나 달라졌는가?