As decision model use skyrockets, is customization the next frontier?
Quick Summary
10월 Vercel AI 모델 라우터에서 결정 모델이 요청의 4분의 1을 넘게 처리한 가운데, 영국 스타트업 Sqwish는 고객이 자체 운영 데이터로 모델의 판단을 계속 개선하는 맞춤화에 승부를 걸었다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
10월 Vercel AI 모델 라우터에서 결정 모델이 요청의 4분의 1을 넘게 처리한 가운데, 영국 스타트업 Sqwish는 고객이 자체 운영 데이터로 모델의 판단을 계속 개선하는 맞춤화에 승부를 걸었다.
📌 핵심 요약
- 결정 모델은 출력 토큰을 생성하지 않고 미리 정한 선택지 중 하나를 고른 뒤 그 선택에 대한 신뢰도를 기록하는 대규모 언어 모델(LLM)이다. 등장한 지 한 달 만인 10월에 Vercel AI 모델 라우터 요청의 4분의 1을 넘게 차지했다.
- TypeSafe는 Jev 모델군 출시 후 기업가치 75억 달러에 이르렀다. 공개된 사용 지표에서 Jev가 선두를 유지하는 가운데, OpenRouter는 기사 게재 직전 한 주 동안 TypeSafe 모델에 대한 질의를 15억 건 넘게 처리했다.
- Jev 출시 후 수십 종의 결정 모델이 등장했다. Microsoft CEO 사티아 나델라는 11월 17일 Microsoft-Decision-1.1을 Azure에서 즉시 폭넓게 제공한다고 밝혔다.
- Sqwish는 300만 달러의 프리시드 투자 유치를 발표했다. 이 회사의 결정 모델 kettei fat은 일부 벤치마크에서 좋은 성적을 냈으며, Sqwish는 고객이 자체 운영 데이터로 모델을 계속 조정할 수 있는 내장형 후속 학습 도구를 차별점으로 내세웠다.
- Microsoft의 개발 책임자 아친트 스리바스타바는 자사 시험에서 Microsoft-Decision-1.1과 Jev가 실제 사용 사례를 반영한 미공개 평가에서도 정확성·신뢰성·속도·비용 효율성 네 측면에 걸쳐 좋은 성능을 보였다고 밝혔다.
🧩 주요 포인트
- 결정 모델은 긴 설명 없이 선택과 신뢰도를 제시하므로, 판단 속도와 비용이 중요한 운영 환경에서 쓰임새가 크다.
- 개발자가 모델을 바꿔 같은 업무에서 시험하기 쉬운 만큼, kettei fat의 벤치마크 성적은 도입의 계기가 되고 운영 데이터를 이용한 지속 조정은 고객이 계속 사용할 이유가 될 수 있다.
- Sqwish 공동창업자 페데리카 프레디는 빠른 판단을 맡는 결정 모델과 복잡한 추론을 맡는 프런티어 LLM이 함께 쓰일 것으로 전망하며, 결정 모델에 집중하는 스타트업에도 별도 시장 기회가 있다고 봤다.
🧠 상세 정리
1. 등장 한 달 만에 Vercel 요청의 4분의 1을 넘긴 결정 모델
테크크런치에 따르면 10월 Vercel AI 모델 라우터를 거친 요청 가운데 4분의 1 이상이 불과 한 달 전에 등장한 결정 모델로 향했다. 결정 모델도 대규모 언어 모델의 일종이지만, 답변을 구성하는 출력 토큰을 생성하는 대신 미리 정한 선택지 중 하나를 빠르고 저렴하게 고르도록 조정됐다. 모델은 자신이 고른 선택지에 어느 정도 확신이 있는지도 기록한다. 운영 환경에서는 더 느리고 비용이 큰 프런티어 모델이 제공하는 추론 설명보다 선택 자체를 신속하게 받는 편이 중요할 때가 있다.
2. 공개 사용량에서 앞선 Jev와 Azure에 진입한 Microsoft
TypeSafe는 Jev 모델군을 출시한 뒤 기업가치 75억 달러에 이르렀다. OpenRouter가 기사 게재 직전 한 주 동안 처리한 TypeSafe 모델 질의만 15억 건을 넘었고, 기사에서 확인할 수 있는 서비스 지표에서는 Jev가 사용량 선두를 지켰다. 한편 결정 모델 자체를 만드는 일은 비교적 쉬워 Amazon 엔지니어 한 명이 주말 동안 모델 하나를 만들었고, Jev 출시 뒤 수십 종의 후속 모델이 나왔다. 대형 클라우드 사업자들도 각자 모델을 마련했으며, 사티아 나델라는 11월 17일 Microsoft-Decision-1.1을 Azure에서 즉시 폭넓게 제공한다고 밝혔다.
3. Sqwish가 고객에게 제공한 후속 학습 도구
영국의 Sqwish는 결정 모델 kettei fat을 개발하고 300만 달러의 프리시드 투자 유치를 발표했다. 케임브리지에서 대학원생으로 만난 공동창업자 우슈니시 센굽타와 페데리카 프레디는 소형 LLM을 개발하던 중 Jev를 보고 기존 모델 구조를 결정 모델에 활용할 수 있다고 판단했다. TypeSafe CEO 디오구 알메이다는 통계적으로 조정한 합성 데이터로 Jev의 판단을 정밀하게 보정하는 일이 개발 과정에서 가장 어려웠다고 설명했다. Sqwish도 합성 데이터를 사용했지만, 고객이 자체 운영 데이터를 계속 올려 자신의 업무에 맞게 모델의 판단을 개선할 수 있도록 후속 학습 도구를 제품에 넣었다.
4. 벤치마크 성적과 고객이 모델을 계속 쓰는 이유
kettei fat은 일부 벤치마크에서 좋은 성적을 냈지만, 기사에 소개된 개발자들은 그런 결과만으로 결정 모델 전반의 순위를 매기기는 어렵다고 봤다. 개발자는 대체로 한 모델을 다른 모델로 쉽게 바꿀 수 있어, 자신이 해결하려는 업무에서 어느 모델이 더 잘 판단하는지 직접 확인할 수 있다. 센굽타는 벤치마크의 역할을 개발자가 모델을 한번 써 보도록 이끄는 데서 찾았다. 그가 고객이 Sqwish를 계속 선택할 이유로 꼽은 것은 처음 공개된 점수보다, 이후에도 운영 데이터를 반영해 고객에게 중요한 과제의 성능을 다듬을 수 있다는 점이다.
5. Microsoft가 기업 환경에서 함께 평가한 네 가지 기준
Microsoft는 Microsoft-Decision-1.1을 개발하면서 비용과 응답 지연, 판단 능력, 모델이 표시하는 신뢰도의 보정 수준 사이에서 균형을 잡았다고 설명했다. 개발을 이끈 엔지니어링 부사장 아친트 스리바스타바는 벤치마크 점수를 극대화한 모델도 실제 기업 환경에서는 성능이 금세 기대에 못 미치는 경우가 있다고 전했다. 그는 하나의 모델에서 정확성·신뢰성·속도·비용 효율성을 동시에 확보하기가 어렵다고 짚었다. Microsoft의 자체 시험에서는 실제 사용 사례를 반영해 따로 남겨 두었거나 모델이 처음 접하는 평가에서도 Microsoft-Decision-1.1과 Jev가 네 기준 모두에서 좋은 성능을 보인 소수의 모델에 속했다고 밝혔다.
6. 빠른 판단과 복잡한 추론이 공존할 시장
프레디는 대형 클라우드 사업자와 프런티어 모델 연구소의 진입 속에서도 결정 모델에 집중하는 스타트업에 기회가 있다고 봤다. 그는 미래의 AI 시스템에서 결정 모델처럼 빠른 판단을 맡는 ‘시스템 1’과 프런티어 LLM처럼 복잡한 추론을 맡는 ‘시스템 2’가 함께 작동할 것으로 전망했다. 프레디는 시스템 1의 잠재적 시장 규모로 100억 달러와 500억 달러를 언급하며, OpenAI가 기업공개에서 염두에 둔다고 그가 본 1조~2조 달러의 기업가치와 대비했다. 이 수치들은 프레디의 추정으로, 그가 강조한 차이는 대형 업체에는 여러 사업 중 하나인 결정 모델이 Sqwish에는 회사의 역량을 집중하는 사업이라는 점이다.
🧾 핵심 주장 / 시사점
- Vercel의 요청 비중은 해당 라우터에서 결정 모델이 얼마나 빠르게 채택됐는지를 보여 주고, OpenRouter의 질의 건수는 그 서비스에서 TypeSafe 모델이 처리한 업무량을 보여 준다. 두 지표의 집계 대상은 다르다.
- TypeSafe가 설명한 개발의 난점은 모델의 판단을 정밀하게 보정하는 일이었다. Sqwish는 고객도 도입 후 자사 업무에 맞춰 그 판단을 계속 조정할 수 있다는 점에서 경쟁 기회를 찾았다.
- Sqwish와 Microsoft는 모두 벤치마크 순위만으로 현장 성능을 판단하기 어렵다고 봤다. Sqwish는 고객 업무에서의 지속적인 개선을, Microsoft는 여러 성능 기준을 동시에 충족하는지를 강조했다.
✅ 액션 아이템
- 결정 모델 도입을 검토할 때는 선택과 신뢰도만으로 업무 요건을 충족하는지, 판단 속도와 비용이 얼마나 중요한지 확인한다.
- kettei fat을 평가할 때는 같은 업무에서 다른 모델과 비교하고, 자체 운영 데이터를 이용한 지속 조정이 판단을 얼마나 개선하는지 살핀다.
- Microsoft-Decision-1.1과 Jev를 비교할 때는 실제 사용 사례에서 정확성·신뢰성·속도·비용 효율성을 함께 검토한다.
❓ 열린 질문
- 어떤 운영 업무에서 결정 모델이 제공하는 선택과 신뢰도만으로 충분한가?
- 같은 업무에서 kettei fat을 운영 데이터로 계속 조정하면 처음 도입했을 때보다 판단이 얼마나 개선되는가?
- Microsoft-Decision-1.1과 Jev는 개별 기업의 실제 업무에서 정확성·신뢰성·속도·비용 효율성에 어떤 차이를 보이는가?