OpenAI makes its Jev competitor widely available as decision model competition heats up

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI가 ChatGPT Luna 기반 Decisions API를 모든 고객에게 공개하며, TypeSafe의 Jev가 개척한 빠르고 저렴한 의사결정 모델 시장의 경쟁이 확대되고 있다.

📌 핵심 요약

• TypeSafe의 Jev는 주어진 선택지에서 빠르게 결정을 내리고 신뢰도를 제시하는 의사결정·System One 모델 시장을 개척했다. 개발자들은 여러 작업 흐름에서 이 모델로 LLM을 대체해 속도를 높이고 비용을 크게 줄였으며, TypeSafe의 기업가치는 76억 달러에 이르렀다.
• OpenAI는 별도로 보정된 전용 의사결정 모델을 개발하는 대신 ChatGPT Luna를 재구성해 추론 속도를 높이고 비용을 낮췄다. API 제품 책임자 Nikunj Handa는 기존 1~3초 걸리던 처리가 100·120·180밀리초 수준으로 줄었다고 설명했다.
• 9월 29일 개발자 행사에서 발표된 Decisions API는 모든 고객에게 공개되면서 음성·시각 입력 방식을 추가했고, 지역별 추론 자원 배치로 지연 시간을 줄였다. 초기 고객에는 Box, Datadog, Ramp, Speak가 포함됐으며, Speak는 동작 사이 시간을 1.4초에서 0.13초로 줄였다고 밝혔다. OpenAI도 Dots 음성 비서의 응답성 개선에 활용했다.
• 좋은 의사결정 모델의 기준은 아직 명확하지 않으며 지능·비용·보정·속도의 최적 조합은 작업에 따라 달라진다. AIM System One Index와 Artificial Analysis Decision Index에서는 Liquid의 D1 Ultra와 Base Lab의 Elephant-1이 대체로 우세했고, 최신 Jev는 각각 7위·3위, OpenAI의 Decision Model은 8위·14위였다. TypeSafe 모델은 현재 OpenRouter에서 가장 많이 질의되고 있으며, 최신 Jev는 PacMan 기반 JevMan 평가에서 1위를 차지했다.
• Handa는 이미지 분류에서 Luna의 성능과 보정 수준이 강점이라고 주장했으며, 고객들은 Decisions API에서 이미지를 출력으로 활용하는 유연성도 원한다고 전했다. 그는 지연 시간을 60밀리초 수준으로 더 줄이면 영상의 매 프레임마다 API를 호출하는 용도를 상상할 수 있다고 설명했고, 기사는 속도와 비용 개선이 새로운 활용을 늘릴 것으로 전망했다.

🧩 주요 포인트

1. ChatGPT Luna 재구성으로 속도·비용 개선 → OpenAI는 전용 의사결정 모델 학습 없이도 기존 LLM을 대체하는 작업 수요에 대응.
2. 공개 지수의 순위, OpenRouter 이용량, JevMan 성적이 서로 다른 양상 → 단일 순위보다 실제 작업의 지능·비용·보정·속도 요구가 선택에 중요.
3. 음성·시각 지원과 60밀리초 지연 가능성 → 멀티모달 활용과 영상 프레임 단위 호출이 확장 방향으로 제시되지만, 성능 우위 주장과 향후 가능성은 구분할 필요.

🧠 상세 정리

1. Jev가 연 의사결정 모델 시장에 OpenAI 진입

OpenAI는 Decisions API를 처음으로 모든 고객에게 공개하며 빠르고 저렴한 지능을 제공하는 의사결정 모델 시장에 진입했다. 이 시장을 개척한 TypeSafe는 프런티어 AI 연구소 출신 연구자가 설립한 스타트업으로, 기사에 따르면 기업가치가 76억 달러에 이르렀다. TypeSafe의 Jev는 주어진 선택지 가운데 하나를 신속하게 고르고 그 결정의 신뢰도를 제시하는 일종의 고도화된 분류기로 설명된다. 개발자들은 이러한 의사결정 또는 System One 모델이 여러 작업 흐름에서 LLM을 대체하면서 훨씬 빠르고 크게 낮은 비용으로 작동할 수 있음을 발견했다. OpenAI의 API 제품 책임자 Nikunj Handa는 동료들이 Jev를 보고 매우 많은 활용처를 떠올렸으며, 이를 계기로 자체 제품 개발을 서둘렀다고 전했다.

2. 전용 모델 대신 Luna 재구성으로 확보한 속도

OpenAI는 특별히 보정된 의사결정 전용 모델을 새로 만드는 방식 대신 ChatGPT Luna를 재구성하는 방식을 택했다. Handa의 설명에 따르면 팀은 추론을 빠르게 하고 비용을 낮추는 데 집중했으며, 현재 제품은 별도의 특수 학습 없이 Luna 자체로 작업을 수행한다. 그는 Decisions API의 핵심 변화가 속도라며 기존에 1~3초 걸리던 처리를 100·120·180밀리초 수준으로 줄였다고 말했다. 이는 의사결정 모델 시장에 대응하는 OpenAI의 현재 접근이 기존 모델의 활용 방식을 바꾸는 데 기반한다는 뜻이다. 다만 Handa는 향후 이러한 작업에 더 적합하도록 모델을 별도로 학습할 가능성을 열어 두었으며, 그 가능성을 현재 구현된 기능으로 제시하지는 않았다.

3. 전체 고객 공개와 실제 서비스의 지연 시간 개선

Decisions API는 9월 29일 OpenAI 개발자 행사에서 발표된 뒤 기사에서 언급한 목요일에 모든 고객에게 제공됐다. 공개 버전에는 새로운 음성·시각 입력 방식이 추가됐고, OpenAI는 세계 여러 지역의 지연 시간을 낮추기 위해 추론 자원을 지리적으로 배치했다. Box, Datadog, Ramp, Speak 등과 진행한 초기 시험에서는 엔지니어들이 기존 OpenAI LLM을 이 API로 대체해 더 높은 처리량을 확보했다. AI 언어 튜터를 만드는 Speak의 최고기술책임자 Andrew Hsu는 동작 사이에 걸리는 시간이 1.4초에서 0.13초로 줄었다고 밝혔다. OpenAI 역시 자사 Dots 음성 비서의 응답성을 개선하는 데 이 제품을 사용했으며, 이러한 사례들은 처리 지연 감소가 실제 서비스에 적용된 결과를 보여준다.

4. 좋은 모델의 기준과 엇갈리는 평가 지표

기사는 무엇이 좋은 의사결정 모델을 만드는지 아직 명확하지 않으며, 지능·비용·보정·속도를 어떻게 최적화할지는 작업에 따라 달라진다고 지적한다. TypeSafe 최고경영자 Diogo Almeida는 벤치마크를 불신하며 실제 업무에서 모델을 시험하라고 권하지만, TypeSafe도 지난주 이미지 지원과 smart-if 문장을 추가한 최신 Jev를 공개하면서 자체 순위를 발표했다. 공개 평가인 AIM System One Index와 Artificial Analysis Decision Index는 대체로 Liquid가 지난주 출시한 D1 Ultra와 Base Lab의 Elephant-1에 유리한 결과를 보였다. 두 지수에서 최신 Jev는 각각 7위와 3위였고, OpenAI의 Decision Model은 각각 8위와 14위였다. 한편 TypeSafe의 모델은 현재 OpenRouter에서 가장 많이 질의되고 있어, 공개 평가 순위와 플랫폼 이용량은 서로 다른 양상을 나타낸다.

5. PacMan 평가와 멀티모달 강점 주장

의사결정 모델이 PacMan을 플레이하는 JevMan 평가에서는 최신 Jev가 가장 높은 순위를 기록했다. 이 평가를 만든 Opper AI의 최고성장책임자 Felix Wunderlich는 게임이 빠르고 중요한 결정을 끊임없이 요구하며, 모델이 교차점마다 수백 밀리초 안에 이동 방향을 정해야 한다는 점에서 흥미로운 시험이라고 설명했다. 반면 기사는 OpenAI 모델이 우위를 가질 수 있는 영역으로 멀티모달을 제시하며, 이는 확정된 비교 결과보다는 가능성으로 다룬다. Handa는 이미지 분류에서 Luna가 매우 강력하고 더 나은 보정 수준을 보이고 있다고 주장했다. 그는 고객들이 Decisions API에서 이미지를 출력으로 사용하는 데에도 더 많은 유연성을 원한다고 덧붙였으며, 고객의 요구와 이미 제공된 기능은 구분해서 읽을 필요가 있다.

6. 더 짧은 지연 시간이 열 수 있는 활용 범위

Handa는 의사결정 모델의 속도가 더 빨라지면 현재와 다른 활용처가 가능해질 수 있다고 봤다. 그는 지연 시간을 약 60밀리초까지 줄일 수 있는지 질문하면서, 그렇게 되면 영상의 매 프레임마다 API를 호출하는 상황을 상상할 수 있다고 말했다. 이는 이미 달성한 성능이나 공개된 기능에 대한 설명이 아니라 추가 속도 개선이 열 수 있는 가능성을 제시한 것이다. 기사는 자원을 더 효율적으로 사용할수록 그 사용이 더욱 보편화된다는 설명을 한 경제학자에서 Jev의 이름이 유래했다는 점을 연결한다. 이러한 관점에서 속도 향상과 비용 하락은 의사결정 모델의 활용을 넓힐 것으로 전망되며, Handa 역시 모델 등장 전에는 눈앞에 있어도 드러나지 않았던 다양한 활용처가 확대될 것으로 예상했다.

🧾 핵심 주장 / 시사점

• OpenAI의 진입은 의사결정 모델 경쟁이 전용 모델 개발뿐 아니라 ChatGPT Luna 같은 기존 모델의 속도·비용 최적화로도 전개되고 있음을 보여준다.
• Jev의 공개 지수 순위, JevMan 1위, OpenRouter 이용량을 함께 보면 평가 방식과 사용 맥락에 따라 경쟁력의 모습이 달라진다. 따라서 어느 한 지표만으로 모든 작업에서의 우위를 단정하기 어렵다.
• Speak의 지연 시간 감소는 현재 확인된 적용 사례인 반면, 60밀리초와 영상 프레임 단위 호출은 향후 가능성이다. 실제 도입 성과와 미래 활용 전망을 구분하는 것이 기사의 주장 강도를 이해하는 데 중요하다.

✅ 액션 아이템

• Decisions API의 LLM 대체 가능성을 실제 작업의 지능·비용·보정·속도 요구에 맞춰 검토.
• Jev와 OpenAI의 Decision Model을 비교할 때 공개 지수 순위, OpenRouter 이용량, JevMan 성적의 차이를 함께 고려.
• 음성·시각 활용을 검토할 때 Speak의 1.4초→0.13초 개선 사례와 60밀리초 지연 가능성을 구분해 평가.

❓ 열린 질문

• 실제 작업의 지능·비용·보정·속도를 함께 고려할 때 Decisions API와 Jev 중 어느 쪽이 더 적합한가?
• 공개 지수 순위, OpenRouter 이용량, JevMan 성적 가운데 해당 작업의 성능을 가장 잘 설명하는 지표는 무엇인가?
• Decisions API가 60밀리초 수준에 도달한다면 영상의 매 프레임마다 API를 호출하는 활용은 가능해질까?