사기 문자 10건 판단, Jev와 클로드·GPT·제미나이 붙여 봤더니 (최지웅 유캔랩스 대표)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

사기 문자 10건을 비교한 시연에서 Jev는 클로드·GPT·제미나이 계열보다 빠르고 저렴한 경향을 보였지만, 애매한 문자의 오판 때문에 정확도 우위를 단정할 수 없다.

📌 핵심 요점

1. Jev는 분류와 판단에 집중한다. 타입세이프 AI가 만든 API 서비스로, 예·아니요·선택지·점수처럼 제한된 형식으로 답한다. 글쓰기나 코드 생성보다 반복적인 의사결정에 맞춰져 있다.
2. 이번 비교에서는 속도와 추정 비용이 강점이었다. 사기 문자 예시 10건을 사용했고, 먼저 실행한 Jev 화면에는 1.93초가 표시됐다. 비교 실행에서도 Jev가 가장 먼저 끝났으며, 표시된 추정 비용은 Jev 0.31원, 다른 모델들은 0.82원에서 약 100원이었다.
3. 빠른 응답이 정확한 판단을 보장하지는 않는다. 출연자가 사기로 의심한 문자를 Jev가 낮게 평가한 사례가 있었고, Jev가 애매하게 본 9번 문자를 솔과 오퍼스는 사기로 판단했다. ‘85점 정도’라는 표현은 공식 정확도가 아닌 사용 소감이다.
4. 확실한 항목을 먼저 분류하는 구성이 핵심 활용법이다. Jev가 명확한 항목을 처리하고 애매한 사례만 사람이나 LLM에 넘기면 검토 부담을 줄일 수 있다. 문의 연결, 리뷰 분류, 생성 결과 검사에도 같은 접근을 적용할 수 있다.
5. 모델 선택과 사람의 기준이 함께 필요하다. 숫자 계산, 날짜 처리, 반어 표현, 선택지 순서에 약점이 제시됐다. 업무별 분류 기준과 검토 절차를 정하고, 각 단계에 필요한 모델을 선택해야 한다.

🧩 배경과 문제 정의

• 스팸 판별, 문의 부서 연결, 리뷰 분류처럼 반복되는 업무에는 긴 설명보다 빠른 판단이 필요하다. 이런 작업까지 범용 AI에 맡기면 비용과 대기 시간이 커질 수 있다.
• 타입세이프 AI의 Jev는 예·아니요, 선택지, 점수처럼 정해진 형식의 답을 내는 판단 특화 모델이다. 글쓰기나 코드 생성보다 분류와 의사결정에 초점을 둔다.
• 사기 문자 예시 10건으로 Jev와 클로드·GPT·제미나이 계열 모델의 판단 결과, 속도, 비용을 비교한다. 비용은 추정치이며, 애매한 사례의 오판과 모델 자체의 한계도 함께 고려해야 한다.

🕒 시간순 섹션별 상세정리

1. 범용 생성 대신 판단에 집중하는 Jev

• 여러 일을 모두 수행하는 AI와 달리, 특정 작업만 잘하도록 만든 모델은 빠르게 답할 수 있다는 접근이다. Jev는 예·아니요나 여러 선택지 중 하나를 고르거나 숫자로 답하는 데 집중한다. [02:59]
• 타입세이프 AI가 만든 Jev는 긴 문장을 생성하기보다 상황을 분류하고 점수나 확률을 내는 모델이다. 스팸 판별처럼 기존 머신러닝에서도 다뤘던 문제를 대상으로 한다. [03:30]

2. 메시지의 감정을 읽어 표정을 바꾸는 활용

• 메시지를 실시간으로 읽고 감정을 판단해 캐릭터의 표정을 바꾸는 사례가 나온다. 긍정적인 말에는 기뻐하고, 기대를 뒤집는 말에는 실망하는 식으로 반응한다. [04:22]
• 한국어 표현이 뒤에서 의미를 뒤집는 뉘앙스는 제대로 읽지 못하는 모습도 나타난다. 캐릭터와 프로그램을 만드는 일은 다른 생성형 AI가 맡고, Jev는 감정 판단 부분을 담당하는 구조다. [04:49]

3. 게임의 행동 판단과 실행 프로그램을 분리

• 총을 쏠지 피할지, 어느 방향으로 움직일지를 Jev가 실시간으로 판단하는 게임 사례가 나온다. 게임을 실제로 조작하는 것은 프로그램이고, Jev는 상황에 맞는 행동을 고른다. [05:24]
• ‘피해야 한다’ 같은 판단을 받으면 해당 동작을 실행하도록 코드를 연결한다. 판단 모델을 프로그램의 일부로 넣으면 짧은 의사결정을 반복하는 작업을 자동화할 수 있다. [06:15]

4. 분류 기준을 정하면 반복 업무를 맡길 수 있다

• 파일을 어느 폴더에 넣을지, 기사가 우호적인지 적대적인지처럼 내용을 읽고 분류하는 작업에 활용할 수 있다. 핵심은 정해진 후보 가운데 적절한 답을 고르는 것이다. [07:02]
• 고객 리뷰도 처음에는 불만과 칭찬으로 나누다가 배송·가격·상품 불만처럼 세분할 수 있다. 사람이나 기존 데이터로 카테고리가 쌓이면 Jev가 그 기준에 따라 반복 분류하는 방식으로 쓰게 된다. [08:06]

5. 빠른 직관을 담당하는 ‘시스템 1’ 모델

• ‘2×2’처럼 바로 떠오르는 답을 시스템 1, ‘17×24’처럼 계산과 검토가 필요한 사고를 시스템 2로 보여준다. Jev의 지향점은 즉각적인 판단을 담당하는 시스템 1이다. [08:37]
• 스팸 메일을 지우거나 문의의 첫 몇 문장만 듣고 담당 부서를 연결하는 업무에는 긴 추론이 필요하지 않을 수 있다. 이런 결정을 빠르게 처리하는 전용 AI가 필요하다는 논리다. [09:10]

6. 확실한 항목을 먼저 걸러 사람과 LLM의 일을 줄인다

• 이메일의 관련성을 확률로 나누고 중간에 있는 애매한 항목만 사람이 확인하는 방식을 제안한다. 메일 100개를 모두 읽는 대신 약 10개만 남기는 예시로 업무량 감소 효과를 보여준다. [10:20]
• Jev가 확실히 포함하거나 제외할 항목을 먼저 분류하고, 남은 애매한 항목만 LLM이 판단하도록 연결할 수 있다. 판단 특화 모델과 범용 모델을 함께 쓰는 구성이다. [11:01]

7. 생성 결과를 평가하는 판단 기능도 분리할 수 있다

• LLM을 평가자로 쓰는 ‘LLM as a Judge’는 결과물이 사용자 요구를 충족했는지 판단하는 방식이다. 보고서에 요청한 내용이 빠졌는지 확인하고 다시 작업하는 과정이 예시로 나온다. [11:18]
• 범용 모델이 수행하던 판단만 전용 AI에 맡기면 더 빠르게 처리할 수 있다는 구상이다. 복잡한 결과물 생성과 반복적인 승인·검사를 나눠 맡기는 접근이다. [11:58]

8. 출력은 예·아니요, 분류, 점수의 세 가지

• 사기 여부를 예·아니요로 답하거나, 지정한 다섯 종류 중 하나를 고르거나, 1~5점 또는 4.7점처럼 점수를 매길 수 있다. [12:39]
• 스팸을 기관 사칭·지인 사칭·광고 등으로 나누고 위험도를 평가할 수 있지만, 코드를 작성하거나 글을 요약하는 기능은 제공하지 않는다. [13:03]

9. API로 연결해 규칙 기반 처리의 빈틈을 보완

• Jev는 오픈소스 모델이 아니라 API로 이용하는 서비스다. 에이전트나 서비스를 구축한 뒤 중간의 판단 기능을 연결하려는 용도에 적합하며, 실험에는 몇천 원 정도로 충분했다는 경험이 나온다. [14:18]
• 정확한 키워드 일치 같은 규칙만으로 처리하면 예외 사례가 생길 수 있다. 패턴을 읽는 AI 판단을 넣으면 이런 한계를 보완할 여지가 있지만, 실제 정확성은 별도로 확인해야 한다. [15:08]

10. 대화 능력보다 업무 자동화를 겨냥한 창업 배경

• Jev 공개 뒤 4천만 달러 투자를 받았다는 설명과 함께, 창업자 디오고 알메이다의 오픈AI 연구 경력이 나온다. GPT-4 기술 보고서와 InstructGPT 연구 참여 이력이 나온다. [16:01]
• 출발 문제는 AI의 대화와 고난도 문제 해결 능력이 발전해도 일상적인 업무 자동화는 충분히 해결되지 않았다는 것이다. 빠르고 저렴한 판단으로 실제 업무를 줄이려는 방향이다. [16:42]

11. 이미지·영상 판단으로의 확장은 전망 단계

• Jev가 앞으로 공장 내 쓰러짐 감지나 광고물의 로고 개수 검사처럼 이미지·영상 판단으로 확장할 수 있다는 전망이 나온다. 해당 기능은 현재 버전에 나온 것이 아니라 출연자의 예측이다. [17:53]
• 이미지와 영상 처리는 어렵고 비용도 커서 저렴한 판단 모델의 효과가 클 수 있다고 본다. OpenAI의 Decision API는 예·아니요, 선택, 점수 출력과 이미지의 파손 여부 판단 사례로 드러난다. [18:53]

12. 사기 문자 10건으로 비교 실험을 구성

• Jev와 클로드·GPT 계열 모델, 제미나이 플래시를 비교 대상으로 구성한다. 모든 최상위 모델을 포함한 실험은 아니며, 선택한 모델들의 버전도 서로 다르다. [20:20]
• 지인 사칭 등 사기 여부를 판단할 문자 예시 10건을 사용한다. Jev를 먼저 실행한 화면에서는 1.93초 만에 판단한 결과와 사기 확률 24%가 표시된다. [21:08]

13. 애매한 문자에서는 오판과 판단 근거의 불확실성이 남는다

• 사기 확률은 일단 50%를 기준으로 나누고, 별도로 위험도 점수도 확인한다. 전화 연결을 유도하는 문자는 보이스피싱으로 이어질 가능성 때문에 정상처럼 보여도 위험도가 다소 높을 수 있다. [21:40]
• 일부 문자는 출연자가 사기로 의심했지만 Jev는 낮게 평가했다. ‘85점 정도를 싸고 빠르게 해주는 느낌’이라는 평가는 사용 소감이며, 공식적인 정확도 측정 결과는 아니다. [22:50]

14. 속도와 비용 차이는 컸지만 정밀한 배수 비교에는 한계

• 같은 문자 예시와 옵션으로 실행한 비교에서 Jev가 가장 먼저 끝났고, 오래 걸린 모델은 약 30초가 걸렸다. 제미나이는 플래시 모델인데도 이번 실행에서는 마지막까지 처리 중이었다. [24:20]
• 표시된 추정 비용은 Jev 0.31원, 루나 0.82원, 하이쿠 약 20원, 테라 14원, 소네트 50원, 솔 13원, 오퍼스 약 100원이었다. 루나는 약 20초, 하이쿠는 약 14초, 테라는 약 17초, 소네트는 약 18초로 제시됐다. [24:51]

15. 경쟁사의 진입과 예제 없는 분류가 활용 범위를 넓힌다

• 기업에서는 반복 호출 규모에 따라 비용 차이가 커질 수 있다. 다만 모델이 자주 바뀌므로 이번 비교는 고정된 우열보다 판단 특화 모델이라는 흐름을 이해하는 자료로 드러난다. [26:38]
• 클라우드플레어도 디시전 모델을 내고 있다는 설명을 근거로 이 분야가 커질 가능성을 전망한다. OpenAI의 이미지 판단 사례에서는 파손 여부가 명확한 경우와 디자인인지 헷갈리는 경우를 확률로 구분한다. [27:04]

16. 계산·반어·선택지 순서에 약해 사람의 기준이 필요

• 실험에서도 한두 사례는 의도와 다른 판단이 나왔다. 공식 문서의 한계로 숫자 계산과 날짜 처리의 약점, 글을 문자 그대로 읽어 반어적인 표현을 이해하기 어려운 점이 나온다. [28:44]
• 선택지를 제시하는 순서에 따라 답이 달라지는 경향도 있다. 이를 확인하려면 A와 B의 순서를 바꿔 물어도 같은 답을 내는지 평가할 수 있으며, 최종 판단 기준은 사람이 정해야 한다. [29:16]

17. 작업에 맞는 모델 선택이 전체 비용과 속도를 바꾼다

• 향후 6개월~1년 사이의 변화가 AI 시장에 미칠 영향은 지켜봐야 한다는 유보적인 전망이다. [30:00]
• 자전거의 모든 부품을 고급 브랜드로 맞출 필요가 없듯, AI 처리 과정에서도 각 단계에 같은 수준의 모델을 쓸 필요는 없다. 기존에는 선택지가 부족했지만 앞으로는 일부 작업에 저렴하고 빠른 모델을 선택할 수 있다는 비유다. [30:11]

18. API 제공으로 익숙한 분류 과제의 활용 문턱이 낮아졌다

• 직접 실행해 보면 활용 방식을 더 명확히 이해할 수 있다. 스팸 메일 분류처럼 과거 AI 교육에서도 다루던 과제 자체는 새롭지 않지만, 이를 구현하는 일은 훨씬 쉬워졌다. [30:55]
• 과거에는 관련 수학 등 많은 지식이 필요했지만, 이제는 API를 연동하고 가이드를 따라 하는 방식으로도 사용할 수 있다. 이런 접근성 개선이 사람들이 관심을 갖는 이유일 수 있다는 해석이다. [31:14]

🧾 결론

• 이번 시연은 Jev의 보편적인 우승을 입증하기보다, 짧은 판단을 전용 모델에 맡기는 방식의 가능성을 보여준다.
• 판단과 생성을 분리하고 애매한 항목만 추가 검토하면 전체 처리 비용과 시간을 줄일 여지가 있다.
• 도입 여부는 단일 시연의 속도보다 실제 업무에서의 오판, 재검토 부담, 비용을 함께 평가해 결정해야 한다.

📈 투자·시사 포인트

• 반복 호출이 많은 기업 업무에서는 호출당 비용 차이가 누적될 수 있어, 판단 특화 모델의 경제성이 중요한 평가 항목이 된다.
• OpenAI와 클라우드플레어의 관련 사례는 판단 모델 분야의 경쟁 확대 가능성을 시사한다. 모델이 자주 바뀌는 만큼 현재 비교의 우열을 고정된 경쟁력으로 해석하기는 어렵다.
• API로 분류 기능을 연결하기 쉬워지면서, 익숙한 스팸 판별·리뷰 분류 과제를 실제 서비스에 적용하는 문턱이 낮아지고 있다.
• 이미지·영상 판단으로의 확장은 잠재적인 활용 방향이지만, 영상에서 언급된 Jev의 해당 기능은 현재 제공 기능이 아닌 출연자의 전망이다.

⚠️ 불확실하거나 확인이 필요한 부분

• 문자 예시가 10건이고 모든 최상위 모델을 포함하지 않았으며 모델 버전도 달라, 결과를 일반적인 성능 순위로 확대하기 어렵다.
• 비용은 토큰 사용량에 기반한 추정치이고 속도는 이번 실행의 관찰값이다. 정확한 비용·속도 배수는 추가 확인이 필요하다.
• 사기 확률을 50%로 나눈 기준이 실제 업무에 적합한지는 확인되지 않았다. 청첩장 URL 등을 어떻게 해석했는지도 실제 판단 근거를 알 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실제 처리할 문자나 리뷰에 사람이 정한 정답과 분류 기준을 붙여, 명확한 사례와 애매한 사례를 함께 평가한다.
• 같은 입력과 출력 조건으로 모델별 정확도, 처리 시간, 실제 청구 비용을 기록해 비교한다.
• 확률과 위험도에 따라 자동 처리할 범위와 사람·LLM에 넘길 범위를 정하고, 놓친 사기 사례를 확인한다.
• 선택지 순서를 바꾸고 반어·숫자·날짜가 포함된 입력을 넣어 판단이 얼마나 일관적인지 점검한다.

❓ 열린 질문

• 사기를 놓치는 오류와 정상 문자를 사기로 분류하는 오류를 함께 고려하면, 어떤 판단 기준이 적절할까?
• Jev가 먼저 분류하고 애매한 사례만 LLM이나 사람이 검토할 때, 검토 부담과 전체 비용은 얼마나 줄어들까?
• 모델 버전이나 선택지 순서가 바뀌어도 실제 업무에서 필요한 정확도와 일관성을 유지할 수 있을까?