Qwen 4 Matched Claude - INSANE RESULTS

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Qwen 4 Max Preview는 영상에서 완료한 과제에서 Claude Opus 5.5에 견줄 결과를 냈지만, 접근 제한과 응답 실패 때문에 일상 업무를 맡길 대안으로 판단하기에는 이르다.

📌 핵심 요점

1. 실제 의뢰를 본뜬 청구서 앱 과제에서 두 모델 모두 비공개 테스트 12개를 통과했고, 고객에게 보내는 답장도 두 평가 모델에게 모두 만점을 받았다.
2. Qwen은 공포 게임과 자전거를 타는 펠리컨 장면을 구현했다. 다만 공포감에 대한 평가는 진행자의 주관이며, 펠리컨 결과는 원본 실패 영상과 다른 프롬프트로 얻었다.
3. 비교 환경은 달랐다. Opus는 터미널에서 실행·수정하는 코딩 에이전트로, Qwen은 실행 도구가 없는 앱 채팅으로 작동했다. 추론 설정과 웹 검색 사용 여부도 일치하지 않았다.
4. 영상 설명상 Qwen의 토큰 플랜은 대화형 사용만 허용하며 자동화·배치 작업을 금지한다. 진행자가 구매한 앱 Plus 플랜으로는 Qwen Code에서 해당 프리뷰를 사용할 수 없었다.
5. 공개된 Qwen 4 토큰 가격이 없어 비용은 구형 모델 단가로 추산했고 숨겨진 추론량도 제외했다. 응답 없이 끝난 실행과 코드베이스 입력 차단, 프리뷰 종료까지 고려해야 실용성을 평가할 수 있다.

🧩 배경과 문제 정의

영상은 Alibaba의 Qwen 4 Max Preview가 Claude Opus 5.5에 견줄 코딩 결과를 낼 수 있는지, 그리고 그 결과를 실제 업무에서 이용할 수 있는지를 함께 살핀다. 진행자는 평소 Opus를 사용하며 공포 게임, 고객용 청구서 앱, 펠리컨 3D 장면, 코드베이스 버그 수정이라는 네 과제를 준비했다.

영상 설명상 이 프리뷰는 텍스트·이미지·영상을 입력받는 차세대 멀티모달 모델이지만, 공개 벤치마크와 정식 토큰 가격이 없는 상태였다. 제한된 사용 경로 때문에 Qwen은 앱 채팅으로, Opus는 코딩 에이전트로 실행했다. 따라서 이 영상의 문제는 결과물 품질뿐 아니라 접근성, 검증 가능성, 비용 산정, 서비스 지속성까지 포함한다.

🕒 시간순 섹션별 상세정리

1. 기대를 높인 성능과 프리뷰의 기본 조건

• 진행자는 완료된 과제에서는 Qwen이 Opus를 따라갔지만 일부 실행은 응답 없이 끝났다고 예고한다. 모델은 코딩·사무·프런트엔드·에이전트 업무를 겨냥하며 텍스트·이미지·영상 입력과 100만 토큰 문맥을 지원한다고 보여준다. [00:52]
• 추론은 기본 활성화이며 강도는 low·medium·extra high다. 비교 대상 Opus의 high와 정확히 대응하지 않고, 출시 게시물에는 수치 벤치마크가 없었다고 지적한다. [01:26]
• 영상에 따르면 모델 카드·파라미터 수·공개 가중치가 없고 로컬 실행도 불가능하다. 문서상 프리뷰 종료일은 11월 25일이며 이후 폐기되지만, 대체 모델과 정식 출시 일정은 제시되지 않았다. [02:10]

2. 구독 방식과 자동화 제한

• 코딩 에이전트를 한 화면에서 다루는 도구의 홍보 구간 뒤 이용 경로를 보여준다. 영상에 따르면 종량제 API와 OpenRouter 제공은 없으며, 토큰 플랜의 월 요금은 Light 6달러·Essential 10달러·Standard 18달러·Pro 43달러다. [02:46]
• 프리뷰 할인과 별개로 플랜은 지원 도구 안의 대화형 사용만 허용하고 자동화 스크립트·배치 작업을 금지한다. 위반 시 키 차단 가능성이 있으며, 개인 플랜 해지와 크레딧 소진에도 제약이 있다고 보여준다. [03:19]
• 진행자는 앱 Plus에 월 19달러를 지불했지만, 이 구독으로 Qwen Code에서 사용할 수 있는 것은 구형 모델뿐이었다. 이 때문에 Qwen 4의 실험 경로가 앱 채팅으로 정해진다. [03:42]

3. 독립 평가의 부재와 출시 초기 사례 점검

• 확인 시점에 Artificial Analysis의 Qwen 4 점수는 없었다. 구형 Qwen과 Opus의 사례에서는 토큰 단가가 낮아도 평가 과제 수행 비용은 비슷할 수 있었으며, 이번 Qwen 4 비용에는 구형 단가를 대신 적용한다고 드러낸다. [04:48]
• 출시 초기 앱·게임·웹사이트 사례 중 비슷한 홍보 문구를 쓰거나 출시 전 시험 모델 Koduck 화면을 포함한 게시물이 있었다고 지적한다. 별도의 게임 비교에서는 제작자가 Opus의 근소한 우세를 평가했지만 Opus 추론 강도는 medium이었다. [05:50]
• 화제가 된 펠리컨 자전거 실패 영상은 바퀴가 비정상적으로 회전했지만 프롬프트가 공유되지 않았다. 진행자는 이것이 모델의 한계인지 개별 실행의 문제인지 별도 과제로 살펴보기로 한다. [06:29]

4. 비교 환경과 비용 계산의 한계

• Opus는 high 추론 설정의 코딩 에이전트로 파일 작성·실행·수정이 가능했다. Qwen은 Plus 앱의 thinking 채팅에서 완성 파일을 한 코드 블록으로 답하도록 요청했으며 터미널로 실행하거나 검증할 수 없었다. [07:11]
• Qwen 앱은 웹 검색이 켜져 있었고 Opus는 꺼져 있었다. Opus 비용은 API 정가 환산액, Qwen 비용은 눈에 보이는 출력에 구형 단가를 적용한 추정액이며 Qwen의 숨겨진 추론량은 제외됐다. [07:37]
• 네 과제는 기본적으로 한 번씩 실행하되 재시도를 공개하는 방식이다. 진행자는 이를 실험실의 확정적 판정이 아닌 제한적인 사용 평가로 규정한다. [07:50]

5. 공포 게임: 결과물은 인상적이지만 재시도 필요

• 손전등·열쇠·유령·정신력 요소가 있는 공포 게임에서 Opus는 약 36분이 걸렸다. 중간에 파일을 저장하지 않아 실행 관리 장치가 한 차례 재시작했으며, API 환산 비용은 4.72달러였다. [08:30]
• Qwen의 완료 실행은 약 22분으로, 복도와 유령을 구현하고 페이지 오류가 없었다고 보여준다. 한 답변 안에서 구조적 오류를 스스로 언급한 뒤 전체 파일을 다시 작성했으며, 채택한 수정본의 가시 출력 기준 추정 비용은 약 0.31달러였다. [09:11]
• 앞선 webdev 모드 실행은 27분 뒤 파일 없이 끝났고 일반 채팅 재시도에서 완료됐다. 진행자는 Qwen의 복도가 시작부터 더 무섭다고 평가하지만 이는 주관적 감상이다. [09:33]

6. 고객용 청구서 앱: 비공개 검증에서 동률

• 과제는 이메일 요구사항을 읽고 청구서·결제 알림 앱과 고객 답장을 만드는 것이다. 마지막 이메일은 세금을 전체 청구서가 아닌 인쇄 항목에만 적용하도록 바꾸며, 연체료 1.5%의 부과 주기는 모호하게 남겨 둔다. [10:08]
• 두 모델 모두 청구서 번호·기한·알림·분할 결제·반올림·세금 변경을 포함한 비공개 테스트 12개를 통과했다. 연체료는 임의로 적용하지 않고 고객에게 확인을 요청했으며, 답장도 두 외부 평가 모델에게 각각 10점 만점을 받았다. [10:42]
• 진행자는 실제 수입과 연결되는 이 과제에서 Qwen이 완전히 따라왔다고 평가한다. 다만 시간과 비용은 서로 다른 실행 환경에서 측정됐고 Qwen 금액에는 대체 단가가 적용됐다. [11:03]

7. 펠리컨 자전거: 자체 프롬프트에서 정상 장면 구현

• 원본 프롬프트를 구할 수 없어 해안 도로·노을·네 가지 카메라 시점을 포함한 요청을 새로 만들었다. Qwen의 첫 실행은 18분 뒤 무응답으로 끝났고 같은 요청의 두 번째 실행은 약 24분에 완료됐다. [11:31]
• Qwen 결과에서는 펠리컨이 페달 위에 있었고, 확인한 프레임에 원본 실패 영상의 바퀴 회전 문제는 나타나지 않았다. Opus는 약 22분과 API 환산 5.40달러로 장면을 완성했다. [11:59]
• 진행자는 Opus 장면에 생동감이 더 있고 Qwen에는 조작 기능이 더 많다고 평가한다. 다만 원본과 요청 조건이 달라 원본 실패의 원인을 확정할 수는 없다. [12:22]

8. 버그 수정: Opus는 16개 중 15개, Qwen은 평가 불가

• 약 3,000줄·42개 파일의 청구서 백엔드에 버그 16개와 정상 코드를 버그처럼 보이게 하는 유인 항목 11개를 넣었다. 동시 결제, 세금 반올림, 다른 회사의 청구서 접근 같은 문제를 비공개 테스트로 판정하며 회귀 오류에는 감점한다. [12:59]
• Opus는 8분을 조금 넘겨 API 환산 2.24달러로 버그 15개를 수정했고 회귀 오류는 없었다. 환불 뒤 결제 알림을 다시 켜야 하는 문제 하나를 놓쳤다. [13:20]
• Qwen 앱에는 전체 코드 약 12만 8,000자를 두 번 붙여 넣었지만 퍼즐 확인 화면 때문에 요청이 시작되지 않았다. 진행자는 이를 모델의 패배가 아니라 앱 입력 경로의 제약으로 구분한다. [13:48]

9. 최종 판단: 보조 모델의 가능성과 업무 도입의 간극

• 진행자는 답변을 받은 과제에서는 Qwen이 경쟁력을 보였지만 접근이 어려웠다고 정리한다. 앱에서 세 실행이 18~45분 뒤 무응답으로 끝났고, 버그 수정 입력은 시작조차 못 했으며 프리뷰 종료도 임박했다고 강조한다. [14:31]
• 기존 이용자는 할인 기간에 프런트엔드 보조 모델로 시험할 수 있지만, 지속 운영이 필요한 작업에는 주의가 필요하다고 권한다. 자신의 판매 사업에 필요한 정기 집계는 플랜이 금지하는 자동화에 해당해 Opus를 계속 사용한다고 보여준다. [15:01]
• 정식 Qwen 4 Max가 API와 실제 가격을 갖추고 같은 품질을 제공한다면 Anthropic에 경쟁 압력이 될 수 있다고 전망한다. 짧은 프리뷰를 사용할지 정식 출시를 기다릴지 시청자에게 물으며 마무리한다. [15:23]

🧾 결론

• 가장 분명한 동률 근거는 청구서 앱의 비공개 테스트와 답장 평가다. 이를 모든 코딩 업무에서의 동등한 성능으로 확대하기는 어렵다.
• Qwen의 결과물 품질과 사용 경로의 안정성은 별도로 평가해야 한다. 답변을 받은 과제의 성과가 좋아도 필요한 작업을 시작하거나 끝내지 못하면 실제 활용 범위는 좁아진다.
• 대규모 버그 수정에서는 Qwen의 점수가 없다. 앱이 입력을 받아들이지 않은 결과이므로 모델의 패배나 성공으로 해석할 수 없다.
• 진행자는 프런트엔드 작업용 보조 모델로 시험해 볼 가치는 인정하면서도, 정기 자동화 업무에는 기존 Opus 사용을 유지한다고 결론 내린다.

📈 투자·시사 포인트

• 기업용 AI 경쟁에서는 생성 품질 외에도 API 제공, 자동화 허용 범위, 서비스 지속성, 응답 완료율이 도입을 좌우할 수 있다.
• 저렴한 토큰 단가가 저렴한 작업 비용을 보장하지 않는다. 영상의 구형 모델 비교에서도 토큰 가격 차이와 과제 수행 비용 차이는 크게 달랐다.
• 초기 홍보용 제작 사례를 평가할 때는 실제 사용 모델, 공개 시점, 프롬프트, 실행 조건을 확인해야 한다. 영상은 일부 사례에 출시 전 시험 모델이 섞였다고 지적한다.
• 정식 Qwen 4 Max가 비슷한 품질과 실용적인 API·가격을 제공한다면 경쟁 압력이 커질 가능성은 있다. 현재 프리뷰 결과만으로 업체의 매출이나 투자수익을 추정할 근거는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

• 이 노트는 제공된 영상 전사만을 근거로 한다. 모델 사양, 요금제 약관, 가격, 독립 평가 등은 외부 자료로 확인하지 않았다.
• 영상은 프리뷰가 11월 25일 종료되고 이후 폐기된다고 설명하지만 연도는 제시하지 않는다. 정식 모델의 출시 시점과 대체 경로도 확인되지 않는다.
• Qwen과 Opus의 실행 도구, 추론 강도, 웹 검색 조건이 달라 품질·시간·비용을 동일 조건의 비교로 볼 수 없다. 반복 실행으로 안정성을 측정한 실험도 아니다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 도입 전에 해당 모델의 현재 제공 여부, 프리뷰 종료 정책, 정식 출시 또는 대체 모델 안내를 확인한다.
• 구매하려는 플랜에서 사용할 도구와 모델을 확인하고, 자동화·배치 작업 허용 여부 및 해지·크레딧 조건을 읽는다.
• 실제 업무 프롬프트와 비공개 검증 기준으로 재시험하고, 성공한 결과뿐 아니라 무응답·재시도·입력 차단도 기록한다.
• 가능한 범위에서 실행 도구, 추론 설정, 검색 조건을 맞추고, 맞추지 못한 차이는 비교 결과에 명시한다.

❓ 열린 질문

• 정식 Qwen 4 Max는 어떤 API와 가격으로 제공되며 자동화 업무를 허용할까?
• 동일한 코딩 에이전트 환경과 추론 조건에서도 청구서 과제의 동률이 재현될까?
• 앱의 무응답과 대규모 입력 차단을 제외하고 모델 자체의 코드베이스 수정 능력을 어떻게 검증할 수 있을까?