Welcome Le Chonk: Mistral Large 4 on Hugging Face

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Mistral Large 4(Le Chonk)는 약 1T 전체·49B 활성 파라미터와 1M 토큰 문맥을 갖춘 멀티모달 오픈 웨이트 모델로, 방어적 사이버보안과 코딩 성능을 강조하며 다양한 추론·미세조정 도구를 출시일부터 지원한다.

📌 핵심 요약

• Mistral Large 4는 텍스트와 이미지를 입력받아 텍스트를 생성하는 다국어 MoE 모델이다. 약 1T 전체·49B 활성 파라미터와 1M 토큰 문맥을 제공하며, 서비스형 모델 제공에 제한을 두는 MIT 파생 Mistral Ecosystem Open-Weight License로 배포된다.
• 실제 오픈소스 취약점을 재현하고 수정하는 평가에서 82%, 보안 대회 문제 40개로 구성된 Cybench에서 93%, Lakera B3에서 프롬프트 주입 공격 저항성 93.3%를 기록했다. Mistral은 일부 비공개 최전선 모델이 작업을 거부해 같은 취약점 평가에서 거의 0점을 받았다고 설명한다.
• 오픈 웨이트는 사용 정책과 배포를 사용자가 통제하게 하지만, Mistral Large 4도 유해 요청을 거부한다. JailbreakBench·StrongREJECT·AgentHarm의 사이버 프롬프트에서는 다른 모든 오픈 웨이트 모델보다 평균 거부율이 높다고 원문은 설명하며, 모델의 취약점 수정 수행 기록을 활용한 작은 보안 모델의 미세조정·강화학습 가능성도 제시한다.
• 2026년 10월 29일 기준 Artificial Analysis Intelligence Index에서 오픈 웨이트 모델 중 5위이며, Coding Agent Index는 49.8%로 DeepSeek V4 Pro 0813과 Qwen3.8 Max를 앞선다. 구조적으로는 MLA·DSA 희소 어텐션, 토큰당 선택 전문가 4개와 공유 전문가 1개, 1.6B Pixtral 비전 인코더를 결합한다.
• 출시일부터 Transformers·vLLM·llama.cpp와 TRL 미세조정을 지원한다. Transformers의 추론 강도는 low·medium·high이며 추론을 끌 수 없고, vLLM의 NVFP4 체크포인트는 NVIDIA Blackwell GPU가 필요하다. llama.cpp의 2비트 양자화는 통합 메모리 512GB의 단일 Apple Silicon Ultra에서 실행되지만, 제시된 4 x RTX6000 Pro 측정에서는 긴 문맥 사용 시 생성 속도가 30 tok/s에서 3 tok/s로 떨어졌다.

🧩 주요 포인트

1. 취약점 재현·수정 82%와 높은 유해 요청 거부율 → 방어적 사이버보안 작업의 수행 능력과 거부 행동을 함께 평가할 필요.
2. MoE·희소 어텐션·1.6B Pixtral 결합 → 전문가 연산과 문맥 참조를 각각 희소화하면서 텍스트·이미지 입력을 처리하는 구조.
3. M 토큰 문맥과 여러 추론 도구 지원 → 실제 활용 범위는 Mistral Ecosystem Open-Weight License, NVIDIA Blackwell GPU 요구, 512GB 메모리 조건, 긴 문맥의 속도 저하에 좌우됨.

🧠 상세 정리

1. 모델 개요와 배포 조건

Mistral Large 4는 Le Chonk라는 별칭으로 소개된 Mistral의 멀티모달·다국어 Mixture-of-Experts(MoE) 모델로, 텍스트와 이미지를 받아 텍스트를 생성한다. 원문 도입부는 전체 파라미터를 약 1T, 활성 파라미터를 49B, 문맥 창을 1M 토큰으로 설명하며, 특히 사이버보안과 코딩 에이전트, 멀티모달 활용을 강점으로 제시한다. 모델은 다수의 전문가와 희소 어텐션, Pixtral 비전 인코더를 결합하고, 토큰마다 사용할 전문가를 고르는 과정과 과거 문맥의 참조 위치를 고르는 과정을 서로 다른 희소성으로 구분한다. 배포에는 서비스형 모델 제공에 제한을 두는 MIT 파생 Mistral Ecosystem Open-Weight License가 적용되므로, 오픈 웨이트라는 특성과 이용 조건을 함께 이해해야 한다. 체크포인트는 Mistral Large 4 컬렉션에 모여 있으며, Unsloth와 llama.cpp 팀이 만든 GGUF도 제공된다.

2. 취약점 재현·수정과 사이버보안 성능

Mistral Large 4는 실제 오픈소스 소프트웨어의 취약점을 재현한 뒤 수정하는 Artificial Analysis Cyber Index 내 평가에서 82%를 기록했으며, 원문은 이를 해당 시험의 보고된 최고 점수로 소개한다. 또한 취약점을 찾고 수정하는 능력을 평가하는 Artificial Analysis Cyber Index에서는 전 세계 상위 5개 모델에 포함되고, 보안 대회에서 가져온 40개 문제로 구성된 Cybench에서는 93%를 해결했다고 설명한다. Mistral은 일부 비공개 최전선 모델이 취약점 재현 작업 자체를 거부하기 때문에 같은 시험에서 거의 0점을 받았다고 보고하며, 방어자가 취약점을 고치려면 먼저 재현해야 하는 경우가 많다는 점을 강조한다. 프롬프트 주입 공격에 대한 Lakera B3 평가에서는 93.3%의 공격 저항성을 보였다는 결과도 제시된다. 악성코드 분석, 취약점 우선순위 결정, 탐지 규칙 작성에서도 유용했다는 내부 시험 결과가 있지만, 이는 해당 작업을 명시적으로 학습하지 않은 상태에서 관찰된 결과라는 설명과 함께 제시된다.

3. 방어적 활용, 사용자 통제와 거부 행동

Mistral은 이 모델을 주로 방어적 보안 작업에 배치하며, 취약점 연구나 사고 대응의 입력이 공격처럼 보일 수 있어 비공개 모델의 필터가 정당한 작업까지 막을 수 있다고 설명한다. API에 의존하는 팀은 사고 대응 도중 접근 권한을 잃을 수도 있다는 문제를 제기하고, 오픈 웨이트가 사용 정책과 배포를 사용자의 통제 아래 둔다는 점을 장점으로 든다. 다만 모델이 유해 요청을 모두 수용한다는 뜻은 아니며, JailbreakBench·StrongREJECT·AgentHarm의 사이버 프롬프트에서 평균 거부율이 다른 모든 오픈 웨이트 모델보다 높다고 원문은 설명한다. 커뮤니티는 자체 코드베이스와 충돌 로그, 악성코드 샘플을 활용해 보안 시스템을 구성하거나, Mistral Large 4가 코드를 수정한 수행 기록으로 더 작은 모델을 TRL에서 미세조정할 수 있다는 가능성도 제시된다. 취약점 재현 후 수정하는 작업은 검증 가능한 보상을 제공하므로 작은 보안 모델의 강화학습에도 연결될 수 있으며, 연구자는 공개된 웨이트를 통해 제공자의 설명에만 의존하지 않고 거부 행동을 직접 측정할 수 있다.

4. 텍스트 디코더와 Pixtral 비전 인코더

텍스트 디코더는 72개 층, 은닉 차원 6,144, 어텐션 헤드 64개로 구성되며, 어텐션 블록은 Multi-head Latent Attention(MLA)과 DeepSeek Sparse Attention(DSA) 인덱서를 결합한다. MLA는 압축된 KV 표현을 유지하고 DSA는 쿼리마다 최대 2,048개의 키 위치를 선택하므로, 전문가 선택과 별도로 문맥 참조 위치도 제한한다. 디코더는 RoPE를 사용하는 세 층마다 NoPE를 사용하는 한 층이 이어지는 3:1 패턴을 적용하고 층 사이에서 KV 상태를 공유하며, RoPE에는 주파수별 학습 배수를 갖는 YaRN 확장 방식인 LeRope를 사용한다. 첫 디코더 층은 밀집 피드포워드 네트워크이고 나머지 71개 층은 MoE로, 소프트맥스 라우터가 128개 전문가 중 4개를 선택하고 항상 실행되는 공유 전문가 1개를 더해 토큰당 5개 전문가를 활성화한다. 이미지 처리는 1.6B Pixtral 인코더가 맡으며, 이 인코더는 30개 층, 은닉 차원 2,048, 어텐션 헤드 16개, 14 × 14 패치와 공간 병합 크기 2의 패치 병합 프로젝터를 사용한다.

5. 코딩·지식 업무 벤치마크와 모델의 위치

원문은 Mistral Large 4가 코딩, 사이버보안, 멀티모달 이해, 에이전트 작업에서 강한 성능을 보인다고 소개하며, 2026년 10월 29일 기준 Artificial Analysis Intelligence Index에서 오픈 웨이트 모델 중 5위라고 명시한다. 코딩 평가별 점수는 DeepSWE v1.1에서 61.7%, SWE-Atlas-QnA에서 59.4%, Terminal-Bench 4에서 28.3%로 제시된다. 이들을 종합한 Coding Agent Index는 49.8%이며, 원문은 이 점수가 DeepSeek V4 Pro 0813과 Qwen3.8 Max를 앞선다고 설명한다. 코딩 역량이 지식 업무로도 이어진다는 근거로는 AutomationBench의 59.9%와 AA-Briefcase의 1,393 Elo를 제시하고, 두 평가가 업무 흐름과 장기간에 걸친 전문 작업을 측정한다고 설명한다. 따라서 제시된 경쟁력은 여러 업무 축에 걸쳐 있지만, 각 벤치마크는 평가 대상과 점수 단위가 다르므로 원문의 개별 수치와 비교 범위를 유지해 읽어야 한다.

6. Transformers 추론과 추론 강도 설정

Mistral Large 4는 출시일부터 Transformers, vLLM, llama.cpp를 지원하며, 원문은 원격 배포를 위한 Inference Endpoints와 서버리스 추론을 위한 Inference Providers도 선택지로 소개한다. Transformers 구현에서는 AutoModelForMultimodalLM으로 모델을 불러오고 AutoProcessor로 대화와 이미지 입력을 준비하며, 예제의 모델 식별자는 mistralai/Mistral-Large-4-1T-A52B이다. 예제는 WORLD_SIZE에 맞춰 텐서 병렬과 전문가 병렬을 설정한 뒤, 텍스트만 있는 대화와 이미지·텍스트가 함께 있는 대화를 각각 처리하는 방식을 보여준다. 추론 강도는 low, medium, high를 받을 수 있고 기본값은 high이며, reasoning_effort를 none으로 지정해도 high가 적용되므로 추론을 비활성화할 수 없다. 제시된 코드에서는 대화 템플릿을 적용할 때 medium을 선택하고 최대 100개 새 토큰을 생성하는데, 이러한 예제 설정과 모델이 제공하는 전체 기능 범위는 구분할 필요가 있다.

7. vLLM의 NVFP4 배포와 실행 예제

vLLM은 메모리 사용량을 줄인 고품질 NVFP4 체크포인트를 지원하지만, 이 체크포인트를 실행하려면 NVIDIA Blackwell GPU가 필요하다고 원문은 명시한다. 모델에는 vLLM에서 추가 속도 향상을 위한 DSpark drafter도 함께 제공되며, 서버 실행 예제는 mistralai/Mistral-Large-4-1T-A52B-NVFP4를 대상으로 한다. 해당 명령은 텐서 병렬 크기와 디코드 문맥 병렬 크기를 각각 8로 지정하고 전문가 병렬을 활성화하며, bfloat16과 최대 모델 길이 131072를 설정한다. 또한 최대 시퀀스 수 16, 배치당 최대 토큰 수 2048, GPU 메모리 사용 비율 0.85, 접두부 캐싱 등의 실행 옵션을 제시하므로, 모델 자체의 1M 토큰 문맥과 이 예제의 서버 설정은 구분된다. 서버가 시작된 뒤에는 로컬의 채팅 완성 API에 요청하는 예제를 제공하지만, 이 절에는 해당 vLLM 구성의 구체적인 처리량 측정값은 제시되지 않는다.

8. llama.cpp 양자화 성능과 TRL 미세조정

llama.cpp 팀은 IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0와 추가 변환용 BF16을 제공하며, FP8 및 공식 NVFP4 체크포인트에서 변환한 저장소를 소개한다. 원문에 따르면 2비트 양자화는 통합 메모리 512GB를 갖춘 단일 Apple Silicon Ultra에서 실행되고 다른 형식은 분산 추론이 필요하며, 여러 NVIDIA 또는 AMD 카드에서도 구동할 수 있다. 단일 M3 Ultra에서 Q2_K를 실행했을 때는 프리필 약 90 tok/s와 생성 15 tok/s가 관찰됐고, 내장 WebUI에서는 이미지 입력과 추론 강도 조정도 지원한다. 4 x RTX6000 Pro의 IQ2_XXS 측정에서는 800K 문맥을 지원하며 짧은 문맥에서 프리필 500 tok/s·생성 30 tok/s였지만, 긴 문맥에서는 각각 129 tok/s와 3 tok/s로 떨어졌다. 마지막으로 출시일부터 TRL 미세조정을 지원하며 transformers·trl·peft를 최신 버전으로 갱신하도록 안내하고 다국어 사고를 학습시키는 예제를 예고하지만, 제공된 원문은 그 설명 도중에 끝나므로 실제 학습 절차와 결과는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 취약점 재현·수정 평가의 성적에는 작업 수행 능력과 요청 수락 여부가 함께 반영된다. 일부 비공개 모델의 낮은 점수 원인을 거부 행동으로 설명한 Mistral의 주장은 이 둘을 구분해 해석할 필요성을 보여준다.
• 오픈 웨이트에 따른 사용자 통제와 유해 요청 거부는 함께 존재한다. Mistral Large 4의 방어적 활용 가치는 배포 자율성뿐 아니라 실제 보안 작업에서의 수행 능력과 거부 행동을 함께 살필 때 판단할 수 있다.
• 1M 토큰 문맥을 제공한다는 사실만으로 실제 처리 속도를 알 수는 없다. 원문의 llama.cpp 측정은 긴 문맥에서 생성 속도가 크게 낮아지는 사례를 보여주며, 하드웨어와 양자화 형식, 실행 설정이 활용 조건을 좌우한다.

✅ 액션 아이템

• Mistral Large 4의 방어적 사이버보안 활용 적합성을 취약점 재현·수정 82%와 유해 요청 거부율을 함께 고려해 검토.
• 배포 방식 선택 시 Mistral Ecosystem Open-Weight License의 서비스형 모델 제공 제한과 NVIDIA Blackwell GPU·512GB 메모리 조건 확인.
• 1M 토큰 문맥 활용 시 긴 문맥의 생성 속도 저하와 Transformers의 추론 비활성화 불가 조건을 반영해 실행 범위 검토.

❓ 열린 질문

• Mistral Large 4의 높은 유해 요청 거부율은 실제 방어적 사이버보안 작업의 수행 범위에 어떤 영향을 미치는가?
• Mistral Ecosystem Open-Weight License의 서비스형 모델 제공 제한은 검토 중인 배포 방식에 어떻게 적용되는가?
• 1M 토큰 문맥을 활용할 때 긴 문맥의 생성 속도 저하를 고려하면 어느 추론 도구와 하드웨어 구성이 적합한가?