Welcome Llama 4 Maverick & Scout on Hugging Face

🖼️ 인포그래픽

Welcome Llama 4 Maverick & Scout on Hugging Face 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Meta의 네이티브 멀티모달 MoE 모델 Llama 4 Maverick과 Scout가 출시 당일부터 Hugging Face Hub, Transformers, TGI, 양자화 및 Xet 저장소를 통해 제공되며, 최대 1천만 토큰 문맥과 강력한 추론·이미지·코딩 성능을 지원한다.

📌 핵심 요약

Llama 4 Maverick은 약 4천억 개의 전체 파라미터와 128개 전문가를, Scout는 약 1,090억 개의 전체 파라미터와 16개 전문가를 사용하며, 두 모델 모두 토큰 처리 시 170억 개의 파라미터가 활성화되는 MoE 구조다.
두 모델은 텍스트와 이미지를 함께 처리하는 네이티브 멀티모달 모델이며, 최대 40조 토큰과 200개 언어를 포함한 데이터로 학습됐다.
기본 모델의 문맥 길이는 25만6천 토큰이며, 지시 튜닝 모델은 Maverick이 100만 토큰, Scout가 1천만 토큰까지 지원한다.
Hugging Face는 출시 시점부터 Transformers 4.51.0, TGI, 텐서 병렬화, 자동 장치 배치, 양자화 및 Xet 저장소를 통합해 접근·추론·미세조정·배포를 지원한다.
평가에서 Maverick 지시 튜닝 모델은 MMLU Pro 80.5%, GPQA Diamond 69.8%, LiveCodeBench 43.4%를 기록했으며, Scout도 장문 문맥과 멀티모달 평가에서 경쟁력 있는 결과를 보였다.

🧩 주요 포인트

Llama 4 Maverick은 약 4천억 개의 전체 파라미터와 128개 전문가를, Scout는 약 1,090억 개의 전체 파라미터와 16개 전문가를 사용하며, 두 모델 모두 토큰 처리 시 170억 개의 파라미터가 활성화되는 MoE 구조다.
두 모델은 텍스트와 이미지를 함께 처리하는 네이티브 멀티모달 모델이며, 최대 40조 토큰과 200개 언어를 포함한 데이터로 학습됐다.
기본 모델의 문맥 길이는 25만6천 토큰이며, 지시 튜닝 모델은 Maverick이 100만 토큰, Scout가 1천만 토큰까지 지원한다.
Hugging Face는 출시 시점부터 Transformers 4.51.0, TGI, 텐서 병렬화, 자동 장치 배치, 양자화 및 Xet 저장소를 통합해 접근·추론·미세조정·배포를 지원한다.
평가에서 Maverick 지시 튜닝 모델은 MMLU Pro 80.5%, GPQA Diamond 69.8%, LiveCodeBench 43.4%를 기록했으며, Scout도 장문 문맥과 멀티모달 평가에서 경쟁력 있는 결과를 보였다.

🧠 상세 정리

1. Llama 4 Maverick과 Scout의 공개

Hugging Face는 2025년 4월 5일 Meta의 차세대 대규모 언어 모델인 Llama 4 Maverick과 Llama 4 Scout를 Hub에 공개했다고 발표했다. Maverick은 전체 약 4천억 파라미터, Scout는 전체 약 1,090억 파라미터 규모이지만, 두 모델 모두 추론 시에는 170억 개의 파라미터가 활성화되는 전문가 혼합 방식으로 설계됐다. 두 모델은 처음부터 텍스트와 이미지를 함께 다루는 네이티브 멀티모달 모델이며, Hugging Face는 Meta와 협력해 출시 당일부터 Transformers와 Text Generation Inference에서 사용할 수 있도록 통합했다. 이번 공개는 모델 가중치 제공에 그치지 않고, 향후 커뮤니티가 Maverick과 Scout를 기반으로 모델·데이터셋·애플리케이션을 만들 수 있도록 생태계 차원의 지원을 시작했다는 의미를 갖는다.

2. 모델 규모와 학습 특성

Llama 4는 Meta가 개발한 새로운 자기회귀형 전문가 혼합 아키텍처를 채택한다. Maverick은 128개 전문가에 걸쳐 전체 약 4천억 파라미터를 보유하고 170억 파라미터를 활성화하며, Scout는 16개 전문가와 전체 약 1,090억 파라미터 중 같은 수의 활성 파라미터를 사용한다. 두 모델은 초기 융합 방식으로 텍스트와 이미지 입력을 결합해 처리하며, 최대 40조 토큰과 200개 언어를 포함한 데이터로 훈련됐다. 아랍어·스페인어·독일어·힌디어를 포함한 12개 언어에는 별도의 미세조정 지원이 제공된다. 배포 측면에서 Scout는 실행 중 4비트 또는 8비트 양자화를 적용해 단일 서버급 GPU에 올릴 수 있도록 설계됐고, Maverick은 BF16 및 FP8 형식으로 제공된다.

3. Hugging Face 생태계 통합과 배포 지원

Maverick과 Scout의 기본 모델 및 지시 튜닝 모델 가중치는 Hugging Face Hub의 meta-llama 조직에서 제공되며, 사용자는 모델 카드에서 라이선스 조건에 동의한 뒤 가중치에 접근할 수 있다. 두 모델은 Transformers 4.51.0부터 정식 지원되어 익숙한 API로 로딩·추론·미세조정을 수행할 수 있고, 멀티모달 입력과 TRL 같은 후속 라이브러리도 활용할 수 있다. Transformers에는 텐서 병렬화와 자동 장치 배치 지원이 포함되며, TGI는 높은 처리량이 필요한 운영 환경에서 확장 가능한 텍스트 생성을 제공한다. Scout에는 성능 저하를 최소화하는 실행 중 int4 양자화 코드가 제공되고, Maverick에는 호환 하드웨어에서 효율적으로 배포할 수 있는 FP8 양자화 가중치가 포함된다. 모델은 사용자 정의 Llama 4 Community License Agreement에 따라 배포되며 세부 조건은 각 모델 저장소에서 확인해야 한다.

4. Xet 저장소와 대용량 모델 전송 효율

Hugging Face는 Llama 4 모델의 업로드와 다운로드, 커뮤니티 미세조정 모델의 반복 작업을 개선하기 위해 모든 Llama 4 저장소에 Xet 저장소 백엔드를 적용했다. 원본 Llama 4 모델에서는 약 25%의 데이터 중복 제거 효과를 얻으며, 미세조정·양자화 등 파생 모델에서는 약 40%의 더 높은 중복 제거율이 예상된다고 설명한다. 이는 동일하거나 유사한 대용량 가중치 블록을 반복해서 저장하고 전송하는 비용을 줄여, 커뮤니티의 시간과 대역폭을 절약하기 위한 선택이다. 특히 수천억 파라미터 규모의 모델은 저장 계층에서도 상당한 공학적 최적화가 필요하므로, Xet 통합은 단순한 다운로드 기능을 넘어 모델 배포와 파생 작업의 반복 속도를 높이는 기반으로 제시된다.

5. 초장문 문맥을 위한 iRoPE와 청크 어텐션

Llama 4의 사전학습 모델은 25만6천 토큰 문맥으로 훈련됐으며, 지시 튜닝 모델은 Maverick이 100만 토큰, Scout가 1천만 토큰의 훨씬 긴 문맥을 지원한다. 이를 위해 네 개 층마다 하나의 NoPE 층을 배치하고 나머지 세 개의 RoPE 층에는 청크 어텐션을 적용하는 인터리브 구조를 사용하며, Meta는 이를 온도 스케일링과 함께 iRoPE 아키텍처라고 부른다. NoPE 층은 전통적인 위치 인코딩을 사용하지 않고 전체 인과 마스크를 통해 전체 문맥에 접근하는 반면, RoPE 층은 메모리와 연산량을 줄이기 위해 길이 8,192의 블록 단위 문맥만 추적한다. 따라서 일부 층은 전체 문맥의 장거리 관계를 다루고 다른 층은 제한된 범위에서 효율적으로 어텐션을 계산하는 구조다. 원문은 이를 슬라이딩 윈도 어텐션보다 메모리와 계산 효율을 높인 방식으로 설명한다.

6. 장문 어텐션 안정화와 MoE 구성

문맥이 길어지면 소프트맥스가 계산하는 어텐션 확률이 0에 가까워지는 문제가 발생할 수 있는데, Llama 4는 NoPE 층에 스케일된 소프트맥스를 적용하는 어텐션 온도 튜닝으로 이를 보완한다. RoPE 층은 짧은 하위 시퀀스에만 어텐션하므로 이 온도 조정을 적용하지 않으며, 원문은 이 방식이 임의의 문맥 길이에 대한 일반화를 개선하고 Scout의 1천만 토큰 문맥 달성에 기여한 핵심 요인 중 하나일 수 있다고 설명한다. Scout는 RoPE 임베딩을 적용한 뒤 Query와 Key 상태에 학습 가능한 파라미터가 없는 추가 RMS 정규화를 수행한다. MoE 배치도 모델마다 달라 Scout는 16개 전문가를 사용하는 완전한 MoE인 반면, Maverick은 128개 전문가를 사용하되 MoE 층과 밀집 층을 번갈아 배치해 전체 층의 절반에서 전문가를 활용한다. Maverick은 더 큰 Llama Behemoth로부터 학생과 교사의 로짓 가중치를 동적으로 조정하는 새로운 손실 함수로 공동 증류됐으며, 두 모델에는 훈련 예산과 모델 크기 등 여러 차원의 하이퍼파라미터를 조정하는 MetaP 방법론도 사용됐다.

7. Transformers를 이용한 멀티모달 추론

Llama 4를 사용하려면 Transformers 4.51.0 이상과 Hugging Face Hub의 Xet 지원 패키지를 설치해야 하며, 모델별 라이선스 접근 권한도 확보해야 한다. 원문의 예시는 지시 튜닝된 Maverick 모델을 AutoProcessor와 Llama4ForConditionalGeneration으로 불러오고, flex_attention·자동 장치 배치·bfloat16 설정을 사용해 두 장의 이미지를 비교하도록 요청한다. 대화 입력은 이미지 URL 두 개와 질문 텍스트를 하나의 사용자 메시지에 넣은 뒤, 프로세서의 채팅 템플릿을 적용해 PyTorch 텐서로 변환하고 generate 메서드로 답변을 생성하는 흐름이다. 예시 구성은 최대 속도를 위한 텐서 병렬 실행을 전제로 하며, 8개 GPU가 있는 환경에서 torchrun을 사용하는 명령을 제시한다. 구체적인 시스템 프롬프트 형식, 멀티모달 예제, 양자화 방식 및 고급 설정은 Maverick과 Scout의 각 모델 카드에서 확인하도록 안내한다.

8. 평가 결과와 모델별 강점

평가 결과에서 Llama 4 모델은 이전 Llama 세대와 비교해 추론·지식·코딩·이미지 이해 영역에서 강한 성능을 보였다. 지시 튜닝된 Maverick은 MMLU Pro 80.5%, GPQA Diamond 69.8%, LiveCodeBench 43.4%, MMMU 73.4%, MathVista 73.7%를 기록했으며, Scout는 같은 평가에서 각각 74.3%, 57.2%, 32.8%, 69.4%, 70.7%를 기록했다. 사전학습 모델 평가에서도 Maverick은 MMLU 85.5%, MATH 61.2%, MBPP 77.6%로 Llama 3.1 405B의 해당 점수인 85.2%, 53.5%, 74.4%를 웃돌았다. 이미지 평가에서는 사전학습 Maverick이 ChartQA 85.3%와 DocVQA 91.6%, Scout가 각각 83.4%와 89.4%를 기록했으며, 이전 비교 모델에는 멀티모달 지원이 없었다. 장문 번역 평가에서도 Scout와 Maverick이 128K 문맥으로 제한된 기존 모델보다 높은 결과를 제시해, 초장문 문맥 지원이 실제 장문 과제 평가와 함께 다뤄지고 있음을 보여준다.

9. 출시 협업과 후속 생태계 확장

Hugging Face는 Llama 4 같은 초대형 모델의 공개가 여러 팀과 지역, 대규모 가상 머신 자원을 아우르는 공동 작업이었다고 강조한다. Transformers 팀은 모델 통합을 담당했고, vLLM 팀은 복잡한 통합 과정에서 논의·테스트·디버깅을 함께 수행했으며, TGI에는 별도의 Llama 4 지원 작업이 추가됐다. Xet 팀은 거대한 모델 가중치의 업로드·다운로드와 저장 효율을 확보하기 위한 저장 계층의 공학적 작업을 맡았다. Meta Llama 팀과 Hugging Face 내부 여러 팀도 출시 과정에 참여했으며, 원문은 이번 공개를 완결된 작업이 아니라 커뮤니티와 함께 후속 모델·데이터셋·응용 프로그램을 구축하는 출발점으로 규정한다. 추가 정보는 Xet 저장소 소개 자료와 Hub 문서, Meta의 공식 Llama 4 출시 글 및 각 모델 저장소에서 확인할 수 있다.

🧾 핵심 주장 / 시사점

Scout와 Maverick은 동일하게 170억 활성 파라미터를 사용하지만, Scout는 단일 서버급 GPU 배포와 1천만 토큰 문맥에 초점을 두고 Maverick은 더 많은 전문가와 높은 평가 성능을 제공해 서로 다른 사용 조건을 겨냥한다.
초장문 문맥은 단순히 문맥 창 수치만 늘린 결과가 아니라, 전체 문맥을 보는 NoPE 층과 8,192 토큰 블록을 처리하는 RoPE 층, 온도 튜닝을 결합해 연산 효율과 장거리 정보 접근을 함께 확보한 구조적 결과다.
출시 당일부터 모델 가중치, Transformers, TGI, 양자화, 텐서 병렬화 및 Xet 저장소를 함께 제공한 것은 Llama 4의 공개가 모델 발표뿐 아니라 실제 접근·개발·배포와 파생 모델 제작까지 포괄하도록 설계됐음을 보여준다.

✅ 액션 아이템

Maverick(약 4천억 파라미터·128 전문가)와 Scout(약 1,090억 파라미터·16 전문가)의 구조 차이를 반영해 과업별 모델 적용 기준을 정한다.
출시 즉시 제공된 Transformers 4.51.0, TGI, 텐서 병렬화, 자동 장치 배치, 양자화, Xet 경로로 추론·미세조정·배포 일괄화를 점검한다.
기본 25만6천 토큰과 지시 튜닝 문맥치(100만, 1천만), 그리고 MMLU Pro 80.5/GPQA 69.8/LiveCodeBench 43.4 수치를 함께 반영해 적용 우선순위를 정한다.