Welcome to the Falcon 3 Family of Open Models!

🖼️ 인포그래픽

Welcome to the Falcon 3 Family of Open Models! 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

팰컨3는 10억~100억 매개변수 규모에서 과학·수학·코딩·추론 성능과 학습 효율을 함께 높이고, 다양한 배포 형식과 개방형 라이선스를 제공하는 디코더 전용 언어 모델 제품군이다.

📌 핵심 요약

아부다비 기술혁신연구소는 팰컨3-1B·3B·7B·10B와 상태 공간 모델인 팰컨3-맘바-7B를 포함한 다섯 가지 기본 모델을 공개했다.
7B 모델의 대규모 사전학습을 출발점으로 깊이 확장, 가지치기와 지식 증류, 추가 학습을 적용해 규모별 모델을 효율적으로 개발했다.
팰컨3-10B-Base는 수학·코딩·추론·과학 지식 평가에서 제품군 내 최고 수준의 점수를 기록했으며, 원문은 130억 매개변수 미만 모델 가운데 최상위 성능이라고 설명한다.
대부분의 모델은 최대 3만 2천 토큰 문맥을 지원하고, 트랜스포머 계열은 라마 아키텍처와 호환되며 여러 양자화·지시 조정 형식으로 제공된다.
모든 모델은 팰컨 LLM 라이선스로 공개됐으며, 연구·응용 개발·추가 실험과 기존 추론 생태계에서의 활용을 목표로 한다.

🧩 주요 포인트

아부다비 기술혁신연구소는 팰컨3-1B·3B·7B·10B와 상태 공간 모델인 팰컨3-맘바-7B를 포함한 다섯 가지 기본 모델을 공개했다.
7B 모델의 대규모 사전학습을 출발점으로 깊이 확장, 가지치기와 지식 증류, 추가 학습을 적용해 규모별 모델을 효율적으로 개발했다.
팰컨3-10B-Base는 수학·코딩·추론·과학 지식 평가에서 제품군 내 최고 수준의 점수를 기록했으며, 원문은 130억 매개변수 미만 모델 가운데 최상위 성능이라고 설명한다.
대부분의 모델은 최대 3만 2천 토큰 문맥을 지원하고, 트랜스포머 계열은 라마 아키텍처와 호환되며 여러 양자화·지시 조정 형식으로 제공된다.
모든 모델은 팰컨 LLM 라이선스로 공개됐으며, 연구·응용 개발·추가 실험과 기존 추론 생태계에서의 활용을 목표로 한다.

🧠 상세 정리

1. 팰컨3 제품군의 구성과 목표

아부다비 기술혁신연구소는 2024년 12월 17일, 10억에서 100억 매개변수 규모의 디코더 전용 대규모 언어 모델 제품군인 팰컨3를 발표했다. 기본 모델은 팰컨3-1B-Base, 3B-Base, 7B-Base, 10B-Base와 순수 상태 공간 모델 구조를 사용하는 팰컨3-맘바-7B-Base까지 총 다섯 가지다. 이번 세대는 이전 팰컨 모델의 연장선에서 과학, 수학, 코딩 능력을 확대하고 성능과 학습 효율을 동시에 개선하는 데 초점을 맞췄다. 각 모델은 기본형뿐 아니라 지시 조정형, GGUF, GPTQ 4비트·8비트, AWQ, 1.58비트 형태로도 제공돼 서로 다른 연산 환경과 응용 목적에 대응한다.

2. 대규모 사전학습과 규모 확장 전략

트랜스포머 계열 개발의 출발점은 1,024개의 H100 GPU와 웹·코드·과학·기술·공학·수학·다국어 고품질 자료를 포함한 14조 토큰으로 수행한 7B 모델의 단일 대규모 사전학습이었다. 연구진은 이 7B 모델에서 중복 가능한 층을 복제해 깊이를 늘린 뒤, 고품질 데이터 2조 토큰으로 학습을 계속해 팰컨3-10B-Base를 만들었다. 원문은 이러한 깊이 확장 방식으로 10B 모델이 130억 매개변수 미만 범주에서 강한 제로샷 및 퓨샷 성능을 달성했다고 설명한다. 한편 1B와 3B 모델은 가지치기와 지식 증류를 결합하고 원문 표기 기준 100GT 미만의 선별된 고품질 데이터를 사용해 소형 모델의 사전학습 비용을 줄였다. 즉 하나의 7B 대규모 학습을 중심으로 상위 모델은 깊이 확장하고, 하위 모델은 압축·증류하는 방식으로 제품군을 구성했다.

3. 모델 규모별 벤치마크 경쟁력

기본 모델 비교에서 팰컨3-1B-Base는 스몰LM2-1.7B를 앞서고 젬마2-2B와 비슷한 수준을 보였으며, 팰컨3-3B-Base는 더 큰 라마3.1-8B와 미니트론-4B-Base보다 높은 성능을 기록한 것으로 소개됐다. 팰컨3-7B-Base는 90억 매개변수 미만 범주에서 큐웬2.5-7B와 대등한 최상위권 성능을 보였고, 팰컨3-10B-Base는 130억 매개변수 미만 범주의 최고 수준 모델로 제시됐다. 팰컨3-맘바-7B는 상태 공간 언어 모델 가운데 선도적 성능을 유지하면서 같은 7B 규모의 주요 트랜스포머 모델과 맞먹거나 일부 평가에서 앞섰다. 지시 조정형에서도 팰컨3-7B-Instruct와 10B-Instruct가 공개 리더보드의 130억 매개변수 미만 지시 모델 가운데 강한 결과를 냈다고 원문은 평가한다. 다만 소형 지시 모델은 모든 지표에서 경쟁 모델을 이긴 것은 아니며, 특히 추론과 상식 이해에서 상대적으로 강한 면모를 보였다고 명시한다.

4. 수학·코딩·추론·과학 지식 성능

내부 평가에서 팰컨3-10B-Base는 고난도 수학 평가인 MATH-Lvl5에서 22.9, GSM8K에서 83.0을 기록해 복합적인 수학 추론 능력의 향상을 보였다. 코딩에서는 10B 기본 모델이 MBPP 73.8을, 10B 지시 모델이 여러 프로그래밍 언어에 대한 일반화를 평가하는 Multipl-E에서 45.8을 기록했다. 추론 평가인 BBH에서는 7B 기본 모델이 51.0, 10B 기본 모델이 59.7을 얻어 모델 확장에 따른 성능 향상이 나타났다. 전문 지식 평가에서는 7B가 MMLU 67.4와 MMLU-PRO 39.2를, 10B가 각각 73.1과 42.5를 기록했다. 이러한 결과는 팰컨3가 일반 지식뿐 아니라 수학, 프로그래밍, 과학 지식과 추론 능력의 개선을 주요 목표로 삼았다는 설명을 뒷받침한다.

5. 아키텍처·문맥 길이와 평가 조건

팰컨3 제품군은 1B 모델의 최대 8천 토큰을 제외하면 최대 3만 2천 토큰의 문맥 길이를 지원하며, 팰컨3-10B-Instruct는 함수 호출 평가인 BFCL에서 86.3을 기록했다. 트랜스포머 기반 모델은 라마 아키텍처와 호환되므로 기존 인공지능 소프트웨어 생태계에 비교적 쉽게 통합할 수 있도록 설계됐다. 이 계열은 18개에서 40개의 층을 사용하고, 맘바 모델은 64개 층을 사용하며, 모두 SwiGLU 활성화 함수를 공유한다. 어휘 집합은 트랜스포머 모델이 약 13만 1천 토큰, 맘바-7B가 약 6만 5천 토큰이고, 7B 기본 모델은 FlashAttention-3의 최적화 특성을 활용할 수 있도록 헤드 차원이 256으로 구성됐다. 내부 평가는 lm-evaluation-harness를 기반으로 동일한 배치 크기와 채팅 템플릿을 사용했으며, 별도의 멀티턴 퓨샷 설정 없이 얻은 원점수를 보고했다.

6. 지시 모델, 공개 배포와 생태계 확장

소형 지시 모델 가운데 팰컨3-1B-Instruct는 IFEval 54.4, MUSR 40.7, SciQ 86.8을 기록했고, 3B-Instruct는 MMLU-PRO 29.7과 MATH 19.9를 기록해 규모 확대에 따른 개선을 보였다. 7B-Instruct는 ARC Challenge 65.9, MUSR 46.4, GSM8K 79.1을 얻었으며, 10B-Instruct는 GSM8K 83.1과 IFEval 78로 추가 향상을 나타냈다. 모든 팰컨3 모델은 인공지능 접근성과 협업을 확대한다는 목표 아래 팰컨 LLM 라이선스로 공개됐고, 허깅페이스 컬렉션을 통해 GGUF와 1.58비트 모델을 포함한 여러 형식에 접근할 수 있다. 또한 llama.cpp, MLX, BitNet 등 관련 생태계와의 통합 작업이 진행됐으며, 기존 팰컨 맘바 7B와 같은 구조를 유지한 새 맘바 모델은 추가적인 통합 작업 없이 사용할 수 있다고 설명한다. 발표 당시 연구진은 2025년 1월 이미지·영상·오디오를 지원하는 확장 모델과 학습 방법을 다룬 전체 기술 보고서를 추가로 공개할 계획이라고 밝혔다.

🧾 핵심 주장 / 시사점

팰컨3의 핵심 개발 방식은 7B 모델의 대규모 사전학습 결과를 중심으로, 10B에는 깊이 확장을 적용하고 1B·3B에는 가지치기와 지식 증류를 적용해 규모별 학습 효율을 높인 것이다.
벤치마크 결과는 모델 크기가 커질수록 수학·추론·전문 지식 성능이 대체로 향상됨을 보여주지만, 소형 지시 모델이 모든 평가에서 경쟁 모델을 앞선 것은 아니라는 제한도 함께 제시한다.
최대 3만 2천 토큰 문맥, 라마 아키텍처 호환성, 다양한 양자화 형식과 공개 라이선스는 높은 평가 점수뿐 아니라 실제 배포와 생태계 통합까지 고려한 제품군임을 보여준다.