🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Falcon-Edge는 하나의 사전학습 과정에서 범용 bfloat16 모델, 삼진 가중치 기반 BitNet 모델, 미세조정용 사전 양자화 모델을 함께 제공하는 1.58비트 언어 모델 시리즈다.

📌 핵심 요약

• Falcon-Edge는 BitNet 구조를 기반으로 하며, 10억·30억 매개변수 규모에서 기본 모델과 지시 미세조정 모델을 각각 제공한다.
• 약 1조 5천억 토큰의 내부 데이터 혼합으로 사전학습했으며, 비슷한 규모의 모델들과 비교한 평가에서 대등하거나 더 나은 성능을 보였다고 보고한다.
• 하나의 학습 과정으로 네이티브 BitNet 모델뿐 아니라 일반적으로 사용할 수 있는 bfloat16 모델과 후속 학습에 적합한 사전 양자화 체크포인트를 산출하는 방식을 제안한다.
• 사전 양자화 체크포인트를 미세조정하려면 일반 선형 계층을 BitNet 선형 계층으로 교체해야 하며, 그렇지 않은 상태에서 텍스트를 생성하면 정상적인 결과를 얻을 수 없다.
• 함께 공개된 onebitllms 패키지는 체크포인트 변환, 전체 미세조정, BitNet·bfloat16 형식 재양자화를 지원하며, 향후 과제로 그래픽 처리 장치 추론 커널, 매개변수 효율적 미세조정, 멀티모달 확장 등이 제시됐다.

🧩 주요 포인트

1. Falcon-Edge는 BitNet 구조를 기반으로 하며, 10억·30억 매개변수 규모에서 기본 모델과 지시 미세조정 모델을 각각 제공한다.
2. 약 1조 5천억 토큰의 내부 데이터 혼합으로 사전학습했으며, 비슷한 규모의 모델들과 비교한 평가에서 대등하거나 더 나은 성능을 보였다고 보고한다.
3. 하나의 학습 과정으로 네이티브 BitNet 모델뿐 아니라 일반적으로 사용할 수 있는 bfloat16 모델과 후속 학습에 적합한 사전 양자화 체크포인트를 산출하는 방식을 제안한다.
4. 사전 양자화 체크포인트를 미세조정하려면 일반 선형 계층을 BitNet 선형 계층으로 교체해야 하며, 그렇지 않은 상태에서 텍스트를 생성하면 정상적인 결과를 얻을 수 없다.
5. 함께 공개된 onebitllms 패키지는 체크포인트 변환, 전체 미세조정, BitNet·bfloat16 형식 재양자화를 지원하며, 향후 과제로 그래픽 처리 장치 추론 커널, 매개변수 효율적 미세조정, 멀티모달 확장 등이 제시됐다.

🧠 상세 정리

1. Falcon-Edge의 구성과 공개 목적

Falcon-Edge는 삼진 형식의 가중치를 사용하는 BitNet 구조를 기반으로 설계된 언어 모델 시리즈다. 공개 시점에는 10억 매개변수와 30억 매개변수의 두 가지 크기가 제공되며, 각 크기마다 기본 모델과 지시 미세조정 모델이 마련됐다. 핵심 특징은 한 번의 사전학습 과정에서 네이티브 BitNet 모델만 만드는 데 그치지 않고, 비양자화 bfloat16 모델과 미세조정용 사전 양자화 BitNet 체크포인트까지 함께 산출한다는 점이다. 개발자는 동일한 학습 계보에서 일반 형식의 모델을 사용하거나, 초저정밀 추론을 준비하거나, 특정 분야에 맞춘 후속 학습을 수행할 수 있다. 모델들은 전용 허깅페이스 컬렉션을 통해 공개돼 접근성과 재사용성을 높였다.

2. 초저정밀 학습이 필요한 배경

대규모 언어 모델은 구조적으로 크고 자원 소모가 많기 때문에, 엣지 장치에 효율적으로 배포하려면 모델 압축과 저정밀 연산이 중요하다. 기존 접근에는 부동소수점 정밀도를 낮춘 상태에서 학습하거나, 고정밀 학습이 끝난 뒤 가중치를 양자화하는 방식이 포함된다. BitNet은 이와 달리 학습 단계부터 가중치를 마이너스 1, 0, 1의 삼진 값으로 다뤄 종단 간 초저정밀 모델을 구성한다. 이러한 가중치는 행렬 곱셈 의존도를 크게 줄이는 언어 모델 설계로 이어질 가능성이 있으며, 실제 사용에서 속도와 메모리 효율을 높이는 기반이 된다. 다만 BitNet 모델 자체를 처음부터 사전학습해야 하므로, 일반 사용자가 감당하기에는 계산량과 비용이 크다는 문제가 남아 있다.

3. 사전학습 방식과 성능 평가

연구진은 자체적으로 축적한 사전학습 데이터 전략을 활용해 내부 데이터 혼합으로 Falcon-Edge를 약 1조 5천억 토큰 동안 학습했다. 학습률 조정에는 전통적인 WSD 스케줄러가 사용됐다. 기본 모델과 지시 미세조정 모델은 과거 허깅페이스 리더보드 버전 2의 과제에서 비슷한 크기의 다른 모델들과 비교됐고, 지시 모델은 리더보드 버전 1을 기준으로 마이크로소프트의 BitNet 모델과도 비교됐다. 원문은 Falcon-Edge가 유사한 규모의 모델과 대등하거나 더 나은 성능을 보였다고 설명하지만, 제공된 본문에는 평가표의 구체적인 수치가 포함돼 있지 않다. 연구진은 이 결과를 통해 원하는 데이터 영역에 맞춘 강력한 BitNet 모델을 학습하면서도 다른 과제에서 경쟁력을 유지할 수 있다고 주장한다.

4. 하나의 학습에서 일반 모델까지 얻는 원리

BitNet 선형 계층은 입력 활성값을 8비트 정수로 양자화하고, 입력 스케일과 가중치 스케일을 이용해 연산 결과를 다시 반정밀도 값으로 복원한다. Falcon-Edge는 가짜 8비트 활성값 양자화를 포함해 학습되므로, 양자화된 활성값을 스케일로 나눈 값이 원래 활성값을 충분히 가깝게 근사할 수 있다는 전제를 둔다. 같은 논리에 따라 가중치를 삼진 값으로 양자화한 뒤 해당 스케일을 다시 반영하면, 별도의 사후 양자화 과정에만 의존하지 않고 비트넷이 아닌 일반 모델의 가중치를 근사할 수 있다고 설명한다. 연구진은 10억·30억 매개변수 기본 모델의 bfloat16 변형을 종단 간 평가해 이 접근을 확인했다고 밝힌다. 이에 따라 Falcon-Edge는 초저정밀 모델과 일반 bfloat16 모델을 서로 완전히 분리된 학습 결과가 아니라 하나의 사전학습 과정에서 파생되는 결과물로 취급한다.

5. bfloat16 모델과 체크포인트 배포 방식

Falcon-Edge 저장소는 목적에 따라 서로 다른 리비전을 선택해 모델을 불러올 수 있도록 구성됐다. bfloat16 대응 모델은 허깅페이스 트랜스포머의 모델 불러오기 함수에서 리비전을 bfloat16으로 지정하면 직접 사용할 수 있다. 원문의 예시는 Falcon-E 10억 매개변수 기본 모델을 선택하고, 모델 가중치는 bfloat16 리비전에서 읽어오는 흐름을 보여준다. 토크나이저 예시에서는 사전 양자화 리비전을 지정하며, 모델의 자료형은 torch의 bfloat16으로 설정한다. 이 배포 구조는 일반적인 트랜스포머 사용 환경에서 비양자화 모델을 손쉽게 활용하는 경로와, BitNet 후속 학습에 필요한 체크포인트 접근 경로를 함께 제공한다.

6. 사전 양자화 가중치와 미세조정

기존 BitNet 공개 사례는 최종 양자화 모델만 제공해 추론에는 사용할 수 있지만, 새로운 분야에 맞춘 미세조정이나 연속 사전학습에는 제약이 있는 경우가 많았다. Falcon-Edge는 이 제약을 줄이기 위해 최종 양자화 이전 단계의 사전 양자화 가중치도 공개한다. 사용자는 일반 선형 계층을 BitNet 선형 계층으로 교체한 뒤 목표 분야에서 전체 미세조정이나 연속 사전학습을 수행하고, 학습이 끝난 체크포인트를 다시 BitNet 형식으로 양자화할 수 있다. 다만 사전 양자화 가중치는 그대로 추론하도록 설계된 최종 가중치가 아니므로, 선형 계층을 교체하지 않은 상태에서 텍스트 생성을 실행하면 의미 없는 출력이 생성된다. 해당 체크포인트는 트랜스포머에서 리비전을 prequantized로 지정해 내려받을 수 있다.

7. onebitllms 학습 도구

연구진은 사전 양자화 BitNet 모델을 기존 언어 모델 미세조정 도구와 연결하기 위해 가벼운 파이썬 패키지인 onebitllms를 함께 소개했다. 이 패키지는 사전 양자화 체크포인트를 BitNet 학습 형식으로 변환하고, 일반 선형 계층을 BitNet 선형 계층으로 교체하는 기능을 제공한다. 학습이 끝난 체크포인트를 BitNet 형식과 통상적인 bfloat16 형식으로 양자화하는 유틸리티도 포함하며, 세밀한 제어가 필요한 사용자를 위해 BitNet 선형 계층과 트라이톤 커널도 노출한다. 연구진은 허깅페이스의 TRL 라이브러리와 결합한 전체 미세조정 흐름을 시험했으며, 모델 변환 후 학습기를 실행하고 마지막에 1비트 형식으로 양자화하는 예제를 제시한다. 현재는 전체 미세조정만 지원하고, BitNet을 위한 매개변수 효율적 미세조정 기법은 앞으로 해결할 연구 문제로 남겨뒀다.

8. 향후 연구 방향과 남은 과제

연구진은 Falcon-Edge와 onebitllms가 삼진 형식 언어 모델의 후속 연구와 커뮤니티 파생 모델 개발을 촉진하기를 기대한다. 첫 번째 과제는 BitNet 구조에 맞는 더 강력한 그래픽 처리 장치 추론 커널을 개발해, 그래픽 처리 장치에서도 일반 모델보다 빠른 추론을 실현하는 것이다. 두 번째는 BitNet 미세조정에 매개변수 효율적 방법을 지원하고, 가중치 스케일 주입으로 얻은 일반 체크포인트와 BitNet 체크포인트 사이의 성능 저하를 더 엄밀하게 분석하는 것이다. 연구진은 멀티모달 BitNet 비전·언어 모델로의 확장과 학습 커널 최적화도 중요한 후속 방향으로 제시한다. 현재 학습 커널은 전체 최댓값을 먼저 구한 뒤 블록별 정규화에 활용하는 2단계 방식이며, 자체 시험에서는 일반 사전학습과 비교한 BitNet 사전학습 오버헤드를 약 20%로 추정했지만 더 광범위한 수치는 추후 공개할 예정이라고 밝혔다.

🧾 핵심 주장 / 시사점

• Falcon-Edge의 핵심 기여는 최종 초저정밀 추론 모델 하나만 공개하는 것이 아니라, bfloat16 사용·BitNet 추론·도메인 미세조정이라는 서로 다른 목적을 하나의 사전학습 결과로 지원한다는 데 있다.
• 사전 양자화 체크포인트 공개와 onebitllms의 결합은 BitNet을 고정된 추론 산출물이 아니라 사용자가 다시 학습하고 파생 모델을 만들 수 있는 기반 모델로 확장한다.
• 실용화의 다음 병목은 모델 공개 자체보다 전용 추론·학습 커널의 효율, 매개변수 효율적 미세조정 지원, bfloat16 대응 모델과 BitNet 모델 사이의 성능 차이 축소에 있다.

✅ 액션 아이템

• 단일 사전학습으로 생성되는 BitNet·bfloat16·사전양자화 체크포인트의 산출물을 구분해 파이프라인 내 의존 순서를 정렬한다.
• 10억·30억 매개변수의 기본 모델과 지시 미세조정 모델을 대상으로 동등·우수 성능 판정 규칙과 비교 지표를 확정한다.
• 사전양자화 체크포인트 미세조정 시 일반 선형을 BitNet 선형으로 치환하고 텍스트 생성 품질 이상 여부를 우선 점검한다.

❓ 열린 질문

• 일반 선형 계층을 BitNet 선형으로 바꾸지 않을 때 실제 텍스트 생성에서 어떤 실패 모드가 재현되는가?
• 약 1조5천억 토큰 사전학습 설정이 같은 규모 모델 대비 동등·우수 성능 판단에 충분한 근거가 되는가?
• onebitllms 변환·재양자화·전체 미세조정 경로가 GPU 추론 커널, 파라미터 효율 미세조정, 멀티모달 확장 계획과 어떻게 충돌할 수 있는가?