Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs

🖼️ 인포그래픽

Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AutoRound는 가중치 반올림과 클리핑 범위를 함께 최적화해 낮은 비트에서도 정확도를 유지하면서 빠른 양자화와 폭넓은 모델·장치·출력 형식 호환성을 제공하는 인텔의 가중치 전용 학습 후 양자화 도구다.

📌 핵심 요약

AutoRound는 부호 경사하강법으로 가중치 반올림과 클리핑 범위를 공동 최적화하며, INT2부터 INT8까지의 가중치 전용 학습 후 양자화를 지원한다.
특히 2비트 양자화에서 기존 주요 방식보다 상대 정확도가 최대 2.1배 높았고, 4비트에서도 다수 평가에서 경쟁력 있는 결과를 보였다.
128개 수준의 소규모 보정 표본과 200회의 튜닝 단계만으로 동작하며, 경량 설정에서는 A100 GPU로 72B 모델을 37분 만에 양자화했다.
Qwen·LLaMA·DeepSeek 계열 LLM과 10종 이상의 VLM, CPU·인텔 GPU·CUDA를 지원하며 AutoRound·GPTQ·AWQ·일부 GGUF 형식으로 내보낼 수 있다.
기본·최고 정확도·경량 레시피, 명령줄과 파이썬 API, 자동 추론 백엔드 선택, GPTQ·AWQ 모델 변환 기능을 제공해 다양한 배포 조건에 대응한다.

🧩 주요 포인트

AutoRound는 부호 경사하강법으로 가중치 반올림과 클리핑 범위를 공동 최적화하며, INT2부터 INT8까지의 가중치 전용 학습 후 양자화를 지원한다.
특히 2비트 양자화에서 기존 주요 방식보다 상대 정확도가 최대 2.1배 높았고, 4비트에서도 다수 평가에서 경쟁력 있는 결과를 보였다.
128개 수준의 소규모 보정 표본과 200회의 튜닝 단계만으로 동작하며, 경량 설정에서는 A100 GPU로 72B 모델을 37분 만에 양자화했다.
Qwen·LLaMA·DeepSeek 계열 LLM과 10종 이상의 VLM, CPU·인텔 GPU·CUDA를 지원하며 AutoRound·GPTQ·AWQ·일부 GGUF 형식으로 내보낼 수 있다.
기본·최고 정확도·경량 레시피, 명령줄과 파이썬 API, 자동 추론 백엔드 선택, GPTQ·AWQ 모델 변환 기능을 제공해 다양한 배포 조건에 대응한다.

🧠 상세 정리

1. 대규모 모델 배포와 양자화의 필요성

대규모 언어 모델과 비전-언어 모델은 크기와 복잡성이 커질수록 실제 환경에 효율적으로 배포하기 어려워진다. 양자화는 모델 크기와 추론 지연 시간을 줄여 이러한 부담을 완화하는 방법이지만, 비트 수가 낮아질수록 정확도 손실을 억제하는 일이 중요해진다. 인텔이 개발한 AutoRound는 정확도, 처리 효율, 생태계 호환성 사이의 균형을 목표로 하는 가중치 전용 학습 후 양자화 방식이다. 별도의 전체 재학습 없이 기존 모델의 가중치를 낮은 정밀도로 변환하므로 대형 모델을 더 적은 자원으로 활용하려는 배포 작업에 초점을 맞춘다.

2. 반올림과 클리핑 범위의 공동 최적화

AutoRound의 핵심은 부호 경사하강법을 이용해 가중치의 반올림 방식과 클리핑 범위를 함께 최적화하는 데 있다. 이 방법은 INT2부터 INT8까지의 저비트 양자화를 지원하면서 대부분의 상황에서 정확도 손실을 최소화하도록 설계됐다. 특히 2비트 조건에서는 널리 사용되는 기준 방식보다 상대 정확도가 최대 2.1배 높은 결과를 기록했다고 제시한다. 혼합 비트 튜닝과 언어 모델 출력부인 lm-head의 양자화도 지원하므로, 모든 계층을 하나의 고정된 비트 폭으로 처리하는 방식보다 세밀한 구성을 적용할 수 있다.

3. 낮은 비트에서의 정확도와 양자화 효율

여러 과제를 대상으로 한 평가에서 AutoRound는 W2g128, 즉 2비트 가중치와 그룹 크기 128 조건에서 다른 주요 방법을 큰 폭으로 앞섰다. 4비트 조건에서도 Low-Bit Open LLM Leaderboard 결과를 기준으로 대부분의 사례에서 경쟁력 있는 우위를 유지했다. 높은 정확도를 얻는 데 필요한 튜닝은 200단계이며, 보정 데이터는 최소 128개 표본까지 줄일 수 있다. 경량 레시피를 사용하면 A100 GPU에서 Qwen2.5 72B 모델을 37분에 처리했으며, 비교표의 다른 설정은 105분에서 230분이 걸리거나 메모리 부족이 발생했다. 따라서 AutoRound는 특히 계산 비용이 큰 2비트 방식들과 비교할 때 정확도뿐 아니라 시간과 자원 소비도 함께 줄이는 것을 목표로 한다.

4. 모델·장치·출력 형식의 폭넓은 지원

AutoRound는 Qwen, LLaMA, DeepSeek를 포함해 널리 사용되는 거의 모든 주요 LLM 아키텍처를 지원하며, 이미 양자화된 모델도 여러 Hugging Face 컬렉션에서 제공한다. VLM은 Mistral-Small-3.1과 Gemma3 등을 포함해 10종 이상을 지원하고, 전체 목록과 준비된 모델은 README와 OPEA 컬렉션에서 확인할 수 있다. 아직 직접 지원되지 않는 모델에는 반복 횟수를 0으로 설정한 RTN 방식을 적용할 수 있지만, 별도 튜닝이 없는 대신 일부 정확도 손실이 예상된다. 실행 장치는 CPU, 인텔 GPU, CUDA를 포괄하며, 비트 구성은 8·4·3·2비트 가중치 전용과 혼합 비트를 지원한다. 결과 모델은 AutoRound 자체 형식뿐 아니라 GPTQ, AWQ, 일부 GGUF 형식으로 내보낼 수 있다.

5. 레시피 선택과 실제 양자화 절차

설치는 pip로 auto-round 패키지를 추가하는 방식이며, 현재 양자화 모델 생성은 오프라인 모드만 지원된다. 명령줄에서는 원본 모델, 비트 수, 그룹 크기, 출력 형식과 저장 위치를 지정해 AutoRound·AWQ·GPTQ 형식의 모델을 한 번에 생성할 수 있다. 기본 레시피 외에 정확도를 우선하는 auto-round-best와 속도를 높인 auto-round-light가 제공되며, 2비트에는 기본 또는 최고 정확도 레시피가 권장된다. 13개 과제를 평균한 4비트 평가에서는 세 레시피가 모델별로 서로 다른 정확도와 처리 시간의 절충을 보여 주며, 72B 모델은 기본 설정이 118분, 경량 설정이 37분, 최고 정확도 설정이 575분이었다. 파이썬 API에서는 모델과 토크나이저를 불러온 뒤 비트 수, 그룹 크기, 대칭 양자화 여부를 지정하고 양자화와 직렬화를 수행한다.

6. 추론 백엔드와 기존 양자화 모델의 활용

추론 단계에서 AutoRound는 설치된 라이브러리를 확인해 사용할 수 있는 최적의 백엔드를 자동으로 선택한다. 더 나은 백엔드가 있지만 필요한 라이브러리가 없을 경우에는 추가 설치가 필요하다는 안내도 제공하며, 같은 모델 로딩 방식으로 CPU·인텔 GPU·CUDA 환경을 활용할 수 있다. 문서의 예시는 Hugging Face Transformers로 사전 양자화된 4비트 모델을 불러오고, 입력 문장을 토큰화한 뒤 텍스트를 생성하는 흐름을 보여 준다. 또한 대부분의 GPTQ·AWQ 모델을 AutoRound 형식으로 변환해 인텔 장치와의 호환성과 지원 범위를 높일 수 있다. 다만 변환된 모델을 직렬화하면 양자화 설정이 변경될 수 있으므로, 저장과 재배포 과정에서 해당 설정을 확인해야 한다.

🧾 핵심 주장 / 시사점

AutoRound의 차별점은 단순히 비트 수를 줄이는 데 있지 않고, 반올림과 클리핑 범위를 공동 최적화해 특히 2비트 구간의 정확도 저하를 줄이는 데 있다.
기본·최고 정확도·경량 레시피의 비교 결과는 하나의 설정이 항상 최선인 것이 아니라, 요구 정확도와 허용 시간에 따라 양자화 전략을 선택해야 함을 보여 준다.
다양한 모델과 장치뿐 아니라 GPTQ·AWQ·일부 GGUF 내보내기와 기존 GPTQ·AWQ 모델 변환까지 지원하므로, AutoRound는 양자화 알고리즘과 실제 배포 생태계를 연결하는 도구로 구성돼 있다.