Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models

🖼️ 인포그래픽

Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 글은 Qwen3-8B를 Intel® Core™ Ultra에서 더 빠르게 실행하기 위해 OpenVINO.GenAI의 추측 디코딩과 깊이 가지치기된 Qwen3-0.6B 드래프트 모델을 결합해 약 1.4배 속도 향상을 얻은 과정을 설명한다.

📌 핵심 요약

Qwen3-8B는 도구 호출, 다단계 추론, 긴 문맥 처리 등 에이전트형 기능을 갖춘 모델로, smolagents, QwenAgent, AutoGen 같은 프레임워크와 함께 복잡한 에이전트 워크플로에 적합하다고 소개된다.
글은 4비트로 최적화된 OpenVINO 버전의 Qwen3-8B를 Intel Lunar Lake 통합 GPU에서 기준선으로 측정한 뒤, Qwen3-0.6B를 드래프트 모델로 사용하는 추측 디코딩으로 평균 약 1.3배 속도 향상을 얻었다고 설명한다.
더 빠른 드래프트 모델이 전체 추측 디코딩 성능에 유리하다는 점에 착안해, 저자들은 Qwen3-0.6B의 28개 층 중 6개 층을 제거하는 깊이 가지치기를 적용했다.
가지치기 후에는 Qwen3-8B가 BAAI/Infinity-Instruct 데이터셋의 50만 개 프롬프트에 대해 생성한 합성 데이터를 사용해 드래프트 모델을 추가 미세조정했고, 그 결과 기준선 대비 약 1.4배 속도 향상을 달성했다.
마지막으로 최적화된 Qwen3-8B와 가지치기된 드래프트 모델을 smolagents에 연결해 웹 검색과 Python 인터프리터를 활용한 슬라이드 생성 작업을 시연하며, 로컬 AI 에이전트 실행의 실용성을 보여준다.

🧩 주요 포인트

Qwen3-8B는 도구 호출, 다단계 추론, 긴 문맥 처리 등 에이전트형 기능을 갖춘 모델로, smolagents, QwenAgent, AutoGen 같은 프레임워크와 함께 복잡한 에이전트 워크플로에 적합하다고 소개된다.
글은 4비트로 최적화된 OpenVINO 버전의 Qwen3-8B를 Intel Lunar Lake 통합 GPU에서 기준선으로 측정한 뒤, Qwen3-0.6B를 드래프트 모델로 사용하는 추측 디코딩으로 평균 약 1.3배 속도 향상을 얻었다고 설명한다.
더 빠른 드래프트 모델이 전체 추측 디코딩 성능에 유리하다는 점에 착안해, 저자들은 Qwen3-0.6B의 28개 층 중 6개 층을 제거하는 깊이 가지치기를 적용했다.
가지치기 후에는 Qwen3-8B가 BAAI/Infinity-Instruct 데이터셋의 50만 개 프롬프트에 대해 생성한 합성 데이터를 사용해 드래프트 모델을 추가 미세조정했고, 그 결과 기준선 대비 약 1.4배 속도 향상을 달성했다.
마지막으로 최적화된 Qwen3-8B와 가지치기된 드래프트 모델을 smolagents에 연결해 웹 검색과 Python 인터프리터를 활용한 슬라이드 생성 작업을 시연하며, 로컬 AI 에이전트 실행의 실용성을 보여준다.

🧠 상세 정리

1. Qwen3-8B를 에이전트 모델로 보는 이유

글은 Qwen3-8B를 최근 Qwen 계열 중 주목할 만한 모델로 소개하며, 기본적으로 에이전트형 행동을 염두에 두고 학습됐다는 점을 강조한다. 이 모델은 도구 호출, 다단계 추론, 긴 문맥 처리 기능을 지원해 단순한 한 번의 질의응답보다 복잡한 작업 흐름에 어울린다. smolagents, QwenAgent, AutoGen 같은 프레임워크와 결합하면 도구 사용과 추론을 중심으로 한 다양한 에이전트 애플리케이션을 만들 수 있다. 다만 에이전트형 애플리케이션은 중간 추론 과정과 생각의 흔적을 생성하기 때문에 토큰 사용량이 늘어나고, 그만큼 응답성을 유지하려면 추론 속도가 중요해진다.

2. OpenVINO 기반 기준선과 추측 디코딩 적용

저자들은 먼저 4비트로 최적화된 OpenVINO 버전의 Qwen3-8B를 Intel Lunar Lake 통합 GPU에서 벤치마크해 기준선을 세웠다. 이후 자동회귀 생성 속도를 높이기 위해 추측 디코딩을 적용했다. 이 방식은 더 작고 빠른 모델이 한 번에 여러 토큰 후보를 제안하고, 더 큰 목표 모델이 이를 한 번의 순전파로 검증하는 구조다. 실험에서는 Qwen3-8B가 목표 모델로, Qwen3-0.6B가 드래프트 모델로 사용됐으며, 이 구성은 기준선 대비 평균 약 1.3배의 속도 향상을 냈다.

3. 드래프트 모델 지연 시간이 성능을 좌우하는 구조

글은 추측 디코딩의 속도 향상이 목표 모델의 한 순전파 단계에서 생성되는 평균 토큰 수, 추측 창 크기, 목표 모델과 드래프트 모델의 지연 시간 비율에 영향을 받는다고 설명한다. 드래프트 모델이 더 작고 빠르면 정확도가 일부 낮아질 수 있지만, 전체 추론 시간 관점에서는 더 큰 가속 효과를 줄 수 있다. 이 때문에 저자들은 드래프트 모델의 품질을 가능한 한 유지하면서 크기와 지연 시간을 줄이는 방향을 선택했다. 특히 모델 깊이, 즉 층의 수가 추론 지연 시간에 크게 기여한다는 최근 연구 결과를 근거로 깊이 축소에 초점을 맞췄다.

4. Qwen3-0.6B 드래프트 모델의 깊이 가지치기

저자들은 층 단위 압축 연구에서 영감을 받아, 모델 내부에서 기여도가 낮은 층 블록을 찾아 제거하는 방식을 적용했다. 기여도 판단에는 각도 거리 측정이 사용됐으며, 이를 통해 Qwen3-0.6B 드래프트 모델의 28개 층 중 6개 층을 제거했다. 가지치기는 지연 시간을 줄이는 데 유리하지만, 모델 품질 저하가 생길 수 있기 때문에 이후 복구 단계가 필요했다. 이 접근은 단순히 더 작은 별도 모델을 고르는 것이 아니라, 기존 드래프트 모델의 구조를 줄여 추측 디코딩에 더 적합한 보조 모델을 만드는 과정으로 제시된다.

5. 합성 데이터 미세조정과 1.4배 속도 향상

가지치기된 드래프트 모델의 품질을 회복하기 위해 저자들은 Qwen3-8B가 생성한 합성 데이터를 사용해 추가 미세조정을 수행했다. 데이터는 BAAI/Infinity-Instruct 데이터셋의 50만 개 프롬프트에 대해 Qwen3-8B가 응답을 생성하는 방식으로 만들어졌다. 이렇게 보정된 깊이 가지치기 드래프트 모델은 기준선 대비 약 1.4배의 속도 향상을 달성했다. 이는 원래 Qwen3-0.6B 드래프트를 사용했을 때의 약 1.3배 향상보다 더 높은 결과이며, 드래프트 모델의 지연 시간을 줄이면 전체 추측 디코딩 성능이 개선된다는 설명과도 맞아떨어진다.

6. smolagents 통합과 로컬 에이전트 시연

글의 마지막 부분은 최적화된 구성을 실제 에이전트 프레임워크에 연결하는 예시로 smolagents 통합을 보여준다. 개발자는 Qwen3-8B와 가지치기된 드래프트 모델을 함께 사용해 API와 외부 도구를 호출하고, 코드를 작성·실행하며, 긴 문맥 추론을 처리하는 에이전트를 만들 수 있다. 시연에서는 가속된 Qwen3 기반 에이전트에게 Qwen3 모델 시리즈의 핵심 특징을 요약해 슬라이드 덱으로 제시하는 과제를 맡겼다. 에이전트는 웹 검색 도구로 최신 정보를 모은 뒤 Python 인터프리터와 python-pptx 라이브러리를 사용해 슬라이드를 생성했으며, 이는 Intel® Core™ Ultra 기반 로컬 환경에서 실용적인 에이전트 실행 가능성을 보여주는 사례로 제시된다.

🧾 핵심 주장 / 시사점

이 글의 핵심은 큰 모델 자체를 바꾸기보다, 추측 디코딩에 쓰이는 드래프트 모델을 더 빠르게 만들어 전체 생성 속도를 높였다는 점이다.
에이전트형 모델은 중간 추론과 도구 사용 때문에 토큰 생성량이 많아지므로, 같은 모델 품질이라도 로컬 실행에서는 추론 지연 시간 최적화가 제품 경험에 직접 연결된다.
깊이 가지치기와 합성 데이터 미세조정을 함께 사용한 점은, 모델 압축이 단순한 층 제거가 아니라 성능 회복 절차까지 포함해야 실용적인 가속으로 이어진다는 것을 보여준다.

✅ 액션 아이템

Qwen3-8B의 OpenVINO 4비트 모델을 Intel Lunar Lake GPU 환경 기준선으로 설정하고, 추측 디코딩 속도 개선치를 정량 비교한다.
Qwen3-0.6B에서 28개 층 중 6개 제거한 깊이 가지치기 조합을 재현해, 드래프트 추론 성능과 안정성을 측정한다.
합성 데이터 50만 개 프롬프트로 미세조정한 가지치기 드래프트를 구축해, 기준선 대비 1.4배 향상 재현 여부를 점검한다.