Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction

🖼️ 인포그래픽

Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글은 Pixel의 Gemini Nano v3에 별도 드래프터 없이 동결된 모델 위에 Multi-Token Prediction 헤드를 덧붙여 온디바이스 추론 속도와 메모리 효율을 높이는 방식을 소개했다.

📌 핵심 요약

온디바이스 모델인 Gemini Nano와 Gemma는 알림 요약이나 문장 교정처럼 개인 데이터를 기기 밖으로 보내지 않는 기능을 가능하게 하지만, 모바일 환경에서는 에너지 예산과 RAM 한계가 엄격하다.
기존 언어 모델은 토큰을 한 번에 하나씩 생성하는 자기회귀 방식이라 모바일 처리 자원을 충분히 활용하지 못하고 메모리 대역폭 부담을 키워 사용자 경험과 배터리에 영향을 줄 수 있다.
구글은 Gemini Nano v3의 기존 가중치를 동결한 채 마지막 계층에 가벼운 Transformer 기반 MTP 헤드를 붙여, 별도 소형 드래프터 모델을 두는 방식의 RAM 경쟁과 내부 상태 접근 부족 문제를 줄였다.
MTP 헤드는 메인 모델의 hidden state와 KV cache를 활용하며, 자체 히스토리와 KV cache를 따로 유지하지 않는 zero-copy 구조로 프롬프트 재처리 지연을 없애고 인스턴스당 최대 130MB의 메모리 절감을 관찰했다.
Pixel 9 및 10 시리즈에 배포된 이 방식은 AI Notification Summaries와 Proofread 같은 실제 기능에서 한 번의 추론 패스당 평균적으로 거의 두 개의 추가 토큰을 맞히며, 검증 단계 감소를 통해 속도와 에너지 효율 개선으로 이어졌다.

🧩 주요 포인트

온디바이스 모델인 Gemini Nano와 Gemma는 알림 요약이나 문장 교정처럼 개인 데이터를 기기 밖으로 보내지 않는 기능을 가능하게 하지만, 모바일 환경에서는 에너지 예산과 RAM 한계가 엄격하다.
기존 언어 모델은 토큰을 한 번에 하나씩 생성하는 자기회귀 방식이라 모바일 처리 자원을 충분히 활용하지 못하고 메모리 대역폭 부담을 키워 사용자 경험과 배터리에 영향을 줄 수 있다.
구글은 Gemini Nano v3의 기존 가중치를 동결한 채 마지막 계층에 가벼운 Transformer 기반 MTP 헤드를 붙여, 별도 소형 드래프터 모델을 두는 방식의 RAM 경쟁과 내부 상태 접근 부족 문제를 줄였다.
MTP 헤드는 메인 모델의 hidden state와 KV cache를 활용하며, 자체 히스토리와 KV cache를 따로 유지하지 않는 zero-copy 구조로 프롬프트 재처리 지연을 없애고 인스턴스당 최대 130MB의 메모리 절감을 관찰했다.
Pixel 9 및 10 시리즈에 배포된 이 방식은 AI Notification Summaries와 Proofread 같은 실제 기능에서 한 번의 추론 패스당 평균적으로 거의 두 개의 추가 토큰을 맞히며, 검증 단계 감소를 통해 속도와 에너지 효율 개선으로 이어졌다.

🧠 상세 정리

1. 모바일 온디바이스 LLM이 마주한 제약

글은 Gemini Nano와 Gemma 같은 온디바이스 LLM이 스마트폰 안에서 알림 요약이나 중요한 문자 메시지 교정 같은 기능을 수행할 수 있게 됐다는 배경에서 출발한다. 이런 방식은 개인 데이터를 기기 밖으로 보내지 않는다는 장점이 있지만, 일상적으로 유용하려면 매우 효율적으로 동작해야 한다. 서버 환경과 달리 휴대폰은 에너지 예산과 RAM 한계가 엄격하고, 표준 언어 모델은 토큰을 하나씩 처리하고 출력하는 자기회귀 방식으로 동작한다. 이 단계별 생성은 처리 성능을 충분히 활용하지 못하게 하고 메모리 대역폭 부담을 키워 속도 저하와 배터리 소모로 이어질 수 있다.

2. 투기적 디코딩의 한계와 MTP의 방향

구글이 설명하는 MTP는 투기적 디코딩의 흐름 위에 놓여 있다. 전통적인 방식에서는 N개의 토큰을 만들기 위해 큰 모델을 N번 전방향 실행해야 하지만, 투기적 디코딩은 작은 드래프터가 후보 토큰 묶음을 먼저 만들고 큰 검증 모델이 이를 병렬로 확인하는 구조를 쓴다. 후보가 큰 모델의 예측과 맞으면 받아들이고, 다르면 처음 어긋난 지점으로 되돌린다. 다만 별도의 독립 드래프터는 제한된 RAM을 차지하고, 메인 모델이 이미 계산한 풍부한 내부 의미 상태를 보지 못한다. MTP는 별도 소형 언어 모델 대신 메인 모델의 마지막 계층에 가벼운 MTP 헤드를 붙이는 통합 구조로 이 비효율을 줄인다.

3. 동결된 Gemini Nano v3 백본에 덧붙이는 방식

일반적으로 MTP 헤드는 백본 모델과 함께 사전학습될 수 있지만, 이미 배포된 온디바이스 기반 모델에 그런 방식을 적용하는 것은 부담이 크다고 글은 설명한다. 이 작업은 완전히 학습된 Gemini Nano v3 모델의 가중치를 동결하고, 마지막 계층에 dense transformer stack 형태의 MTP 헤드를 붙이는 방식에 초점을 둔다. 학습은 미래 토큰 예측 오류를 줄이기 위해 이 새 헤드의 파라미터에만 적용된다. 백본이 동결되어 있기 때문에 MTP는 기본 모델의 능력이나 안전 정렬을 바꾸는 기능 추가가 아니라 순수한 효율 최적화가 된다. 또한 검증 과정에서 잘못된 초안은 폐기되므로 최종 출력은 메인 모델과 비트 단위로 동일하게 유지된다고 설명한다.

4. Zero-copy 구조와 KV cache 재사용

글은 온디바이스 추론에서 특히 중요한 병목으로 동적 메모리를 지적한다. 표준 MTP 구현은 임베딩 가중치 같은 정적 파라미터를 공유할 수 있지만, 드래프터가 문맥을 독립적으로 처리하면 자체 key-value cache를 만들고 유지해야 해서 모바일 메모리에 이중 부담을 준다. 이를 피하기 위해 구글은 MTP 헤드가 메인 모델의 동결된 KV cache에 직접 cross-attend하는 zero-copy 구조를 설계했다. 이 헤드는 별도 히스토리를 유지하지 않고 백본이 이미 계산한 기억과 문맥을 조회한다. 그 결과 프롬프트를 추가로 처리하는 drafter prefill 지연을 없애고, 드래프터 임베딩 lookup table과 prefill attention 변형, 애플리케이션별 튜닝 파라미터를 줄여 독립 드래프터 대비 인스턴스당 130MB의 절감을 관찰했다.

5. 풍부한 표현 접근이 만든 성능 차이

실험에서 MTP 드래프터는 비슷한 파라미터 수의 독립 드래프터보다 일관되게 더 정확한 토큰 예측을 만들었고, 작업에 따라 Pixel 9 기기에서 50% 이상의 속도 향상을 보였다. 글은 이 차이가 MTP가 더 풍부한 표현에 접근할 수 있기 때문이라고 설명한다. 독립 드래프터는 메인 모델을 블랙박스로 취급하고 텍스트 히스토리에만 의존하지만, MTP 헤드는 큰 백본이 이미 처리한 마지막 활성값을 직접 활용한다. 요약이나 복잡한 제약이 있는 재작성처럼 지시 따르기가 중요한 작업에서 MTP는 애플리케이션별로 fine-tune된 독립 드래프터보다 크게 앞섰다. 스마트 답장처럼 구조적 예측 가능성이 높은 작업에서는 메인 모델의 구문 패턴을 효과적으로 학습해 토큰 수락률에서 최대 55% 향상을 달성했다고 한다.

6. 실제 배포 효과와 향후 연구 방향

Pixel 9와 10 기기에 MTP를 배포하기 위해 구글은 검증 단계와 드래프팅 단계 사이의 복잡한 의존성을 처리하도록 온디바이스 추론 스택을 다시 설계했다. 실제 운영 워크로드인 AI Notification Summaries와 Proofread에서 MTP는 한 번의 추론 패스당 평균적으로 거의 두 개의 추가 토큰을 올바르게 예측했다. 검증 단계가 줄어들면 무거운 프로세서를 깨우는 시간이 줄어들어 에너지 소비가 낮아지고 배터리 수명에도 도움이 된다고 설명한다. 향후 방향으로는 미래 Pixel 기기에서 MTP 통합을 이어가고, 병렬 디코딩이나 보조 헤드가 없는 패러다임을 포함한 대안 구조를 탐색하겠다고 밝혔다. 또한 단일 최선 경로만 가정하는 표준 투기적 디코딩을 넘어, 분기 가능한 여러 가능성을 병렬로 탐색하고 특정 용도에서 검증의 정확한 토큰 일치 조건을 완화하는 방법도 연구 중이라고 덧붙였다.

🧾 핵심 주장 / 시사점

핵심은 새 모델을 다시 만들기보다 이미 배포된 Gemini Nano v3의 백본을 동결한 채 효율 계층만 추가해, 성능 개선과 출력 호환성을 동시에 확보하려는 점이다.
모바일 LLM 최적화에서는 파라미터 수뿐 아니라 KV cache와 prefill 지연처럼 런타임 메모리와 동적 상태 관리가 실제 사용자 경험을 좌우하는 병목으로 다뤄진다.
MTP가 독립 드래프터보다 유리한 이유는 단순히 가볍기 때문이 아니라, 메인 모델이 이미 계산한 hidden state와 문맥 정보를 활용해 후보 토큰의 수락 가능성을 높이기 때문이다.

✅ 액션 아이템

동결된 Gemini Nano v3 가중치에 경량 MTP 헤드를 붙인 구조로 드래프터 대체 효과를 정량 비교해 RAM 경합 완화 옵션을 우선순위화한다.
기존 단일 토큰 자기회귀 방식 대비 MTP zero-copy가 hidden state·KV cache 재사용으로 프롬프트 재처리 지연을 제거하는 구간을 기능별로 분해해 성능 기준을 정의한다.
Pixel 9·10 배포 사례의 AI Notification Summaries와 Proofread 데이터를 기준으로 추가 토큰 예측률과 검증 단계 감소 효과를 서비스 KPI에 반영한다.