Welcome Gemma 4: Frontier multimodal intelligence on device

🖼️ 인포그래픽

Welcome Gemma 4: Frontier multimodal intelligence on device 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Gemma 4는 이미지·텍스트·오디오를 처리하면서 긴 문맥, 추론 효율, 기기 내 배포를 함께 겨냥한 Apache 2.0 기반 개방형 멀티모달 모델군이다.

📌 핵심 요약

Gemma 4는 E2B, E4B, 12B Unified, 31B, 26B A4B의 다섯 가지 크기로 제공되며, 모든 크기에 기본 모델과 지시 미세조정 모델이 있다.
모든 모델이 이미지 또는 비디오와 텍스트 입력을 지원하고, E2B·E4B·12B Unified는 오디오 입력도 지원한다.
교차 배치된 지역 슬라이딩 윈도 및 전역 문맥 어텐션, 이중 RoPE, 층별 임베딩, 공유 KV 캐시를 결합해 긴 문맥과 추론 효율을 확보했다.
12B Unified는 별도 시각·오디오 인코더 없이 원시 이미지 패치와 오디오 파형을 언어 모델의 임베딩 공간에 직접 투영하는 통합 구조를 채택했다.
실험에서는 OCR, 음성 인식, 객체 탐지, 포인팅, 함수 호출, 코드 생성과 수정, 웹 페이지 재현, 비디오 이해를 확인했지만 일부 오디오 결과에서는 환각도 관찰됐다.

🧩 주요 포인트

Gemma 4는 E2B, E4B, 12B Unified, 31B, 26B A4B의 다섯 가지 크기로 제공되며, 모든 크기에 기본 모델과 지시 미세조정 모델이 있다.
모든 모델이 이미지 또는 비디오와 텍스트 입력을 지원하고, E2B·E4B·12B Unified는 오디오 입력도 지원한다.
교차 배치된 지역 슬라이딩 윈도 및 전역 문맥 어텐션, 이중 RoPE, 층별 임베딩, 공유 KV 캐시를 결합해 긴 문맥과 추론 효율을 확보했다.
12B Unified는 별도 시각·오디오 인코더 없이 원시 이미지 패치와 오디오 파형을 언어 모델의 임베딩 공간에 직접 투영하는 통합 구조를 채택했다.
실험에서는 OCR, 음성 인식, 객체 탐지, 포인팅, 함수 호출, 코드 생성과 수정, 웹 페이지 재현, 비디오 이해를 확인했지만 일부 오디오 결과에서는 환각도 관찰됐다.

🧠 상세 정리

1. 개방형 온디바이스 멀티모달 모델군의 공개

Google DeepMind의 Gemma 4 모델군이 Hugging Face에 공개됐으며, Apache 2.0 라이선스를 적용해 개방적으로 사용할 수 있다. 글은 이 모델군이 높은 아레나 점수와 이미지·텍스트·오디오 처리 능력을 갖추면서도 다양한 크기로 제공돼 기기 내 실행까지 가능하다는 점을 핵심으로 제시한다. 사전 공개 체크포인트를 시험한 작성진은 별도의 미세조정 사례를 찾기 어려울 정도로 기본 상태의 성능이 좋았다고 평가했다. Hugging Face와 Google 및 커뮤니티는 transformers, llama.cpp, MLX, WebGPU, Rust 계열 도구에서 모델을 사용할 수 있도록 협력했으며, 글 전체는 이러한 여러 실행·미세조정 환경에서 Gemma 4를 활용하는 방법을 소개하는 흐름으로 구성됐다.

2. 다섯 가지 모델과 입력 형식별 지원 범위

Gemma 4는 E2B, E4B, 12B Unified, 31B, 26B A4B의 다섯 가지 크기로 구성되며, 각 모델은 기본 체크포인트와 지시 미세조정 체크포인트로 제공된다. E2B는 임베딩을 제외한 유효 매개변수가 23억 개이고 전체는 51억 개이며, E4B는 유효 45억 개와 전체 80억 개 규모이고 두 모델 모두 12만 8천 토큰 문맥을 지원한다. 12B Unified는 약 119억 5천만 개의 밀집 매개변수를 사용하며, 31B는 310억 개 밀집 모델이고, 26B A4B는 전체 260억 개 가운데 40억 개가 활성화되는 전문가 혼합 모델이다. 뒤의 세 모델은 25만 6천 토큰 문맥을 지원하며, 모든 모델이 이미지 또는 비디오와 텍스트를 처리하고 E2B·E4B·12B Unified는 오디오까지 입력받는다.

3. 긴 문맥과 효율을 결합한 전체 아키텍처

Gemma 4는 이전 Gemma 계열과 다른 개방형 모델에서 검증된 요소를 조합하되, 복잡하거나 효과가 확정적이지 않은 Altup 같은 기능은 제외했다. 지역 슬라이딩 윈도 어텐션 층과 전역 전체 문맥 어텐션 층을 교대로 배치하며, 작은 밀집 모델은 512토큰, 큰 모델은 1024토큰의 슬라이딩 윈도를 사용한다. 슬라이딩 층에는 표준 RoPE를, 전역 층에는 가지치기된 RoPE를 적용하는 이중 구성을 통해 긴 문맥 처리를 지원하고, 층별 임베딩과 공유 KV 캐시로 정보 공급 및 추론 효율을 보완한다. 글에 따르면 텍스트 기준 추정 LMArena 점수는 31B 밀집 모델이 1452, 활성 매개변수가 40억 개인 26B MoE가 1441이며, 작성진의 비공식·주관적 시험에서는 멀티모달 동작도 텍스트 생성에 견줄 만한 수준으로 평가됐다.

4. 층별 임베딩이 제공하는 선택적 토큰 정보

작은 Gemma 4 모델의 두드러진 기능인 층별 임베딩은 하나의 초기 토큰 임베딩에 모든 정보를 미리 담아야 하는 표준 트랜스포머의 부담을 줄이기 위한 구조다. 토큰 식별자를 조회해 얻는 성분과 주 임베딩을 학습된 방식으로 투영한 문맥 인식 성분을 결합해, 각 토큰에 대해 디코더 층별로 별도의 작은 벡터를 만든다. 각 디코더 층은 어텐션과 피드포워드 처리가 끝난 뒤 가벼운 잔차 블록을 통해 자기 층에 해당하는 벡터로 은닉 상태를 조절하므로, 토큰별 정보를 실제로 필요한 층에 전달할 수 있다. 층별 임베딩 차원은 주 은닉 크기보다 작아 매개변수 비용을 억제하며, 멀티모달 입력에서는 자리표시자 토큰 ID가 대체되기 전에 계산하고 이미지·오디오·비디오 위치에는 패딩 토큰 ID를 사용해 중립적인 층별 신호를 부여한다.

5. 공유 KV 캐시와 12B 통합 멀티모달 구조

공유 KV 캐시는 긴 문맥 생성과 기기 내 추론에서 계산량과 메모리 사용량을 함께 줄이기 위한 최적화다. 모델의 마지막 일부 층은 자체 키·값 투영을 다시 계산하지 않고, 슬라이딩 또는 전체 문맥이라는 동일한 어텐션 유형에 속한 앞쪽 비공유 층의 키와 값 텐서를 재사용한다. 글은 이 방식이 품질에 미치는 영향은 작으면서도 추론 효율은 크게 높인다고 설명한다. 12B Unified 모델은 여기서 더 나아가 별도 시각·오디오 인코더를 제거하고, 원시 이미지 패치와 오디오 파형을 가벼운 선형 층으로 언어 모델 임베딩 공간에 직접 투영한다. 모든 입력 양식이 하나의 디코더 전용 트랜스포머로 흐르기 때문에 멀티모달 지연을 줄이고 전체 모델을 한 번에 미세조정할 수 있으며, 체크포인트 크기도 소비자용 하드웨어 배포를 고려한 수준으로 제시된다.

6. 멀티모달 기능과 반드시 지켜야 할 입력 순서

작성진은 Gemma 4를 시험하며 OCR, 음성의 텍스트 변환, 객체 탐지, 포인팅뿐 아니라 텍스트 전용 및 멀티모달 함수 호출, 추론, 코드 완성과 수정까지 기본 상태에서 수행할 수 있음을 확인했다. 다만 학습 데이터의 구체적인 혼합 비율은 알 수 없다고 명시했으므로, 이러한 평가는 공개된 학습 구성에 대한 분석이 아니라 실제 실행 사례에 근거한 결과다. 프롬프트에서 이미지 내용은 텍스트보다 먼저, 오디오 내용은 텍스트보다 뒤에 놓아야 하며, 예시에서는 이미지와 답변 언어를 지정하는 텍스트, 음성 지시를 그 순서로 배치했다. 글의 일부 오디오 추론 코드는 이 규칙이 확인되기 전에 작성돼 다른 순서를 유지하지만, 기존 결과표의 재현성을 위해 수정하지 않았고 새 코드에서는 확인된 입력 순서를 따르라고 권고한다.

7. GUI 포인팅과 객체 탐지의 구조화된 출력

GUI 탐지 시험에서는 화면 이미지와 함께 특정한 ‘레시피 보기’ 요소의 경계 상자를 묻고, E2B·E4B·26B A4B·31B의 출력을 비교했다. 모델은 별도의 JSON 출력 지시나 문법 제약 생성 없이도 탐지한 요소의 경계 상자와 라벨을 JSON 형식으로 반환했으며, 작성진은 좌표가 입력 이미지 크기에 상대적인 1000×1000 기준이라고 파악했다. 반환된 배열을 해석해 실제 이미지 공간의 경계 상자로 변환하고, 각 모델이 지목한 위치를 시각화해 비교했다. 일상 사물 탐지 사례에서도 자전거를 찾도록 요청한 뒤 같은 방식으로 JSON 경계 상자를 파싱하고 이미지 좌표로 옮겼으며, 이를 통해 Gemma 4가 자연어 응답뿐 아니라 후속 프로그램이 처리할 수 있는 구조화된 공간 정보도 생성하는 모습을 보여줬다.

8. 화면 재현과 비디오 이해 실험 및 한계

멀티모달 사고와 함수 호출 사례에서는 Gemini 3로 만든 웹 페이지의 이미지를 입력하고 같은 화면을 재구성하는 HTML 코드를 작성하도록 Gemma 4에 요청했다. 사고 기능을 활성화하고 최대 4000개의 새 토큰을 생성하도록 설정한 뒤 E2B, E4B, 31B, 26B A4B의 결과를 기준 이미지와 비교하는 방식으로 모델 크기별 화면 이해와 코드 생성 능력을 살폈다. 비디오 시험에서는 작은 모델이 오디오가 포함된 비디오를 처리하고 큰 모델은 오디오 없이 비디오를 처리하도록 구성했으며, 별도의 비디오 후속 학습을 받지 않았음에도 영상의 상황과 노래 내용을 설명하도록 했다. 작성진은 특히 오디오 처리 능력이 강하다고 평가했지만, 제시된 결과표에는 E2B가 오디오에 대해 환각했다는 표시도 포함돼 있어, 특정 사례의 성공을 모든 입력에서 정확성이 보장된다는 의미로 해석해서는 안 된다.

🧾 핵심 주장 / 시사점

Gemma 4의 핵심은 단순한 모델 크기 확대가 아니라 지역·전역 어텐션, 이중 RoPE, 층별 임베딩, 공유 KV 캐시를 결합해 긴 문맥과 기기 내 추론 효율을 동시에 다룬 점이다.
멀티모달 성능을 재현하려면 모델 선택뿐 아니라 이미지-텍스트-오디오의 입력 순서를 지켜야 하며, 글의 오래된 오디오 예시는 재현성 보존을 위해 권장 규칙과 다르게 남아 있다는 점에 주의해야 한다.
GUI 탐지의 JSON 출력과 화면 기반 HTML 생성은 구조화된 작업 가능성을 보여주지만, 비디오 오디오 시험에서 실제 환각 사례도 관찰됐으므로 결과 검증이 필요하다.

✅ 액션 아이템

Gemma 4의 다섯 모델군을 기준으로 오디오 지원 범위(E2B·E4B·12B Unified)와 비지원군을 구분해 적용 대상을 선별한다.
교차 배치 지역 슬라이딩 윈도, 전역 문맥 어텐션, 이중 RoPE, 층별 임베딩, 공유 KV 캐시의 결합 메커니즘을 기반으로 긴 문맥 처리 시나리오를 설계한다.
12B Unified의 통합 투영 구조가 OCR·음성 인식·객체 탐지·코드 수정 등 실험 항목에서 장치 내 배포 적합성과 충돌 없이 동작할 가능성을 우선순위별로 평가한다.