🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

지난 1년간 비전 언어 모델은 다중 모달 입출력, 추론, 소형화, 전문가 혼합 구조, 로봇 행동 제어와 전통적 시각 작업의 통합을 중심으로 더 강력하고 효율적인 형태로 발전했다.

📌 핵심 요약

• 비전 언어 모델은 더 작으면서도 강력해졌고, 추론·에이전트 기능·장시간 영상 이해·다중 모달 검색 증강 생성처럼 새로운 능력과 활용 방식이 등장했다.
• 모든 입력·출력 양식을 다루는 모델은 이미지·텍스트·음성의 표현을 공유 공간에 정렬하며, 카멜레온·루미나 엠지피티·큐웬 2.5 옴니·미니시피엠 오 2.6·야누스 프로 7비가 주요 사례로 소개된다.
• 다중 모달 추론 모델에서는 큐브이큐 72비 프리뷰에 이어 키미 브이엘 에이3비 싱킹이 등장했으며, 긴 사고 과정 학습과 강화 학습, 전문가 혼합 디코더를 결합해 영상·문서·화면·에이전트 작업을 처리한다.
• 소형 비전 언어 모델은 소비자용 장치에서 실행할 수 있는 배포 효율과 개인정보 보호 가능성을 넓혔으며, 스몰브이엘엠·젬마 3·큐웬 2.5 브이엘 등이 작은 규모에서도 영상 이해, 긴 문맥, 다국어, 위치 추정과 문서 이해를 제공한다.
• 전문가 혼합 디코더는 일부 전문가만 활성화해 계산 효율과 추론 속도를 높이고, 비전 언어 행동 모델은 상태·행동·시간 토큰을 추가해 로봇이 시각과 언어 명령을 실제 행동으로 변환하도록 확장한다.

🧩 주요 포인트

1. 비전 언어 모델은 더 작으면서도 강력해졌고, 추론·에이전트 기능·장시간 영상 이해·다중 모달 검색 증강 생성처럼 새로운 능력과 활용 방식이 등장했다.
2. 모든 입력·출력 양식을 다루는 모델은 이미지·텍스트·음성의 표현을 공유 공간에 정렬하며, 카멜레온·루미나 엠지피티·큐웬 2.5 옴니·미니시피엠 오 2.6·야누스 프로 7비가 주요 사례로 소개된다.
3. 다중 모달 추론 모델에서는 큐브이큐 72비 프리뷰에 이어 키미 브이엘 에이3비 싱킹이 등장했으며, 긴 사고 과정 학습과 강화 학습, 전문가 혼합 디코더를 결합해 영상·문서·화면·에이전트 작업을 처리한다.
4. 소형 비전 언어 모델은 소비자용 장치에서 실행할 수 있는 배포 효율과 개인정보 보호 가능성을 넓혔으며, 스몰브이엘엠·젬마 3·큐웬 2.5 브이엘 등이 작은 규모에서도 영상 이해, 긴 문맥, 다국어, 위치 추정과 문서 이해를 제공한다.
5. 전문가 혼합 디코더는 일부 전문가만 활성화해 계산 효율과 추론 속도를 높이고, 비전 언어 행동 모델은 상태·행동·시간 토큰을 추가해 로봇이 시각과 언어 명령을 실제 행동으로 변환하도록 확장한다.

🧠 상세 정리

1. 지난 1년간 비전 언어 모델이 달라진 방향

이 글은 2024년 4월에 공개된 이전 글 이후 약 1년 동안 비전 언어 모델 분야에서 일어난 변화를 정리한다. 이전 글이 최초의 성공적이고 재현하기 쉬운 오픈소스 비전 언어 모델인 엘라바를 중심으로 모델 탐색, 평가, 미세 조정 방법을 설명했다면, 이번 글은 이후 등장한 구조와 능력의 변화를 다룬다. 그동안 모델은 매개변수 규모가 작아지면서도 더 강력해졌고, 추론과 에이전트 기능, 장시간 영상 이해 같은 능력이 본격적으로 등장했다. 동시에 다중 모달 검색 증강 생성과 다중 모달 에이전트처럼 모델 자체를 넘어선 새로운 활용 방식도 형성되었다. 글의 목적은 이 변화들을 되돌아보며 핵심 모델 유형, 전문 능력, 정렬 방법과 평가 흐름을 폭넓게 살펴보는 데 있다.

2. 모든 입력과 출력을 연결하는 다중 모달 모델

모든 양식 간 변환을 지원하는 모델은 이미지, 텍스트, 음성과 같은 여러 입력을 받아 그중 원하는 양식으로 결과를 생성하는 것을 목표로 한다. 이를 위해 양식마다 별도의 인코더를 두고, 각 인코더가 만든 임베딩을 융합해 여러 양식이 공유하는 표현 공간을 구성한다. 하나 또는 여러 개의 디코더는 이 공유 잠재 공간을 입력으로 사용해 텍스트, 이미지나 음성 등 선택된 결과를 생성한다. 초기 사례인 메타의 카멜레온은 이미지와 텍스트의 입력 및 출력을 다뤘지만 이미지 생성 기능은 공개되지 않았고, 알파 브이엘엘엠은 그 위에 이미지 생성 기능을 구축한 루미나 엠지피티를 공개했다. 이러한 방식의 핵심은 같은 개념을 나타내는 단어, 이미지와 발화를 서로 연관된 표현으로 정렬하는 데 있다.

3. 큐웬 옴니와 통합형 모델의 구체적 구조

큐웬 2.5 옴니는 글에서 최신이자 가장 유능한 모든 양식 간 변환 모델의 사례로 제시된다. 이 모델은 텍스트 생성을 담당하는 사고 모듈과 자연스러운 음성 응답을 스트리밍으로 만드는 발화 모듈을 분리한 사고자-발화자 구조를 사용한다. 미니시피엠 오 2.6은 80억 개 매개변수를 바탕으로 시각, 음성, 언어 양식의 내용을 이해하고 생성할 수 있는 모델로 소개된다. 딥시크의 야누스 프로 7비는 양식 전반의 이해와 생성을 하나의 모델에서 수행하되, 시각 이해와 시각 생성을 위한 인코딩 과정을 분리한 구조를 채택한다. 글은 깊이 있는 표현 학습에서 다중 모달 학습이 중요하다는 관점을 제시하며, 앞으로 이런 통합형 모델의 수가 증가할 것으로 내다본다.

4. 다중 모달 추론 모델의 등장

추론 모델은 복잡한 문제를 해결하는 모델이며, 대규모 언어 모델에서 먼저 확산된 뒤 비전 언어 모델로 영역을 넓혔다. 글에 따르면 2025년 이전까지 공개된 오픈소스 다중 모달 추론 모델은 알리바바 큐웬 팀의 실험적 모델인 큐브이큐 72비 프리뷰가 사실상 유일했으며, 여러 제한 사항이 함께 고지되었다. 이후 문샷 에이아이의 키미 브이엘 에이3비 싱킹이 새로운 모델로 등장했다. 이 모델은 문브이아이티 이미지 인코더와 총 160억 개 매개변수 중 28억 개만 활성화하는 전문가 혼합 디코더를 결합하며, 키미 브이엘 기본 모델을 긴 사고 과정 데이터로 미세 조정한 뒤 강화 학습으로 추가 정렬했다. 별도의 지시 미세 조정판도 제공되며, 긴 영상과 피디에프, 화면 캡처를 입력으로 받고 에이전트형 작업도 수행할 수 있다.

5. 작지만 유능한 모델과 로컬 실행

과거에는 매개변수 수와 고품질 합성 데이터의 확대로 지능을 높이려 했지만, 평가 점수가 포화되고 단순한 규모 확대의 효과가 줄면서 큰 모델을 증류하는 등 소형화 방법이 주목받았다. 글은 일반적으로 20억 개 미만의 매개변수를 가지고 소비자용 그래픽 처리 장치에서 실행할 수 있는 모델을 소형 비전 언어 모델로 설명한다. 스몰브이엘엠 계열은 큰 모델을 단순히 축소하기보다 2억 5천600만, 5억, 22억 개 규모를 직접 탐색했고, 스몰브이엘엠 2에서는 영상 이해와 크기의 균형점으로 5억 개 모델이 제시되었다. 허깅페이스는 이러한 규모에서도 소비자용 기기의 영상 이해가 가능함을 보여주기 위해 아이폰 애플리케이션 허깅스냅을 제작했다. 소형화는 계산 비용과 배포 복잡성을 낮추고 로컬 실행을 가능하게 해, 데이터를 외부로 보내지 않는 활용 가능성도 높인다.

6. 긴 문맥과 다양한 능력을 갖춘 소형 모델

구글 딥마인드의 젬마 3 4비 지시 조정판은 비교적 작은 다중 모달 모델이면서 12만 8천 토큰 문맥과 140개 이상의 언어를 지원하는 사례로 소개된다. 젬마 3 계열의 가장 큰 모델은 당시 챗봇 아레나에서 1위에 올랐으며, 이후 10억 개 매개변수 변형으로 증류되었다. 큐웬 2.5 브이엘 3비 지시 조정판은 가장 작은 범주에 속하지는 않지만, 물체 탐지와 지시점 표시를 포함한 위치 추정, 문서 이해, 에이전트 작업을 수행하고 최대 3만 2천 토큰의 문맥을 지원한다. 사용자는 엠엘엑스 통합으로 스몰브이엘엠 5억 모델을 실행하거나 라마 씨피피의 지지유에프 형식으로 젬마 모델을 명령행에서 실행하고 서버로 제공할 수 있다. 글은 문드림 2와 플로렌스 2도 초기 소형 비전 언어 모델의 중요한 시도로 언급하지만, 본문은 주로 2024년 4월 이후 공개된 모델에 초점을 맞춘다.

7. 전문가 혼합 디코더의 효율과 비용

전문가 혼합 모델은 입력의 각 부분을 처리할 때 전체 네트워크를 사용하지 않고, 라우터가 가장 관련성 높은 일부 하위 모델을 선택해 활성화하는 구조다. 비슷한 전체 매개변수 규모의 밀집 모델과 비교하면 실제로 계산되는 네트워크의 일부가 작기 때문에 추론이 빠르고, 학습 과정에서도 빠르게 수렴할 수 있다. 트랜스포머에서는 일반적으로 각 블록의 표준 순방향 신경망 계층을 전문가 혼합 계층으로 대체하며, 이를 통해 계산 자원 활용과 추론 효율을 높인다. 다만 활성화되는 부분이 작더라도 전체 모델을 그래픽 처리 장치 메모리에 올려야 하므로 메모리 비용은 커질 수 있다. 키미 브이엘, 엠오이 엘라바, 딥시크 브이엘 2와 시각 능력을 갖춘 라마 4가 사례로 제시되며, 글은 성능 향상과 환각 감소, 폭넓은 다중 모달 능력 측면에서 이 구조를 유망한 연구 방향으로 평가한다.

8. 로봇 행동과 전통적 시각 작업으로의 확장

비전 언어 행동 모델은 이미지와 텍스트 명령을 받아 로봇이 수행할 행동을 나타내는 결과를 생성하며, 기존 비전 언어 모델에 상태·행동·시간 관련 토큰을 추가한 형태로 설명된다. 상태 토큰은 환경에 대한 시스템의 인식을, 행동 토큰은 명령에 따라 수행할 동작을, 시간 정보는 작업 단계의 순서를 표현하며, 이 정보들이 시각·언어 입력과 결합되어 행동이나 정책을 만든다. 피제로와 피제로 패스트는 일곱 개 로봇 플랫폼과 68개 작업으로 학습되어 세탁물 접기, 식탁 정리, 장보기 봉투 포장, 상자 조립과 물체 회수 같은 실제 활동을 수행한 사례다. 엔비디아의 그루트 엔원은 이미지와 언어를 이해해 휴머노이드 로봇의 동작으로 변환하며, 로봇 시연 데이터 공유와 학습을 위한 르로봇 데이터 형식을 활용한다. 이어 글은 일반 비전 작업으로 전환해, 팔리젬마가 열린 텍스트 지시를 받아 물체 탐지 좌표를 토큰으로 출력하고 분할에서는 탐지 토큰과 코드북 인덱스 형태의 분할 토큰을 함께 생성하는 방식을 소개한다.

🧾 핵심 주장 / 시사점

• 비전 언어 모델의 발전 기준은 단순한 매개변수 증가에서 벗어나, 제한된 계산만 활성화하는 구조와 고품질 정렬, 소형 기기 배포를 함께 고려하는 방향으로 이동했다.
• 이미지·텍스트·음성의 통합 생성, 복잡한 추론, 에이전트 작업과 로봇 행동은 별개의 흐름이 아니라 공유 표현과 구조화된 토큰 출력을 확장하는 연속선상에 있다.
• 소형 모델과 전문가 혼합 모델은 모두 계산 효율을 추구하지만, 전자는 로컬 실행과 배포 단순화에 초점을 두고 후자는 전체 모델의 일부만 계산하는 대신 높은 메모리 요구를 감수한다는 차이가 있다.

✅ 액션 아이템

• 카멜레온, 루미나 엠지피티, 큐웬2.5 옴니, 미니시피엠오 2.6, 야누스 프로 7비를 입력·출력 모달 조합별로 분류해 핵심 성능 축을 정리한다.
• 큐브이큐 72비 프리뷰와 키미 브이엘 A3비 싱킹을 긴 사고 과정 학습, 강화학습, 전문가 혼합 디코더 구조로 영상·문서·화면·에이전트 작업 처리 능력을 비교한다.
• 스몰브이엘엠, 젬마3, 큐웬2.5 VL의 소형 모델을 소비자 장치 실행 환경에서 영상 이해, 장문맥 처리, 다국어·문서·위치 추정 기능 중심으로 적용 가능성을 정의한다.

❓ 열린 질문

• 이미지·텍스트·음성 표현을 동일 공간에 정렬할 때 장문맥 추론은 어떤 성능 장단점이 발생하는가?
• 전문가 혼합 디코더에서 활성화 전문가 수 조절이 추론 속도와 정확도 균형에 어떤 기준으로 영향이 갈리는가?
• 상태·행동·시간 토큰을 추가한 비전 언어 행동 모델에서 로봇 제어가 실제 환경에서 실패할 가능성은 어떤 형태로 나타날 수 있는가?