Holotron-12B - High Throughput Computer Use Agent | Article 정리

🖼️ 인포그래픽

Holotron-12B - High Throughput Computer Use Agent 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

홀로트론-12B는 하이브리드 상태공간모델과 어텐션 구조를 기반으로 긴 문맥과 다중 이미지를 효율적으로 처리하면서 높은 컴퓨터 사용 성능과 추론 처리량을 달성한 120억 매개변수 멀티모달 에이전트 모델이다.

📌 핵심 요약

H 컴퍼니는 엔비디아 네모트론-나노-2 VL 기반 모델을 독점적인 화면 위치 파악·탐색 데이터로 후속 학습한 홀로트론-12B를 공개했다.
정적 이미지 인식이나 단순 지시 수행보다 화면을 인식하고 판단한 뒤 행동하는 컴퓨터 사용 에이전트의 정책 모델에 초점을 맞췄다.
하이브리드 상태공간모델·어텐션 구조는 시퀀스 길이와 무관한 계층별 상태를 활용해 KV 캐시의 메모리 부담을 줄이고 긴 상호작용 이력을 효율적으로 처리한다.
H100 GPU 한 장과 vLLM 0.14.1을 사용한 웹보이저 실험에서 최대 동시성 100 기준 초당 8,900토큰을 기록했으며, 홀로2-8B보다 2배가 넘는 처리량을 보였다.
약 140억 토큰의 2단계 학습을 거친 결과 웹보이저 성능이 기반 모델의 35.1%에서 80.5%로 상승했고, 화면 위치 파악과 그라운딩 벤치마크에서도 개선됐다.

🧩 주요 포인트

H 컴퍼니는 엔비디아 네모트론-나노-2 VL 기반 모델을 독점적인 화면 위치 파악·탐색 데이터로 후속 학습한 홀로트론-12B를 공개했다.
정적 이미지 인식이나 단순 지시 수행보다 화면을 인식하고 판단한 뒤 행동하는 컴퓨터 사용 에이전트의 정책 모델에 초점을 맞췄다.
하이브리드 상태공간모델·어텐션 구조는 시퀀스 길이와 무관한 계층별 상태를 활용해 KV 캐시의 메모리 부담을 줄이고 긴 상호작용 이력을 효율적으로 처리한다.
H100 GPU 한 장과 vLLM 0.14.1을 사용한 웹보이저 실험에서 최대 동시성 100 기준 초당 8,900토큰을 기록했으며, 홀로2-8B보다 2배가 넘는 처리량을 보였다.
약 140억 토큰의 2단계 학습을 거친 결과 웹보이저 성능이 기반 모델의 35.1%에서 80.5%로 상승했고, 화면 위치 파악과 그라운딩 벤치마크에서도 개선됐다.

🧠 상세 정리

1. 컴퓨터 사용 에이전트를 위한 모델 공개

H 컴퍼니는 2026년 3월 17일 멀티모달 컴퓨터 사용 모델인 홀로트론-12B를 공개했으며, 모델과 체크포인트를 허깅페이스에서 제공한다고 밝혔다. 이 모델은 공개된 엔비디아 네모트론-나노-2 VL 모델을 출발점으로 삼아 H 컴퍼니의 독점 데이터 혼합물로 후속 학습한 결과물이다. 양사 연구진은 연구용 성능만이 아니라 실제 운영 환경에서의 규모 확장과 처리 성능을 우선하도록 모델을 설계했다. H 컴퍼니는 엔비디아 인셉션 프로그램에 참여하고 있으며, 홀로트론-12B는 엔비디아 오픈 모델 라이선스에 따라 배포된다.

2. 정적 시각 모델과 구별되는 개발 목표

기존 멀티모달 모델 다수는 정적인 이미지 이해나 사용자의 지시를 따르는 능력을 중심으로 최적화돼 있지만, 홀로트론-12B의 목표는 상호작용 환경에서 작동하는 정책 모델이다. 컴퓨터 사용 에이전트는 화면을 인식하는 데서 끝나지 않고 현재 상태를 바탕으로 결정을 내린 뒤 실제 사용자 인터페이스 동작을 수행해야 한다. 개발진은 여러 이미지와 긴 상호작용 이력을 포함한 문맥을 효율적으로 처리하면서도 에이전트 벤치마크에서 높은 성능을 유지하는 모델을 만들고자 했다. 네모트론은 추론 효율 측면의 기반을 제공했고, 추가 학습을 통해 화면 이해·위치 파악·탐색 능력을 컴퓨터 사용 작업에 맞게 강화했다.

3. 하이브리드 상태공간모델 구조와 메모리 효율

홀로트론-12B의 높은 추론 효율은 상태공간모델과 어텐션을 결합한 네모트론의 하이브리드 구조에 기반한다. 순수 트랜스포머 모델의 어텐션은 각 토큰과 계층에 대한 키·값 활성값을 KV 캐시에 보관하므로 문맥이 길어질수록 계산량과 메모리 사용량이 크게 증가한다. 반면 상태공간모델은 선형 순환 구조로 작동하며, 생성 중인 각 시퀀스에 대해 계층별 고정 크기의 상태만 저장하기 때문에 저장량이 시퀀스 길이에 직접 비례하지 않는다. 이러한 특성은 고해상도 이미지가 반복해서 들어오고 상호작용 기록이 길어지는 에이전트 작업에서 메모리 부담을 줄인다. 동일한 하드웨어에서 더 큰 유효 배치를 구성할 수 있어 동시 요청이 많은 고처리량 서비스에도 유리하다.

4. H100 한 장에서 확인한 처리량 확장성

연구진은 긴 문맥, 여러 고해상도 이미지, 벤치마크 작업자 100명의 높은 요청 동시성을 포함하는 웹보이저 환경에서 추론 성능을 평가했다. H100 GPU 한 장과 상태공간모델 최적화가 적용된 vLLM 0.14.1을 사용한 결과, 홀로트론-12B는 홀로2-8B보다 2배가 넘는 처리량을 달성했다. 통제된 실험에서는 동시성이 증가할수록 전체 토큰 처리량이 꾸준히 상승해 최대 동시성 100에서 초당 8,900토큰에 도달했다. 홀로2-8B는 더 이른 시점에 처리량 증가가 둔화돼 초당 5,100토큰 수준에서 정체됐다. 개발진은 이 차이를 네모트론 구조의 효율적인 비디오 메모리 활용과 더 작은 전체 메모리 점유가 같은 하드웨어에서 큰 배치를 가능하게 한 결과로 설명했다.

5. 2단계 학습과 에이전트·위치 파악 성능

홀로트론-12B는 두 단계로 학습됐으며, 시작점은 엔비디아가 공개한 멀티모달 기반 모델 네모트론-나노-12B-v2-VL-BF16이었다. 이후 H 컴퍼니가 보유한 위치 파악 및 탐색 데이터 혼합물로 지도 미세조정을 수행해 화면 이해, 화면 요소 그라운딩, 사용자 인터페이스 수준의 상호작용을 집중적으로 학습했다. 최종 체크포인트의 학습량은 약 140억 토큰이다. 웹보이저 벤치마크 성능은 기반 네모트론 모델의 35.1%에서 80.5%로 상승했으며 홀로2-8B의 결과도 넘어섰다. 운영체제 월드-G, 그라운드UI, 웹클릭과 같은 위치 파악·그라운딩 벤치마크에서도 기반 모델보다 큰 개선을 기록했다.

6. 활용 범위와 차세대 모델 방향

홀로트론-12B는 강한 에이전트 성능과 높은 추론 처리량을 함께 제공하며, 특히 처리량이 병목이 되는 데이터 생성·주석 작업·온라인 강화학습에 적합한 모델로 제시됐다. 개발진은 적절한 학습 구성과 추론 인프라 작업이 결합되면 네모트론 VL 기반 모델을 실제 멀티모달 에이전트로 발전시킬 수 있다고 결론지었다. 앞으로의 주요 개선 지점으로는 더 높은 해상도의 시각 데이터를 활용한 학습이 언급됐다. 이어 공개된 네모트론 3 옴니에 대해서도 향상된 하이브리드 상태공간모델·어텐션 및 전문가 혼합 구조를 활용한 후속 학습을 준비하고 있다고 밝혔다. 목표는 추론 능력과 멀티모달 정밀도를 높이는 동시에 대규모 자율 컴퓨터 사용 환경에 필요한 높은 처리량과 낮은 지연시간을 제공하는 것이다.

🧾 핵심 주장 / 시사점

홀로트론-12B의 핵심 성과는 모델 크기만 확대하는 대신 상태공간모델의 고정 상태 메모리 특성을 활용해 긴 문맥과 높은 동시성에서 처리량을 높였다는 점이다.
기반 모델의 웹보이저 성능이 35.1%에서 80.5%로 상승한 결과는 화면 이해·위치 파악·탐색에 집중한 후속 학습이 컴퓨터 사용 능력 향상에 직접 연결됐음을 보여준다.
높은 에이전트 정확도와 H100 한 장에서의 초당 8,900토큰 처리량을 함께 달성해 데이터 생성, 주석, 온라인 강화학습처럼 대규모 병렬 추론이 필요한 작업의 운영 가능성을 높였다.

✅ 액션 아이템

홀로트론-12B의 공개 조건, 기반 모델, 2단계 학습 구성을 정리해 컴퓨터 사용 정책 모델 성능 향상 근거를 고정한다.
하이브리드 상태공간·어텐션이 KV 캐시 메모리 부담을 줄이고 긴 상호작용 처리 효율을 높이는 메커니즘을 기존 방식과 대조한다.
H100 단일 GPU와 vLLM 0.14.1 실험 조건에서 동시성 100, 초당 8,900토큰, 홀로2-8B 대비 2배 초과 성능을 재확인한다.