🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

H Company는 웹 UI를 이해하고 클릭 위치를 정밀하게 찾는 오픈소스 액션 비전 언어 모델 Holo1과 1,639개 UI 과제로 구성된 WebClick 벤치마크를 공개했으며, 이를 기반으로 브라우저 자동화 에이전트 Surfer-H를 구동한다고 밝혔다.

📌 핵심 요약

• Holo1은 웹 GUI 자동화를 위해 설계된 액션 비전 언어 모델 계열로, Holo1-3B와 Holo1-7B 모델을 포함한다.
• Holo1-7B는 일반적인 UI 위치 지정 벤치마크에서 평균 정확도 76.2%를 기록해 소형 모델 중 높은 성능을 보였다고 소개된다.
• H Company는 Holo1 모델을 Hugging Face에 오픈소스로 공개했고, 사람과 유사한 UI 과제 1,639개로 구성된 WebClick 벤치마크도 함께 제공한다.
• Holo1은 Qwen2.5-VL 아키텍처를 기반으로 하며 Transformers와 호환되어 이미지와 지시문을 입력받아 Click(x, y) 형태의 클릭 좌표를 생성할 수 있다.
• Surfer-H는 Holo1 계열 모델을 활용하는 웹 네이티브 에이전트로, 브라우저에서 읽기, 사고, 클릭, 스크롤, 입력, 검증을 수행하며 실제 웹 과제에서 92.2% 정확도와 과제당 0.13달러 비용을 제시한다.

🧩 주요 포인트

1. Holo1은 웹 GUI 자동화를 위해 설계된 액션 비전 언어 모델 계열로, Holo1-3B와 Holo1-7B 모델을 포함한다.
2. Holo1-7B는 일반적인 UI 위치 지정 벤치마크에서 평균 정확도 76.2%를 기록해 소형 모델 중 높은 성능을 보였다고 소개된다.
3. H Company는 Holo1 모델을 Hugging Face에 오픈소스로 공개했고, 사람과 유사한 UI 과제 1,639개로 구성된 WebClick 벤치마크도 함께 제공한다.
4. Holo1은 Qwen2.5-VL 아키텍처를 기반으로 하며 Transformers와 호환되어 이미지와 지시문을 입력받아 Click(x, y) 형태의 클릭 좌표를 생성할 수 있다.
5. Surfer-H는 Holo1 계열 모델을 활용하는 웹 네이티브 에이전트로, 브라우저에서 읽기, 사고, 클릭, 스크롤, 입력, 검증을 수행하며 실제 웹 과제에서 92.2% 정확도와 과제당 0.13달러 비용을 제시한다.

🧠 상세 정리

1. Holo1과 WebClick 공개

글은 H Company가 Holo1이라는 액션 비전 언어 모델 계열과 WebClick이라는 새로운 멀티모달 위치 지정 벤치마크를 공개했다는 발표로 시작한다. Holo1은 웹 UI를 깊이 이해하고 사용자의 지시에 맞는 정확한 클릭 위치를 찾는 데 초점을 맞춘 모델군으로 설명된다. 함께 공개된 WebClick은 Hugging Face Hub에 올라간 벤치마크이며, 사람과 유사한 UI 작업 1,639개를 포함한다. 이 발표의 중심은 단순한 시각 인식이 아니라, 실제 브라우저 화면에서 상호작용할 위치를 찾아 웹 자동화에 연결하는 능력이다.

2. 모델 구성과 벤치마크 성능

Holo1 제품군에는 Holo1-3B와 Holo1-7B 모델이 포함된다. 글은 Holo1을 오픈소스 액션 VLM 계열로 소개하면서, 특히 Holo1-7B가 일반적인 UI 위치 지정 벤치마크에서 평균 정확도 76.2%를 달성했다고 밝힌다. 이 수치는 소형 모델 범주에서 가장 높은 성능으로 제시된다. 따라서 Holo1의 핵심 가치는 대형 모델에만 의존하지 않고도 웹 UI 요소의 위치를 비교적 정밀하게 찾아낼 수 있다는 점에 있다. 모델과 벤치마크가 함께 공개되었다는 점도 재현과 비교 평가를 가능하게 하는 중요한 요소로 제시된다.

3. Transformers 기반 사용 방식

Holo1 모델은 Qwen2.5-VL 아키텍처를 기반으로 하며 Transformers와 완전히 호환된다고 설명된다. 글은 Hugging Face의 AutoModelForImageTextToText와 AutoProcessor를 사용해 Hcompany/Holo1-3B 모델을 불러오는 예시 코드를 제공한다. 예시에서는 GUI 이미지를 입력하고, 사용자의 지시에 따라 화면 요소를 찾은 뒤 클릭 위치를 Click(x, y) 형식으로 출력하도록 지시한다. 캘린더 이미지에서 “7월 14일을 체크아웃 날짜로 선택하라”는 명령을 넣고, 최종적으로 Click(352, 348) 같은 좌표 결과를 얻는 흐름을 보여준다.

4. 웹 자동화에서의 비용과 성능 문제

글은 웹 자동화가 기업에서 가장 실용적인 AI 활용 분야 중 하나라고 전제한다. 다만 기존 해결책들은 성능을 얻기 위해 비용 효율성을 희생하는 경우가 많았다고 지적한다. H Company는 Holo1 액션 모델을 Hugging Face에서 사용할 수 있게 함으로써, 실제 웹 작업에서 92.2% 정확도를 내면서도 과제당 0.13달러의 비용으로 자동화 솔루션을 구현할 수 있다고 주장한다. 이 대목은 Holo1의 의미를 모델 성능 자체에만 두지 않고, 실제 운영 환경에서의 경제성과 웹 작업 수행 능력으로 확장한다.

5. Surfer-H의 모듈형 구조

Surfer-H는 Holo1 오픈 웨이트 모델 계열에 의존하는 웹 네이티브 에이전트로 소개된다. 이 에이전트는 읽기, 사고, 클릭, 스크롤, 입력, 검증을 수행하는 완전한 웹 작업 자동화 구조를 지향한다. 내부적으로는 에이전트의 행동을 계획하고 주도하는 Policy 모델, 시각적 UI를 이해해 정밀한 상호작용을 담당하는 Localizer 모델, 작업 완료 여부를 확인하는 Validator 모델이라는 세 가지 독립 구성요소로 나뉜다. 이런 분리는 웹 자동화 과정을 단일 모델 호출이 아니라 계획, 위치 지정, 완료 검증의 조합으로 다루려는 설계로 읽힌다.

6. 브라우저 기반 접근과 공개 생태계

Surfer-H는 맞춤형 API나 깨지기 쉬운 래퍼에 의존하지 않고, 실제 사용자처럼 브라우저를 통해 작동한다는 점을 강조한다. 글은 Holo1과 Surfer-H가 결합해 위치 지정 성능과 비용 효율적인 웹 탐색에서 새로운 기준을 제시한다고 설명하며, WebVoyager 벤치마크에서 비용 대비 성능의 파레토 프런티어를 설정한다고 표현한다. 마지막에는 독자들이 Holo1로 무엇을 만들지 기대한다며 블로그 토론 탭과 모델 저장소에서의 논의를 권한다. 본문 뒤에는 관련 논문의 인용 정보도 제공되어, 발표가 모델 공개와 실험 보고서, 커뮤니티 피드백으로 이어지는 흐름을 갖는다.

🧾 핵심 주장 / 시사점

• Holo1의 핵심 차별점은 일반 이미지 이해가 아니라 웹 UI에서 실제로 클릭할 위치를 찾아내는 행동 중심 시각 언어 모델이라는 점이다.
• Surfer-H는 브라우저를 직접 조작하는 구조를 택해, 웹 자동화를 API 통합 문제가 아니라 사람과 유사한 화면 상호작용 문제로 다룬다.
• 모델, 사용 예시, 벤치마크, 논문 인용을 함께 공개한 방식은 Holo1을 단순 발표가 아니라 재현 가능한 GUI 자동화 평가 생태계의 구성 요소로 제시한다.

✅ 액션 아이템

• Holo1 공개 모델(Holo1-3B/7B)과 WebClick(1,639개 과제) 조합을 동일 조건에서 재현해 적용 범위를 먼저 정의한다.
• Qwen2.5-VL 기반 이미지·지시문 입력 후 Click(x,y) 좌표 생성 흐름을 Surfer-H의 브라우저 실행 루프와 결합해 전달 안정성을 점검한다.
• 실웹 과제에서 제시된 92.2% 정확도와 과제당 0.13달러 비용을 기준으로 상용화 전 성능·비용 임계값을 수치로 정한다.

❓ 열린 질문

• Holo1-7B의 76.2% UI 위치 정확도는 WebClick 과제 유형별로 어떤 편차가 나타나는가?
• Surfer-H의 92.2% 정확도와 과제당 0.13달러 비용은 어떤 사이트 특성과 세션 길이에서 유지되지 않을 가능성이 큰가?
• 이미지·지시문 입력만으로 Click(x,y)만 생성할 때 브라우저 상태 변화가 좌표 오차로 누적되는 지점은 어디인가?