Small models, big results: Achieving superior intent extraction through decomposition

🖼️ 인포그래픽

Small models, big results: Achieving superior intent extraction through decomposition 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google 연구진은 UI 상호작용 궤적을 화면별 요약과 의도 추출로 분해하면 작은 멀티모달 모델도 큰 모델에 견줄 수준의 사용자 의도 이해 성능을 낼 수 있음을 보였다.

📌 핵심 요약

모바일 기기에서 유용한 에이전트를 만들려면 사용자가 현재 무엇을 하거나 하려는지 이해해야 하며, 이를 통해 다음 행동 예측에 필요한 맥락을 확보할 수 있다.
큰 멀티모달 LLM은 UI 궤적에서 사용자 의도를 잘 파악하지만, 서버 전송이 필요할 수 있어 지연, 비용, 민감 정보 노출 위험이 따른다.
논문은 작은 멀티모달 LLM이 온디바이스에서 웹·모바일 상호작용 시퀀스를 이해하도록, 화면별 요약 후 전체 의도를 추출하는 2단계 분해 방식을 제안한다.
첫 단계에서는 각 화면과 UI 요소 상호작용을 주변 화면과 함께 요약하고, 두 번째 단계에서는 요약들의 시퀀스에서 간결한 의도 문장을 추출한다.
Bi-Fact 평가와 실험 결과, 분해 방식은 CoT 프롬프팅과 엔드투엔드 미세조정보다 우수했고, 일부 설정에서는 작은 Gemini 1.5 Flash 8B가 큰 Gemini 1.5 Pro와 비슷한 성능을 보였다.

🧩 주요 포인트

모바일 기기에서 유용한 에이전트를 만들려면 사용자가 현재 무엇을 하거나 하려는지 이해해야 하며, 이를 통해 다음 행동 예측에 필요한 맥락을 확보할 수 있다.
큰 멀티모달 LLM은 UI 궤적에서 사용자 의도를 잘 파악하지만, 서버 전송이 필요할 수 있어 지연, 비용, 민감 정보 노출 위험이 따른다.
논문은 작은 멀티모달 LLM이 온디바이스에서 웹·모바일 상호작용 시퀀스를 이해하도록, 화면별 요약 후 전체 의도를 추출하는 2단계 분해 방식을 제안한다.
첫 단계에서는 각 화면과 UI 요소 상호작용을 주변 화면과 함께 요약하고, 두 번째 단계에서는 요약들의 시퀀스에서 간결한 의도 문장을 추출한다.
Bi-Fact 평가와 실험 결과, 분해 방식은 CoT 프롬프팅과 엔드투엔드 미세조정보다 우수했고, 일부 설정에서는 작은 Gemini 1.5 Flash 8B가 큰 Gemini 1.5 Pro와 비슷한 성능을 보였다.

🧠 상세 정리

1. 문제의식: 모바일 에이전트가 이해해야 할 사용자 의도

원문은 앞으로의 AI 에이전트가 진정으로 도움이 되려면 사용자의 필요를 더 잘 예측해야 한다는 문제의식에서 출발한다. 특히 모바일 기기 경험에서는 사용자가 화면과 상호작용하면서 실제로 무엇을 하고 있는지, 또는 무엇을 하려는지 이해하는 것이 핵심이라고 설명한다. 현재 작업과 이전 작업이 파악되면 모델은 다음 행동을 예측할 맥락을 더 많이 갖게 된다. 예시로, 사용자가 이전에 유럽의 음악 축제를 검색했고 지금 런던행 항공편을 찾는다면, 에이전트는 해당 날짜의 런던 축제를 찾아보겠다고 제안할 수 있다.

2. 큰 LLM의 한계와 작은 모델 접근의 필요성

대형 멀티모달 LLM은 이미 UI 궤적에서 사용자 의도를 이해하는 데 상당히 뛰어나다고 원문은 인정한다. 그러나 이 작업에 LLM을 사용하려면 일반적으로 정보를 서버로 보내야 하며, 이는 느릴 수 있고 비용이 많이 들 수 있으며 민감한 정보 노출 위험도 동반한다. 따라서 모바일과 웹 상호작용을 기기 안에서 처리할 수 있는 작은 멀티모달 LLM의 가능성이 중요해진다. 연구진은 EMNLP 2025에서 발표한 논문을 통해, 작은 모델로도 사용자 상호작용 시퀀스를 이해할 수 있도록 문제를 더 다루기 쉬운 형태로 분해하는 방법을 제시한다.

3. 핵심 방법: 화면별 요약과 전체 의도 추출의 2단계 분해

제안된 방식은 사용자 의도 이해를 한 번에 해결하지 않고 두 단계로 나누는 분해형 워크플로다. 추론 시 첫 단계에서는 개별 화면과 UI 요소에서 발생한 각각의 상호작용을 독립적으로 요약한다. 그다음 두 번째 단계에서는 이렇게 생성된 요약들을 일련의 사건처럼 사용해 전체 UI 궤적의 일반적인 의도를 예측한다. 원문은 이 구조가 작은 모델에게 복잡한 장기 상호작용 전체를 직접 해석하게 하는 대신, 먼저 화면 단위 정보를 정리하도록 만들어 작업을 더 쉽게 만든다고 설명한다.

4. 1단계: 주변 화면을 활용한 개별 상호작용 요약

첫 단계에서 작은 멀티모달 LLM은 각 개별 상호작용을 요약한다. 입력으로는 이전 화면, 현재 화면, 다음 화면으로 구성된 세 화면의 슬라이딩 윈도우가 사용되며, 모델은 현재 화면에서 중요한 맥락, 방금 사용자가 한 행동, 그리고 사용자가 이 상호작용으로 달성하려는 바에 대한 추정을 묻는 질문에 답한다. 화면 맥락은 현재 화면의 두드러진 세부 사항을 짧은 목록으로 정리하는 방식이며, 사용자 행동은 이 상호작용에서 사용자가 취한 행동 목록으로 표현된다. 이 단계의 산출물은 두 번째 단계에서 의도 추출 모델의 입력으로 사용된다.

5. 2단계: 요약에서 간결한 의도 문장 추출

두 번째 단계에서는 미세조정된 작은 모델이 1단계에서 생성된 화면 요약들을 입력으로 받아 하나의 문장으로 된 의도를 추출한다. 연구진은 좋은 의도 문장의 예시를 제공하는 미세조정이 모델이 중요한 부분에 집중하고 불필요한 정보를 버리는 데 도움이 된다고 설명한다. 또한 요약에 없는 정보를 학습 라벨에서 제거해, 모델이 존재하지 않는 세부사항을 채우도록 학습되는 문제를 줄인다. 흥미롭게도 1단계에서 추정 항목을 만들게 하기는 하지만, 2단계에서는 그 추정 내용을 제거한다. 원문에 따르면 추정은 1단계 요약을 더 완전하게 만드는 데는 도움이 되지만, 의도 추출 단계에서는 모델을 혼란스럽게 할 수 있기 때문이다.

6. 평가와 결과: Bi-Fact 분석과 기준선 대비 성능

평가는 Bi-Fact 접근을 사용해 예측된 의도와 참조 의도의 품질을 비교한다. 이 방식은 별도의 LLM 호출로 두 의도를 더 이상 쪼갤 수 없는 원자적 사실로 분해하고, 예측 의도에 포함된 사실이 참조 의도에 의해 뒷받침되는지와 참조 의도의 사실이 예측에 포착됐는지를 계산한다. 이를 통해 정밀도, 재현율, F1 점수를 산출하며, 분해 방식의 각 단계에서 어떤 세부사항이 누락되거나 환각되는지도 추적할 수 있다. 실험에서는 분해 접근이 CoT 프롬프팅과 엔드투엔드 미세조정보다 우수했고, 모바일과 웹 궤적 모두에서 Gemini와 Qwen2 기반 모델에 대해 같은 경향을 보였다. 특히 Gemini 1.5 Flash 8B에 분해 방식을 적용했을 때 Gemini 1.5 Pro와 비교 가능한 결과를 얻어, 온디바이스 보조 기능의 기반 기술로서 가능성을 보였다.

🧾 핵심 주장 / 시사점

작은 모델의 성능을 높이는 핵심은 모델 크기를 키우는 것이 아니라, 복잡한 UI 궤적 이해 문제를 화면별 요약과 전체 의도 추출로 나누는 작업 설계에 있었다.
학습 라벨에서 요약에 없는 정보를 제거한 점은 성능뿐 아니라 환각 억제를 평가·훈련 과정에 명시적으로 반영한 중요한 설계 요소다.
Bi-Fact의 원자적 사실 기반 평가는 단순 점수 비교를 넘어, 어느 단계에서 누락과 과잉 생성이 발생하는지 추적할 수 있게 해 분해형 시스템 개선에 직접 연결된다.

✅ 액션 아이템

모바일 UI 상호작용 궤적을 온디바이스에서 처리하기 위해 화면별 요약-의도 추출 2단계 분해의 입력 단위와 요약 규칙을 정한다.
지연·비용·민감정보 노출 위험을 포함해 서버 기반 추론 대비 온디바이스 분해 파이프라인의 성능-보안 트레이드오프를 함께 점검한다.
Bi-Fact 실험 조건을 유지한 채 작은 Gemini 1.5 Flash 8B와 큰 Gemini 1.5 Pro의 동등 조건을 반복 검증해 성능 유사 구간을 정의한다.