Generative UI: A rich, custom, visual interactive user experience for any prompt

🖼️ 인포그래픽

Generative UI: A rich, custom, visual interactive user experience for any prompt 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글은 사용자의 어떤 프롬프트에도 맞춰 웹페이지, 도구, 시뮬레이션 같은 맞춤형 인터랙티브 경험을 즉석 생성하는 생성형 UI 구현을 소개하고, Gemini 앱과 Google Search AI Mode에 실험적으로 적용한다고 밝혔다.

📌 핵심 요약

생성형 UI는 AI 모델이 단순한 텍스트나 정적 콘텐츠를 출력하는 수준을 넘어, 사용자의 질문·요청·프롬프트에 맞춘 전체 사용자 경험을 생성하는 방식이다.
구글의 구현은 웹페이지, 게임, 도구, 애플리케이션, 시각적 설명, 인터랙티브 시뮬레이션 등을 동적으로 만들며, 짧은 단어 하나부터 긴 지시문까지 다양한 입력에 대응한다.
이 기능은 Gemini 앱의 dynamic view와 visual layout 실험, 그리고 Google Search의 AI Mode에 적용되며, 사용자는 학습·계획·패션 조언·과학 개념 이해 같은 상황에서 맞춤 인터페이스를 사용할 수 있다.
논문에서 설명된 구현은 Gemini 3 Pro 모델을 기반으로 하며, 도구 접근, 세밀한 시스템 지시문, 후처리 과정을 결합해 HTML/CSS/JS 형태의 인터페이스와 생성 자산을 만든다.
평가에서는 생성 속도를 제외했을 때 생성형 UI 결과가 표준 LLM 텍스트·마크다운 출력이나 일반 검색 결과보다 인간 평가자에게 더 선호됐지만, 생성 시간이 길고 출력 오류가 생길 수 있다는 한계도 함께 제시됐다.

🧩 주요 포인트

생성형 UI는 AI 모델이 단순한 텍스트나 정적 콘텐츠를 출력하는 수준을 넘어, 사용자의 질문·요청·프롬프트에 맞춘 전체 사용자 경험을 생성하는 방식이다.
구글의 구현은 웹페이지, 게임, 도구, 애플리케이션, 시각적 설명, 인터랙티브 시뮬레이션 등을 동적으로 만들며, 짧은 단어 하나부터 긴 지시문까지 다양한 입력에 대응한다.
이 기능은 Gemini 앱의 dynamic view와 visual layout 실험, 그리고 Google Search의 AI Mode에 적용되며, 사용자는 학습·계획·패션 조언·과학 개념 이해 같은 상황에서 맞춤 인터페이스를 사용할 수 있다.
논문에서 설명된 구현은 Gemini 3 Pro 모델을 기반으로 하며, 도구 접근, 세밀한 시스템 지시문, 후처리 과정을 결합해 HTML/CSS/JS 형태의 인터페이스와 생성 자산을 만든다.
평가에서는 생성 속도를 제외했을 때 생성형 UI 결과가 표준 LLM 텍스트·마크다운 출력이나 일반 검색 결과보다 인간 평가자에게 더 선호됐지만, 생성 시간이 길고 출력 오류가 생길 수 있다는 한계도 함께 제시됐다.

🧠 상세 정리

1. 생성형 UI의 개념과 기존 인터페이스와의 차이

글은 생성형 UI를 AI 모델이 콘텐츠만 생성하는 것이 아니라 전체 사용자 경험을 생성하는 능력으로 정의한다. 이 방식은 사용자의 질문, 지시, 프롬프트에 맞춰 시각적 경험과 인터랙티브 인터페이스를 즉석에서 설계한다. 결과물은 웹페이지, 게임, 도구, 애플리케이션처럼 사용할 수 있는 형태가 될 수 있으며, 입력은 단어 하나처럼 짧을 수도 있고 상세 지시처럼 길 수도 있다. 저자들은 이러한 인터페이스가 기존 AI 출력에서 흔한 정적이고 미리 정해진 화면과 뚜렷하게 다르다고 설명한다.

2. 논문과 연구 목표: 완전한 AI 생성 사용자 경험으로의 첫 단계

구글은 논문 Generative UI: LLMs are Effective UI Generators에서 이번 구현의 핵심 원칙과 생성형 UI 패러다임의 가능성을 설명한다고 밝혔다. 논문의 중심 주장은 LLM이 단순 답변 생성기를 넘어 사용자에게 맞춘 인터페이스 생성기로도 효과적으로 작동할 수 있다는 것이다. 저자들은 사용자가 기존 애플리케이션 목록에서 도구를 고르는 대신, 필요에 맞는 동적 인터페이스를 자동으로 받는 방향을 제시한다. 다만 글은 이를 완성된 종착점이 아니라 완전히 AI가 생성하는 사용자 경험을 향한 첫 단계로 위치시킨다.

3. Gemini 앱에서의 dynamic view와 visual layout 실험

생성형 UI 기능은 Gemini 앱에서 dynamic view와 visual layout이라는 두 가지 실험으로 공개된다. dynamic view는 Gemini의 에이전트형 코딩 능력을 활용해 각 프롬프트에 맞춘 인터랙티브 응답을 설계하고 코드로 만든다. 예를 들어 5세 아이에게 마이크로바이옴을 설명하는 경우와 성인에게 설명하는 경우는 내용과 기능이 달라져야 하며, 비즈니스를 위한 소셜미디어 게시물 갤러리와 여행 계획 생성도 서로 다른 화면을 요구한다. 글은 확률 학습, 행사 계획, 패션 조언처럼 배우고 놀고 탐색하는 다양한 상황에서 이 기능을 사용할 수 있다고 설명한다.

4. Google Search AI Mode에서의 적용과 인터랙티브 검색 경험

생성형 UI 경험은 Google Search의 AI Mode에도 통합된다. 글은 AI Mode에서 사용자의 질문에 맞춘 동적 시각 경험, 인터랙티브 도구, 시뮬레이션을 생성할 수 있다고 설명한다. Gemini 3는 멀티모달 이해와 에이전트형 코딩 능력을 바탕으로 프롬프트의 의도를 해석하고, 깊은 이해와 작업 완료에 최적화된 맞춤형 인터페이스를 만든다고 소개된다. 이 기능은 미국의 Google AI Pro 및 Ultra 구독자를 대상으로 제공되며, AI Mode의 모델 드롭다운에서 Thinking을 선택해 사용해볼 수 있다고 안내된다.

5. 구현 방식: 도구 접근, 시스템 지시문, 후처리

논문에 설명된 구현은 Gemini 3 Pro 모델에 세 가지 중요한 요소를 더한 구조다. 첫째, 서버가 이미지 생성과 웹 검색 같은 핵심 도구 접근을 제공해 결과 품질을 높이거나 필요한 결과를 사용자의 브라우저로 직접 보낼 수 있게 한다. 둘째, 목표, 계획, 예시, 기술 명세, 형식, 도구 매뉴얼, 흔한 오류 회피 팁을 포함한 세밀한 시스템 지시문이 모델을 안내한다. 셋째, 모델 출력은 후처리 과정을 거쳐 잠재적으로 반복될 수 있는 문제를 보정한다. 일부 제품에서는 모든 결과와 생성 자산이 일관된 스타일로 나오도록 설정할 수도 있고, 별도 스타일 지시가 없으면 시스템이 자동으로 스타일을 선택하거나 사용자의 프롬프트가 스타일에 영향을 줄 수 있다.

6. 평가 결과, 현재 한계, 앞으로의 개선 기회

구글은 생성형 UI 구현을 일관되게 평가하기 위해 인간 전문가가 만든 웹사이트 데이터셋인 PAGEN을 만들었고, 이를 연구 커뮤니티에 공개할 예정이라고 밝혔다. 선호도 평가에서는 특정 프롬프트에 맞춰 인간 전문가가 설계한 사이트가 가장 높은 선호를 얻었고, 생성형 UI 결과가 그 뒤를 비교적 가깝게 따랐으며, 일반 검색 결과와 텍스트 또는 마크다운 형식의 기본 LLM 출력과는 큰 격차가 있었다. 이 평가는 생성 속도를 고려하지 않았고, 생성형 UI 성능이 기반 모델 성능에 크게 의존하며 최신 모델에서 더 나은 결과가 나온다는 점도 제시됐다. 동시에 현재 구현은 결과 생성에 1분 이상 걸릴 수 있고 출력에 부정확성이 생길 수 있어, 더 넓은 서비스 접근, 추가 맥락과 인간 피드백 반영, 더 유용한 시각·인터랙티브 인터페이스 제공이 향후 연구 기회로 제시된다.

🧾 핵심 주장 / 시사점

생성형 UI의 핵심 변화는 AI 답변을 텍스트 결과가 아니라 사용자가 바로 조작하고 탐색할 수 있는 맞춤형 인터페이스로 확장한다는 점이다.
평가 결과는 인간 전문가가 만든 화면이 여전히 가장 강하지만, 생성형 UI가 표준 LLM 출력보다 사용자 선호에서 뚜렷하게 앞설 수 있음을 보여준다.
실용화를 위해서는 생성 속도와 정확성 문제가 중요하며, 기반 모델 성능, 도구 접근, 후처리, 사용자 맥락 반영이 품질을 좌우하는 주요 요소로 제시된다.