Hermes Desktop HUD Mode: An Agent Buddy For Any App

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Hermes Desktop HUD Mode는 어떤 앱 위에서도 화면 문맥을 읽고 질문과 조작을 돕는 에이전트 버디이지만, 앱 전환을 명시하고 긴 응답은 일반 데스크톱 앱에서 처리해야 가장 유용한다.

📌 핵심 요점

1. HUD Mode는 GitHub, X, 텍스트 파일처럼 서로 다른 앱과 페이지의 화면 내용을 읽어 요약하거나 비교하고, 현재 작업과의 관계를 설명한다.
2. 설정의 단축키로 HUD를 전환하며, 일반 데스크톱 앱과 같은 모델 선택, 음성 받아쓰기, 음성 응답, 호출어, 음성 대화, 첨부 기능을 사용할 수 있다.
3. X 게시물과 삽입 영상, TradingView 캔들 차트, Spotify 재생 정보, Steam 라이브러리, 터미널 작업처럼 시각적으로 표시된 정보를 인식했습니다.
4. Clipchamp 및 Spotify에서는 전용 연결이나 MCP 없이 computer use를 활용해 파일을 가져오거나 곡을 변경하는 실제 조작도 수행했습니다.
5. 작은 응답 영역은 짧은 질의에 적합하며, 앱을 바꾼 뒤에는 무엇이 달라졌는지 알려줘야 새 화면을 다시 확인한다는 운용 조건이 있다.

🧩 배경과 문제 정의

• 사용자는 GitHub 저장소, X 게시물, 로컬 텍스트 파일처럼 서로 다른 앱에 흩어진 정보를 읽고 비교하기 위해 현재 화면을 이해하는 작은 보조 에이전트를 원한다.
• Hermes Desktop HUD Mode는 일반 세션의 작성 기능을 작은 오버레이로 제공하고, 아래에 열린 앱이나 페이지를 문맥으로 삼아 질문을 처리한다.
• 영상은 HUD 활성화 방법과 다양한 앱에서의 화면 인식·질의·computer use를 시험하고, 실제 운용상의 장점과 한계를 확인하는 데 초점을 둡니다.

🕒 시간순 섹션별 상세정리

1. 저장소·게시물·계획을 연결한 첫 시연

• GitHub 저장소를 요약하게 하자 Deep Seek version 4 flash 모델을 서비스하기 위한 배포 및 성능 튜닝 레시피라고 설명하고 구성 요소를 정리했습니다. [00:39]
• X에 표시된 다른 버전과 저장소를 비교한 뒤, 일반 텍스트 파일의 계획이 두 레시피와 어떻게 맞물리는지 표를 포함해 분석했습니다. [01:39]
• 이 과정은 Twitter, GitHub, notebook을 오가면서도 HUD가 각 화면의 문맥을 받아 질문에 답할 수 있음을 보여줬습니다. [02:14]

2. HUD의 목적과 활성화 방법

• 영상은 HUD 활성화, 사용 방법, 여러 앱에서의 실제 성능 시험을 목표로 제시했습니다. [02:34]
• 설정의 keyboard shortcuts에서 Toggle HUD Mode 키를 확인하며, 시연 환경에서는 Control Shift H로 작은 반투명 HUD를 열었습니다. [03:33]
• HUD는 일반 composer의 모델·음성·첨부 기능을 유지하지만 화면이 작아 짧은 질문과 현재 페이지 문맥 활용에 더 적합하다고 설명했습니다. [04:31]

3. X 게시물과 TradingView 차트 판독

• HUD는 아래에 열린 Chrome의 X 게시물 작성자와 내용을 식별하고, 삽입 영상 속 Figma 형태의 디자인 공간과 오버레이 흐름까지 설명했습니다. [05:20]
• TradingView의 Nvidia 주식 차트를 읽고 candlestick에 표시된 fair value gap에 관한 질문에도 시각적 분석을 제공했습니다. [06:03]

4. Clipchamp에서 전용 통합 없는 작업 실행

• Clipchamp에서 새 영상을 만들고 raw 디렉터리의 최신 파일을 가져오라는 요청을 받은 뒤 파일 탐색기를 열어 파일을 선택했습니다. [06:53]
• Hermes와 Clipchamp 사이에 직접 연결이나 MCP가 없어도, 화면 판독과 computer use만으로 작업을 수행할 수 있음을 확인했습니다. [07:06]

5. Spotify 인식과 음악 제어

• HUD는 아래 앱을 Spotify Premium으로 식별하고 현재 재생 중인 Gorillaz의 Clint Eastwood를 알아냈습니다. [07:50]
• computer use로 Feel Good Inc.를 재생하도록 변경했고, 이어서 밴드 구성원에 관한 일반 질문에도 답했습니다. [08:50]

6. Steam 라이브러리 탐색과 집계

• Steam을 인식한 뒤 올해 플레이한 게임을 묻자 화면의 컬렉션이 2025년 자료이고 현재는 2026년이라는 점을 구분해 함정을 피했습니다. [10:04]
• 여러 게임의 정보를 확인해 XCOM 2의 플레이 시간이 가장 많다고 집계했지만, 이 탐색에는 몇 분이 걸렸고 필요한 정보의 대부분을 복구했다고 설명했습니다. [10:51]

7. 터미널 작업을 검토하는 별도 에이전트

• 앱을 바꿔도 HUD는 자동으로 새 화면을 확인하지 않으므로, 무엇이 보이는지 다시 묻거나 화면이 바뀌었다는 힌트를 줘야 한다고 설명했습니다. [11:59]
• SSH 터미널의 작업을 요약하게 하자 Deep Seek 비전 사이드카 적응 작업을 읽었고, 별도 세션과 모델을 사용하는 백업 에이전트로 조언이나 이중 점검을 맡길 수 있음을 보여줬습니다. [13:29]

8. 여러 앱 사이의 실시간 전환 시험

• 편집 없이 Terminal에서 Steam, Spotify, TradingView, GitHub 저장소로 차례로 이동하며 현재 앱을 식별하게 했습니다. [15:19]
• 세션을 재시작하거나 별도 설정을 할 필요는 없었고, 화면 변경만 알려주면 대체로 빠르게 새 앱을 인식했으며 한 응답은 약 20초가 걸렸다고 언급했습니다. [15:35]

9. 최종 평가와 HUD 이동 방법

• HUD는 빠르고 부드럽게 전환되며 다시 들어가는 동작은 거의 즉시이지만, HUD 진입 시 연결 과정은 발생한다고 평가했습니다. [16:11]
• composer는 화면에서 이동할 수 있으나 외곽의 매우 가는 선을 클릭해야 해 다소 까다롭다고 직접 시연했습니다. [16:44]
• 영상은 다양한 활용 방식과 의견을 댓글로 요청하며 HUD Mode 소개와 심층 시험을 마무리했습니다. [16:51]

🧾 결론

• HUD Mode의 핵심 가치는 사용자가 현재 앱을 떠나지 않고 화면에 관한 질문을 던질 수 있다는 점입니다.
• 전용 통합이 없는 앱에서도 화면 인식과 computer use를 결합해 보조 작업을 실행할 수 있음을 Clipchamp 사례가 보여준다.
• 긴 분석을 대신하는 완전한 작업 공간보다는, 빠른 확인·요약·비교·조작을 담당하는 작은 보조 에이전트에 가깝습니다.
• 다른 앱으로 이동했을 때 문맥 변경을 명시하는 습관이 정확하고 일관된 사용 경험을 만드는 핵심입니다.

📈 투자·시사 포인트

• 앱별 플러그인이나 MCP가 없어도 화면을 공통 문맥으로 활용할 수 있다는 점은 데스크톱 에이전트의 적용 범위를 넓히는 방향을 시사한다.
• 화면 인식과 computer use의 결합은 정보 설명에 머물던 에이전트를 실제 앱 조작 인터페이스로 확장할 가능성을 보여준다.
• 작은 HUD와 전체 세션을 오가는 구조는 기존 앱을 대체하기보다 현재 작업 흐름 위에 AI 보조 계층을 얹는 제품 전략에 가깝습니다.
• 반면 앱 전환 감지, 응답 지연, 시각 판독 정확도는 반복 사용과 신뢰 형성에 직접 영향을 주는 핵심 품질 요소입니다.

⚠️ 불확실하거나 확인이 필요한 부분

• 영상은 여러 앱에서의 시연 결과를 보여주지만, 운영체제별 지원 범위나 평균 응답 시간, 인식 성공률을 비교한 정식 벤치마크는 제시하지 않습니다.
• TradingView 차트에서 캔들과 fair value gap을 판독했지만, 해당 분석의 금융적 정확성이나 재현성은 별도로 검증되지 않았습니다.
• Steam 정보 집계에는 몇 분이 걸렸고 필요한 정보의 대부분을 복구했다고 설명하므로, 복잡한 화면 탐색의 완전성과 속도는 작업마다 달라질 수 있다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 설정에서 자신의 운영체제에 지정된 Toggle HUD Mode 단축키를 확인하고 HUD 진입과 복귀가 정상적으로 작동하는지 시험한다.
• X 게시물, 문서, 차트처럼 읽기 전용 화면에서 먼저 현재 앱 식별과 요약 정확도를 검증한다.
• 앱을 전환할 때마다 무엇이 보이는지 또는 어떤 앱으로 바뀌었는지 명시해 새 화면 문맥을 다시 읽도록 요청한다.
• 파일 가져오기나 음악 변경 같은 조작은 결과를 쉽게 확인하거나 되돌릴 수 있는 작은 작업부터 시험한다.

❓ 열린 질문

• HUD가 앱 전환을 자동으로 감지하도록 개선할 수 있는지, 아니면 사용자의 명시적 힌트가 계속 필요한가요?
• 화면 판독과 computer use는 어떤 운영체제, 앱, 다중 모니터 환경에서 동일한 수준으로 작동하나요?
• 민감한 문서나 계정 화면을 읽을 때 캡처 범위, 데이터 처리, 실행 권한을 사용자가 어떻게 통제할 수 있나요?