🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Hermes Agent + Decodo의 Web Scraping 결합은 일반 웹 검색이 막히는 X·YouTube·Amazon 같은 동적 플랫폼에서 실시간 리서치와 구조화 데이터 수집을 확장하는 실전형 접근이다.

📌 핵심 요점

1. Hermes Agent가 최신 AI 뉴스나 원문 데이터를 잘 다루려면 일반 검색보다 직접 웹 접근이 중요하며, 특히 603개 X 계정처럼 대규모 소스를 매일 추적할 때 검색 누락 문제가 커진다.
2. X, YouTube, Amazon 같은 플랫폼은 로그인 요구, CAPTCHA, Cloudflare, 안티봇 탐지 때문에 일반 에이전트 접근이 자주 실패하고, Decodo는 이런 차단 요소를 처리하는 스크래핑 API 역할을 한다.
3. Decodo는 universal web 템플릿과 basic auth token만으로 시작할 수 있고, Hermes Agent에서는 공식 문서 기반 helper script를 skill 형태로 바꿔 반복 호출 가능한 워크플로로 만들 수 있다.
4. Amazon 가격 비교 실험에서는 지역별 스크래핑 중 geo 파라미터 문제가 발생했지만, 에이전트가 문서를 참고해 우회책을 찾는 과정 자체가 반복 사용 시 실전 효율을 높이는 포인트로 제시됐다.
5. 영상 기준 실험 결과 Decodo는 평균 응답 4.7초, 2,700건 요청 비용 약 2.48달러, 성공률 99.3%로 소개됐지만, 비용·성공률·벤치마크 순위는 사용 조건과 대상 사이트에 따라 달라질 수 있어 별도 검증이 필요하다.

🧩 배경과 문제 정의

• Hermes Agent가 고품질 리서치 결과를 만들기 위해서는 실시간 웹 접근이 중요하지만, 일반 웹 검색만으로는 동적 페이지와 접근 제한이 많은 플랫폼을 안정적으로 다루기 어렵다.
• 특히 X, YouTube, Amazon처럼 로그인 요구, 봇 차단, Cloudflare 보호, CAPTCHA, ‘show more’ 버튼, 지역별 페이지 구조가 얽힌 서비스에서는 에이전트가 원문 데이터에 직접 접근하지 못하거나 일부 정보만 가져오는 문제가 발생한다.
• AI 뉴스 수집처럼 수백 개 계정의 최신 게시물을 매일 추적해야 하는 작업은 규모가 커질수록 수동 검색이나 일반 검색 결과만으로는 누락과 단편화가 커진다.
• Decodo의 웹 스크래핑 API를 Hermes Agent의 skill로 연결하면 트윗, YouTube, Reddit, 소프트 페이월 사이트, 전자상거래 페이지 등에서 구조화된 데이터 수집 워크플로를 만들 수 있다.
• 핵심 문제는 단순히 “웹을 긁을 수 있는가”가 아니라, 설정 난이도, 요청 비용, 템플릿 선택, 안티봇 우회 성능, 그리고 에이전트가 실패를 반복하면서 실전적인 우회책을 찾을 수 있는가에 있다.
• 검증 필요: 제공된 section-detail에는 07:50 이후 구간의 세부 발화가 포함되어 있지 않아, 영상 말미의 최종 결론이나 마무리 발언은 원문 transcript 추가 확인이 필요하다.

🕒 시간순 섹션별 상세정리

1. Hermes Agent에 웹 스크래핑을 붙여야 하는 이유

• Hermes Agent의 리서치 품질을 높이려면 실시간 웹 접근이 중요하며, 일반 검색보다 최신 정보와 원문 데이터에 직접 닿을 가능성이 커진다 [00:18]
• 발표자는 AI 뉴스를 추적하기 위해 603개 X 계정을 따라가고 있다고 설명하며, 이 정도 규모에서는 일반 웹 검색만으로 최신 게시물을 안정적으로 모으기 어렵다고 짚어 본다 [00:33]
• 공식 조직, AI 리더, 커뮤니티 계정의 업데이트는 실시간성이 높아 검색 결과에 늦게 반영되거나 누락될 수 있으므로, 에이전트가 직접 웹 데이터를 가져오는 능력이 필요해진다 [00:48]
• 일반 웹 검색 기반 에이전트는 X 페이지에서 ‘show more’를 누르지 못해 긴 트윗을 일부만 가져오거나, 로그인 화면에 막혀 실제 콘텐츠에 접근하지 못하는 경우가 많다 [01:31]
• 이런 한계 때문에 에이전트가 웹페이지의 실제 내용을 충분히 읽지 못하면, 리서치 결과도 단편적이거나 부정확해질 수 있다 [01:46]
• X와 YouTube는 실시간 뉴스 수집의 핵심 플랫폼이지만, 안티봇 탐지, Cloudflare 보호, CAPTCHA, 로그인 요구 때문에 자동화된 접근이 자주 차단된다 [02:09]
• Decodo API는 이런 접근 제한이 있는 웹사이트에서 데이터를 가져오기 위한 스크래핑 계층으로 소개되며, Hermes Agent와 연결하면 일반 검색보다 더 직접적인 데이터 수집 워크플로를 만들 수 있다 [02:24]

2. Hermes skill 설정과 Amazon 가격 비교 실험

• Decodo에는 Google, YouTube, Reddit, TikTok 등 여러 템플릿이 있지만, 발표자는 가장 단순한 시작점으로 universal web 템플릿을 선택한다 [03:14]
• 기본 인증 토큰만 있으면 Hermes Agent에 Decodo를 연결할 수 있으며, 별도의 복잡한 초기 설정 없이 skill 형태로 붙일 수 있다는 점이 중요하다 [03:29]
• 공식 문서의 helper script를 Python 파일로 쓰는 대신 skill.md 형태로 바꾸면, Hermes Agent가 일반 웹 검색 대신 스크래핑 skill을 호출해 쿼리를 처리할 수 있다 [03:49]
• 이 설정을 통해 에이전트는 Amazon 가격 비교처럼 일반 검색만으로는 안정적인 결과를 얻기 어려운 작업을 Decodo 스크래핑 요청으로 처리할 수 있게 된다 [04:04]
• 실험 중 최신 요청은 4건으로 집계됐고 평균 응답 시간은 4.7초 수준으로 나타나, 보호가 강한 웹사이트를 다루는 작업에서도 체감 속도는 비교적 빠른 편으로 드러난다 [05:07]
• 단순히 API 콘솔에 URL과 설정을 직접 넣는 방식보다, 에이전트가 실패와 오류를 만나며 해결책을 찾아가는 방식이 더 실용적일 수 있다고 보여준다 [05:29]
• 에이전트 방식은 시간이 조금 더 걸리더라도 사람이 직접 문서를 뒤지고 설정값을 반복 수정하는 부담을 줄여주며, 오류를 통해 skill 문서와 사용법을 개선할 여지를 만든다 [05:44]

3. 템플릿 선택, 비용 구조, 확장 판단

• Amazon 실험에서 확인된 핵심 오류는 도메인이 이미 지역 정보를 담고 있는데도 Decodo가 국가명 geo 대신 ZIP code를 요구한 점이었다 [07:03]
• 발표자는 이처럼 실제 사용 중 발견된 조건과 오류를 skill 문서에 추가해야 한다고 보며, 에이전트가 다음 요청에서 더 나은 우회책을 선택하도록 만드는 개선 흐름을 제안한다 [07:18]
• Amazon product template 같은 대상별 템플릿을 쓰면 universal web보다 구조화가 쉬워지고, 별도 우회책을 덜 만들어도 상품 데이터를 더 높은 성공률로 가져올 가능성이 커진다 [07:50]
• 따라서 Decodo를 Hermes Agent에 붙일 때는 처음에는 universal web으로 빠르게 실험하되, 반복 작업이나 특정 플랫폼 수집이 중요해지면 전용 템플릿과 비용 구조를 함께 검토하는 방향이 합리적이다 [08:05]
• 검증 필요: 제공된 section-detail 기준 마지막 확인 가능한 타임스탬프는 07:50이며, 전체 길이 10:22의 92% 이후에 해당하는 09:32 이후 마무리 논지는 입력 자료에 없어 별도 transcript 확인이 필요하다 [08:15]

4. X·YouTube 수집으로 본 요청량과 실제 비용

• YouTube도 X처럼 전용 템플릿은 없지만 universal web에 약간의 구조화와 프롬프트를 더하면 같은 방식으로 수집할 수 있다고 보여준다 [08:20]
• 603개 계정에서 최신 트윗 15개씩 긁는 작업은 요청 수가 많이 발생하지만, 하루 단위로는 여전히 비교적 저렴한 편이라고 평가한다 [08:36]
• 한 달 동안 같은 작업을 돌리면 약 16달러 50센트가 필요해 무료 플랜만으로는 부족하고 최소 19달러 플랜이 필요하다는 계산이 나온다 [08:49]
• 발표자는 99달러 플랜을 선택했지만 실제로는 지금까지 2,700건 요청에 약 2달러 48센트만 썼고 성공률도 99.3%라고 정리한다 [09:01]

5. 가장 빠른 시작법과 최종 추천

• 비슷한 시스템을 만들고 싶다면 무료 플랜으로 시작해 basic auth token을 받고, 수동 설정을 줄이려면 Decodo 공식 문서를 에이전트에게 먹여 설정을 맡기라고 권한다 [09:21]
• 사용자가 직접 해야 할 핵심 작업은 basic auth token을 .env 파일에 붙여 넣는 정도라고 보여준다 [09:35]
• Decodo가 Proxyway 웹 스크래핑 API 벤치마크에서 15개 보호 대상 기준 성공률 2위로 평가됐기 때문에, 발표자는 이 도구를 매우 신뢰한다고 드러낸다 [09:42]
• 마지막으로 무료 플랜은 1년 동안 2,000건 요청과 무카드 조건을 제공하며, 확장할 준비가 되면 유료 플랜을 쓰고 실제로 무언가를 만들어보라고 마무리한다 [10:02]

🧾 결론

• 이 영상의 핵심은 Hermes Agent에 Decodo 웹 스크래핑 API를 붙이면 일반 검색만으로 접근하기 어려운 실시간·동적 웹 데이터를 더 안정적으로 수집할 수 있다는 점이다.
• 특히 X 계정 대량 모니터링, YouTube·Reddit 추적, 소프트 페이월 사이트 확인, Amazon 같은 전자상거래 페이지 비교처럼 반복적이고 차단이 잦은 리서치 작업에 유용한 구조로 설명된다.
• 다만 universal web 템플릿만으로 모든 문제가 해결되는 것은 아니며, Amazon 사례처럼 지역 파라미터나 ZIP code 요구사항 같은 사이트별 예외를 skill 문서와 운영 지식으로 축적해야 한다.
• 검증 필요 항목은 Decodo의 실제 성공률, Proxyway 벤치마크 순위, 월간 운영 비용 추정, 특정 사이트별 스크래핑 허용 범위이며, 영상에서 제시된 수치는 발표자 실험과 화면 기준으로 이해하는 편이 안전하다.

📈 투자·시사 포인트

• AI 리서치 자동화 관점에서는 검색 API보다 스크래핑 API의 가치가 커질 수 있다. 최신 게시물, 상품 가격, 커뮤니티 반응처럼 검색 색인에 늦게 반영되거나 일부만 노출되는 데이터가 경쟁력이 되기 때문이다.
• 비용 구조는 초기 실험에는 우호적이다. 영상 기준 Decodo 무료 플랜은 1년 2,000요청을 제공하지만, 603개 X 계정에서 최신 트윗 15개씩 수집하는 수준으로 확장하면 유료 플랜 검토가 필요하다.
• 운영 전략은 universal web으로 빠르게 시작하되, Amazon product template처럼 대상별 템플릿을 활용해 성공률과 구조화 품질을 높이는 방향이 합리적이다.
• 에이전트 기반 워크플로의 장점은 단순 자동 호출이 아니라 오류 원인 분석, 문서 탐색, 우회책 기록을 반복하면서 스크래핑 운영 노하우가 skill에 누적된다는 점이다.
• 리스크는 법적·약관상 허용 범위, 사이트별 차단 정책 변화, 요청량 증가에 따른 비용, 수집 데이터의 정확성 검증이다. 실제 도입 전에는 대상 사이트별 테스트와 비용 상한 설정이 필요하다.

⚠️ 불확실하거나 확인이 필요한 부분

• Decodo 무료 플랜이 “1년 동안 2,000요청”을 제공하고 신용카드 없이 활성화된다는 설명은 영상 내 주장 기준이므로, 실제 현재 플랜 조건은 Decodo 공식 가격/가입 페이지에서 재확인이 필요하다.
• Amazon 실험에서 일본 마켓플레이스의 새 제품 가격이 244달러로 가장 낮게 나왔다는 결과는 특정 시점의 스크래핑 결과이며, 상품 옵션·배송비·환율·판매자 상태에 따라 달라질 수 있다.
• 2,700건 요청에 약 2달러 48센트, 성공률 99.3%, 월 16달러 50센트 추정치는 영상에서 제시된 사용 패턴 기준으로 보이며, 실제 운영 비용은 요청량·템플릿·프록시 풀·실패 재시도에 따라 검증해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• Decodo 공식 문서에서 universal web 템플릿, YouTube/X/Reddit/Amazon 관련 템플릿, 인증 방식, 요청 파라미터를 확인한다.
• Hermes Agent skill 문서에 Amazon 지역 도메인 사용 시 geo 대신 ZIP code가 필요할 수 있다는 주의사항을 추가한다.
• 무료 플랜 조건, 유료 플랜 가격, 요청당 비용, 월간 예상 요청량을 현재 기준으로 다시 계산한다.
• X 계정 603개에서 최신 트윗 15개씩 수집하는 워크플로를 바로 운영하기 전에 소규모 샘플로 성공률·비용·응답 시간을 측정한다.

❓ 열린 질문

• Hermes Agent의 기본 리서치 흐름에서 일반 웹 검색과 Decodo 스크래핑 skill을 어떤 기준으로 자동 전환할 것인가?
• X, YouTube, Reddit, Amazon처럼 사이트별 차이가 큰 경우 universal web 템플릿을 기본으로 둘지, 각 플랫폼 전용 템플릿을 우선할지 결정이 필요하다.
• 603개 X 계정 추적처럼 요청량이 큰 작업에서 실패 재시도, 중복 제거, 캐시, 요청 간격을 어떻게 설계해야 비용을 안정적으로 통제할 수 있을까?