YouTube편집자P·2026년 6월 24일·0

[시즌 3] 온갖 크롤링 코드 안녕~ 공개된 페이지를 모두 긁어버리는 Insane-search(thanks to 지피타쿠)

Quick Summary

Insane search는 브라우저에서 보이는 공개된 페이지를 Claude Code 같은 에이전트가 공개 접근 범위 안에서 더 안정적으로 수집하도록 돕는 플러그인이다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

[시즌 3] 온갖 크롤링 코드 안녕~ 공개된 페이지를 모두 긁어버리는 Insane-search(thanks to 지피타쿠) 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

[시즌 3] 온갖 크롤링 코드 안녕~ 공개된 페이지를 모두 긁어버리는 Insane-search(thanks to 지피타쿠) 내용을 설명하는 본문 이미지

💡 한 줄 결론

Insane-search는 브라우저에서 보이는 공개된 페이지를 Claude Code 같은 에이전트가 공개 접근 범위 안에서 더 안정적으로 수집하도록 돕는 플러그인이다.

📌 핵심 요점

  1. Insane Search의 핵심 문제의식은 사람이 브라우저로 볼 수 있는 공개 웹페이지도 에이전트가 접근하면 403 차단, 자막 미수집, 상품 데이터 누락이 발생한다는 데 있다.
  2. 영상은 이 도구가 로그인, 결제, 비공개 영역을 우회하는 목적이 아니라 공개적으로 접근 가능한 데이터만 다루는 도구라는 경계를 반복해서 강조한다.
  3. 테스트는 YouTube 자막·메타데이터 수집, 네이버 쇼핑 핫딜 CSV 저장, 알리익스프레스 상품 수집처럼 실제 업무에 가까운 사례 중심으로 진행된다.
  4. Insane Search는 내부 API 탐색, 본문 수집, bash 명령, Playwright 브라우저 실행 등 여러 접근 방식을 자동으로 시도해 사용자가 반복 지시해야 하는 시행착오를 줄인다.
  5. 네이버 쇼핑에서는 308개 상품이 중복 제거 후 수집된 것으로 확인되고, 알리익스프레스에서는 보탐지와 차단이 강한 환경에서도 상품 피드 API나 브라우저 자동화를 통해 접근을 시도하는 흐름이 나온다.

🧩 배경과 문제 정의

  • 브라우저에서는 정상적으로 보이는 공개 웹페이지라도 Claude Code나 Codex 같은 에이전트가 접근하면 403 차단, 자막 미수집, 상품 데이터 누락 같은 문제가 발생할 수 있다.
  • 이 영상은 이런 상황에서 매번 사이트별 크롤링 코드를 새로 짜지 않고, 에이전트가 공개 페이지의 데이터를 더 안정적으로 가져올 수 있는지 확인하는 흐름으로 구성된다.
  • Insane Search는 브라우저에서 공개적으로 볼 수 있는 페이지를 단계적으로 탐색해 가져오려는 Claude Code 플러그인으로 소개된다.
  • 핵심 경계는 로그인, 결제, 비공개 영역, 유료 콘텐츠를 우회하는 것이 아니라 공개 접근 가능한 데이터만 다룬다는 점이다.
  • 테스트는 YouTube 메타데이터와 자막, 네이버 쇼핑 핫딜, 쿠팡 또는 알리익스프레스 상품 정보처럼 실제 업무에서 자주 부딪히는 데이터 수집 상황을 중심으로 진행된다.
  • 검증이 필요한 지점은 Claude Desktop에서의 플러그인 표시 여부, CSV 파일 저장 위치와 실제 생성 여부, 특정 쇼핑몰에서 보탐지나 차단을 넘어 실제로 어느 수준까지 데이터 수집이 가능한지다.

🕒 시간순 섹션별 상세정리

1. 공개 웹페이지 접근 문제와 Insane Search의 원칙

  • Insane Search는 커뮤니티에서 언급이 많았던 도구로 소개되며, 브라우저로 볼 수 있는 공개 페이지라면 Claude Code 같은 에이전트도 접근할 수 있어야 한다는 문제의식에서 출발한다 [00:06]
  • “공개 웹페이지라면 결국 가져와서 본다”는 강한 표현이 나오지만, 이는 숨겨진 데이터 탈취나 불법 우회가 아니라 사용자가 브라우저에서 정상적으로 볼 수 있는 범위를 대상으로 한다는 의미로 압축된다 [00:38]

2. 테스트 범위와 한국산 플러그인 응원 맥락

  • 영상의 테스트 범위는 YouTube 메타데이터와 자막 가져오기, 네이버 검색 또는 쇼핑 데이터 수집, 쿠팡 검색 등 실제 활용 가능성이 있는 작업들로 잡힌다 [02:19]
  • Insane Search는 공개된 데이터를 가져오는 도구로 설명되며, 비밀 콘텐츠, 로그인 필요 콘텐츠, 유료 콘텐츠를 불법적으로 우회하는 도구가 아니라는 경계가 다시 확인된다 [02:35]

3. Claude Code 환경 준비와 플러그인 설치

  • Insane Search만 따로 테스트하기 위해 별도 디렉토리를 만들고, mkdir 또는 폴더 생성 기능으로 lab-insane-search 같은 작업 폴더를 준비한다 [03:47]
  • 작업 폴더로 이동한 뒤 Claude Code를 실행하고, 실험용 세션에서 권한 스킵 옵션을 붙여 테스트 환경을 시작한다 [04:16]

4. YouTube 자막 추출과 학습 활용

  • 첫 테스트로 자막 작업이 완료된 YouTube 영상을 대상으로 삼고, 해당 영상 URL에서 자막을 가져오라는 요청을 Claude Code에 전달한다 [06:35]
  • Insane Search 플러그인과 관련 스킬이 자동으로 활성화되며, YouTube 메타데이터와 한국어 자동 생성 자막을 가져오는 흐름이 진행된다 [07:02]

5. 네이버 쇼핑 핫딜 수집과 자동 탐색 과정

  • 이어서 네이버 쇼핑의 최저가·핫딜 영역에서 키즈, 라이프, 푸드 관련 상품 정보를 모두 가져와 정리하고 CSV 파일로 저장하는 작업이 시도된다 [08:08]
  • 기존 Bright Data 쪽에는 네이버가 별도로 없어 처리하기 어려웠던 한국 쇼핑 데이터도 Insane Search를 쓰면 접근 가능할 수 있다는 기대가 드러난다 [08:45]

6. CSV 확인과 쿠팡 테스트로의 전환

  • 진행 중 Claude Code에서 사용하는 방식이 더 안정적으로 보인다는 평가가 나오고, Claude Desktop 플러그인 관리 화면에서는 Insane Search가 바로 보이지 않아 추가 확인이 필요한 상황이 나온다 [10:45]
  • CSV 저장 완료 메시지가 나온 뒤 API overload가 발생하고, Finder에서 파일이 바로 보이지 않아 실제 저장 여부와 위치를 다시 확인하는 흐름으로 계속된다 [11:09]

7. 알리익스프레스 상품 수집 테스트와 내부 API 탐색

  • 해외 사이트 검증 대상으로 알리익스프레스가 선택되고, 식료품 페이지에서 약 100개 상품을 가져와 CSV로 저장하는 테스트가 시작된다 [12:08]
  • 알리익스프레스는 페이지 진입 과정에서 이상한 화면과 보탐지가 발생해 일반적인 크롤링 방식으로는 잘 되지 않는 사례로 다뤄진다 [12:21]

8. 보탐지 한계와 가격 비교·상품 업무에서의 활용 가치

  • 같은 작업을 직접 구현하면 에러와 차단 때문에 매우 번거로울 수 있으며, 상품 사업이나 가격 비교 업무에서는 Insane Search의 자동 시도 방식이 큰 효율을 만들 수 있다고 드러난다 [14:29]
  • 에러가 계속 나더라도 실패를 곧바로 확정하지 않고 여러 방법을 반복해서 시도하며, 끝까지 안 되면 왜 안 되는지까지 확인하는 방향으로 진행된다 [14:48]

9. 브라우저 실행까지 이어지는 자동화와 일상 업무 활용 권장

  • 알리익스프레스 테스트에서 난도가 높아지자 플레이라이트로 실제 웹브라우저를 띄워 작업하는 단계까지 이동하고, 사람이 직접 바이브 코딩으로 처리해야 했던 시행착오를 도구가 대신 수행하는 모습이 중요하다 [16:01]
  • 유료 광고가 아니냐는 오해와 달리 별도 대가나 결제 구조는 없고, 사용 비용은 Claude Code 구독 사용량 안에서 처리되는 형태로 언급되며, 공개 데이터 기반 반복 업무에 활용해볼 만한 도구로 마무리된다 [16:25]

🧾 결론

  • 이 영상에서 Insane-search는 단순한 크롤링 코드 대체물이 아니라, 공개 웹페이지를 에이전트 업무 흐름 안으로 가져오기 위한 실사용형 검색·수집 도구로 소개된다.
  • 특히 YouTube 자막 추출, 쇼핑몰 가격·상품 수집, CSV 정리처럼 반복적이고 번거로운 정보 수집 업무에서 효율을 높일 수 있는 가능성이 강조된다.
  • 다만 영상은 공개 접근 가능한 데이터만 다뤄야 한다는 원칙을 분명히 하며, 로그인·결제·비공개 콘텐츠 우회를 정당화하는 도구로 설명하지 않는다.
  • Claude Code 환경에서는 설치와 실행 흐름이 비교적 안정적으로 보였지만, Claude Desktop 플러그인 관리 화면에서는 바로 확인되지 않아 추가 확인이 필요하다는 장면도 나온다.
  • 검증 필요: 쿠팡 테스트의 최종 성과, 사이트별 약관 준수 여부, 각 쇼핑몰의 차단 정책 변화에 따른 지속 가능성은 영상 내용만으로 확정할 수 없으므로 실제 적용 전 별도 확인이 필요하다.

📈 투자·시사 포인트

  • 직접적인 투자 판단 근거나 특정 기업의 실적 전망은 영상에 제시되지 않았지만, 공개 웹데이터 수집 자동화 수요가 커지고 있다는 시사점은 읽을 수 있다.
  • 쇼핑몰 가격 비교, 핫딜 모니터링, 상품 구성 분석처럼 반복 수집이 많은 업무에서는 Insane-search 같은 에이전트 보조 도구가 생산성 차이를 만들 수 있다.
  • Bright Data처럼 기존 데이터 수집 인프라가 커버하지 못하는 한국 플랫폼 데이터에 접근 가능성이 생긴다면, 국내 커머스·마케팅 실무에서 활용 여지가 커질 수 있다.
  • 보탐지와 403 차단이 늘어나는 환경에서는 단순 스크래핑 코드보다 내부 API 탐색, 브라우저 자동화, 실패 원인 분석을 묶어 처리하는 도구의 가치가 높아질 수 있다.
  • 검증 필요: 영상에서 언급된 “공개된 페이지를 가져온다”는 활용 가능성은 사이트별 정책, 기술적 차단, 법적 해석에 따라 달라질 수 있으므로 상업적 사용 전에는 범위와 책임을 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

  • Insane Search가 “공개된 페이지”만 다룬다는 원칙은 영상에서 반복 설명되지만, 실제 각 사이트의 이용약관·robots 정책·API 사용 조건까지 검증된 것은 아니므로 사이트별 확인이 필요하다.
  • Claude Desktop에서는 플러그인 관리 화면에 Insane Search가 바로 보이지 않았다고 언급되어, Claude Code 외 환경에서의 지원 여부와 설치 방식은 추가 확인이 필요하다.
  • 네이버 쇼핑 핫딜 CSV는 결과 파일이 뒤늦게 확인되고 실제 상품명이 들어 있었다고 나오지만, 전체 308개 상품의 정확도·중복 제거 품질·가격 최신성은 별도 검증이 필요하다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • Insane Search를 실험용 디렉토리에서 설치하고 reload plugin 이후 Claude Code 세션에서 정상 활성화되는지 확인한다.
  • 유튜브 URL을 대상으로 메타데이터와 한국어 자동 생성 자막을 가져오는 테스트를 먼저 수행하고, 자막 누락·타임스탬프 품질을 점검한다.
  • 네이버 쇼핑 핫딜 수집 테스트를 재현해 CSV 생성 위치, 상품 수, 중복 제거 결과, 실제 페이지와의 상품명 일치 여부를 확인한다.
  • 쿠팡처럼 403 차단이 잦은 사이트는 수집 성공 여부뿐 아니라 실패 시 어떤 단계에서 막히는지 로그로 남깁니다.

❓ 열린 질문

  • Insane Search가 Claude Code에서는 동작하지만 Claude Desktop에서는 바로 보이지 않는 이유는 무엇이며, 공식적으로 지원되는 실행 환경은 어디까지인가요?
  • 쿠팡 테스트는 실제로 성공했는지, 성공했다면 어떤 데이터 범위까지 가져왔고 몇 번 조회 후 차단 문제가 발생했나요?
  • 네이버 쇼핑에서 수집된 308개 상품은 어떤 기준으로 중복 제거되었고, 가격·카테고리·링크 필드는 얼마나 안정적으로 채워졌나요?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.