[시즌 3] 온갖 크롤링 코드 안녕~ 공개된 페이지를 모두 긁어버리는 Insane-search(thanks to 지피타쿠)
Quick Summary
Insane search는 브라우저에서 보이는 공개된 페이지를 Claude Code 같은 에이전트가 공개 접근 범위 안에서 더 안정적으로 수집하도록 돕는 플러그인이다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 결론
Insane-search는 브라우저에서 보이는 공개된 페이지를 Claude Code 같은 에이전트가 공개 접근 범위 안에서 더 안정적으로 수집하도록 돕는 플러그인이다.
📌 핵심 요점
- Insane Search의 핵심 문제의식은 사람이 브라우저로 볼 수 있는 공개 웹페이지도 에이전트가 접근하면 403 차단, 자막 미수집, 상품 데이터 누락이 발생한다는 데 있다.
- 영상은 이 도구가 로그인, 결제, 비공개 영역을 우회하는 목적이 아니라 공개적으로 접근 가능한 데이터만 다루는 도구라는 경계를 반복해서 강조한다.
- 테스트는 YouTube 자막·메타데이터 수집, 네이버 쇼핑 핫딜 CSV 저장, 알리익스프레스 상품 수집처럼 실제 업무에 가까운 사례 중심으로 진행된다.
- Insane Search는 내부 API 탐색, 본문 수집, bash 명령, Playwright 브라우저 실행 등 여러 접근 방식을 자동으로 시도해 사용자가 반복 지시해야 하는 시행착오를 줄인다.
- 네이버 쇼핑에서는 308개 상품이 중복 제거 후 수집된 것으로 확인되고, 알리익스프레스에서는 보탐지와 차단이 강한 환경에서도 상품 피드 API나 브라우저 자동화를 통해 접근을 시도하는 흐름이 나온다.
🧩 배경과 문제 정의
- 브라우저에서는 정상적으로 보이는 공개 웹페이지라도 Claude Code나 Codex 같은 에이전트가 접근하면 403 차단, 자막 미수집, 상품 데이터 누락 같은 문제가 발생할 수 있다.
- 이 영상은 이런 상황에서 매번 사이트별 크롤링 코드를 새로 짜지 않고, 에이전트가 공개 페이지의 데이터를 더 안정적으로 가져올 수 있는지 확인하는 흐름으로 구성된다.
- Insane Search는 브라우저에서 공개적으로 볼 수 있는 페이지를 단계적으로 탐색해 가져오려는 Claude Code 플러그인으로 소개된다.
- 핵심 경계는 로그인, 결제, 비공개 영역, 유료 콘텐츠를 우회하는 것이 아니라 공개 접근 가능한 데이터만 다룬다는 점이다.
- 테스트는 YouTube 메타데이터와 자막, 네이버 쇼핑 핫딜, 쿠팡 또는 알리익스프레스 상품 정보처럼 실제 업무에서 자주 부딪히는 데이터 수집 상황을 중심으로 진행된다.
- 검증이 필요한 지점은 Claude Desktop에서의 플러그인 표시 여부, CSV 파일 저장 위치와 실제 생성 여부, 특정 쇼핑몰에서 보탐지나 차단을 넘어 실제로 어느 수준까지 데이터 수집이 가능한지다.
🕒 시간순 섹션별 상세정리
1. 공개 웹페이지 접근 문제와 Insane Search의 원칙
- Insane Search는 커뮤니티에서 언급이 많았던 도구로 소개되며, 브라우저로 볼 수 있는 공개 페이지라면 Claude Code 같은 에이전트도 접근할 수 있어야 한다는 문제의식에서 출발한다 [00:06]
- “공개 웹페이지라면 결국 가져와서 본다”는 강한 표현이 나오지만, 이는 숨겨진 데이터 탈취나 불법 우회가 아니라 사용자가 브라우저에서 정상적으로 볼 수 있는 범위를 대상으로 한다는 의미로 압축된다 [00:38]
2. 테스트 범위와 한국산 플러그인 응원 맥락
- 영상의 테스트 범위는 YouTube 메타데이터와 자막 가져오기, 네이버 검색 또는 쇼핑 데이터 수집, 쿠팡 검색 등 실제 활용 가능성이 있는 작업들로 잡힌다 [02:19]
- Insane Search는 공개된 데이터를 가져오는 도구로 설명되며, 비밀 콘텐츠, 로그인 필요 콘텐츠, 유료 콘텐츠를 불법적으로 우회하는 도구가 아니라는 경계가 다시 확인된다 [02:35]
3. Claude Code 환경 준비와 플러그인 설치
- Insane Search만 따로 테스트하기 위해 별도 디렉토리를 만들고,
mkdir또는 폴더 생성 기능으로lab-insane-search같은 작업 폴더를 준비한다 [03:47] - 작업 폴더로 이동한 뒤 Claude Code를 실행하고, 실험용 세션에서 권한 스킵 옵션을 붙여 테스트 환경을 시작한다 [04:16]
4. YouTube 자막 추출과 학습 활용
- 첫 테스트로 자막 작업이 완료된 YouTube 영상을 대상으로 삼고, 해당 영상 URL에서 자막을 가져오라는 요청을 Claude Code에 전달한다 [06:35]
- Insane Search 플러그인과 관련 스킬이 자동으로 활성화되며, YouTube 메타데이터와 한국어 자동 생성 자막을 가져오는 흐름이 진행된다 [07:02]
5. 네이버 쇼핑 핫딜 수집과 자동 탐색 과정
- 이어서 네이버 쇼핑의 최저가·핫딜 영역에서 키즈, 라이프, 푸드 관련 상품 정보를 모두 가져와 정리하고 CSV 파일로 저장하는 작업이 시도된다 [08:08]
- 기존 Bright Data 쪽에는 네이버가 별도로 없어 처리하기 어려웠던 한국 쇼핑 데이터도 Insane Search를 쓰면 접근 가능할 수 있다는 기대가 드러난다 [08:45]
6. CSV 확인과 쿠팡 테스트로의 전환
- 진행 중 Claude Code에서 사용하는 방식이 더 안정적으로 보인다는 평가가 나오고, Claude Desktop 플러그인 관리 화면에서는 Insane Search가 바로 보이지 않아 추가 확인이 필요한 상황이 나온다 [10:45]
- CSV 저장 완료 메시지가 나온 뒤 API overload가 발생하고, Finder에서 파일이 바로 보이지 않아 실제 저장 여부와 위치를 다시 확인하는 흐름으로 계속된다 [11:09]
7. 알리익스프레스 상품 수집 테스트와 내부 API 탐색
- 해외 사이트 검증 대상으로 알리익스프레스가 선택되고, 식료품 페이지에서 약 100개 상품을 가져와 CSV로 저장하는 테스트가 시작된다 [12:08]
- 알리익스프레스는 페이지 진입 과정에서 이상한 화면과 보탐지가 발생해 일반적인 크롤링 방식으로는 잘 되지 않는 사례로 다뤄진다 [12:21]
8. 보탐지 한계와 가격 비교·상품 업무에서의 활용 가치
- 같은 작업을 직접 구현하면 에러와 차단 때문에 매우 번거로울 수 있으며, 상품 사업이나 가격 비교 업무에서는 Insane Search의 자동 시도 방식이 큰 효율을 만들 수 있다고 드러난다 [14:29]
- 에러가 계속 나더라도 실패를 곧바로 확정하지 않고 여러 방법을 반복해서 시도하며, 끝까지 안 되면 왜 안 되는지까지 확인하는 방향으로 진행된다 [14:48]
9. 브라우저 실행까지 이어지는 자동화와 일상 업무 활용 권장
- 알리익스프레스 테스트에서 난도가 높아지자 플레이라이트로 실제 웹브라우저를 띄워 작업하는 단계까지 이동하고, 사람이 직접 바이브 코딩으로 처리해야 했던 시행착오를 도구가 대신 수행하는 모습이 중요하다 [16:01]
- 유료 광고가 아니냐는 오해와 달리 별도 대가나 결제 구조는 없고, 사용 비용은 Claude Code 구독 사용량 안에서 처리되는 형태로 언급되며, 공개 데이터 기반 반복 업무에 활용해볼 만한 도구로 마무리된다 [16:25]
🧾 결론
- 이 영상에서 Insane-search는 단순한 크롤링 코드 대체물이 아니라, 공개 웹페이지를 에이전트 업무 흐름 안으로 가져오기 위한 실사용형 검색·수집 도구로 소개된다.
- 특히 YouTube 자막 추출, 쇼핑몰 가격·상품 수집, CSV 정리처럼 반복적이고 번거로운 정보 수집 업무에서 효율을 높일 수 있는 가능성이 강조된다.
- 다만 영상은 공개 접근 가능한 데이터만 다뤄야 한다는 원칙을 분명히 하며, 로그인·결제·비공개 콘텐츠 우회를 정당화하는 도구로 설명하지 않는다.
- Claude Code 환경에서는 설치와 실행 흐름이 비교적 안정적으로 보였지만, Claude Desktop 플러그인 관리 화면에서는 바로 확인되지 않아 추가 확인이 필요하다는 장면도 나온다.
- 검증 필요: 쿠팡 테스트의 최종 성과, 사이트별 약관 준수 여부, 각 쇼핑몰의 차단 정책 변화에 따른 지속 가능성은 영상 내용만으로 확정할 수 없으므로 실제 적용 전 별도 확인이 필요하다.
📈 투자·시사 포인트
- 직접적인 투자 판단 근거나 특정 기업의 실적 전망은 영상에 제시되지 않았지만, 공개 웹데이터 수집 자동화 수요가 커지고 있다는 시사점은 읽을 수 있다.
- 쇼핑몰 가격 비교, 핫딜 모니터링, 상품 구성 분석처럼 반복 수집이 많은 업무에서는 Insane-search 같은 에이전트 보조 도구가 생산성 차이를 만들 수 있다.
- Bright Data처럼 기존 데이터 수집 인프라가 커버하지 못하는 한국 플랫폼 데이터에 접근 가능성이 생긴다면, 국내 커머스·마케팅 실무에서 활용 여지가 커질 수 있다.
- 보탐지와 403 차단이 늘어나는 환경에서는 단순 스크래핑 코드보다 내부 API 탐색, 브라우저 자동화, 실패 원인 분석을 묶어 처리하는 도구의 가치가 높아질 수 있다.
- 검증 필요: 영상에서 언급된 “공개된 페이지를 가져온다”는 활용 가능성은 사이트별 정책, 기술적 차단, 법적 해석에 따라 달라질 수 있으므로 상업적 사용 전에는 범위와 책임을 확인해야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- Insane Search가 “공개된 페이지”만 다룬다는 원칙은 영상에서 반복 설명되지만, 실제 각 사이트의 이용약관·robots 정책·API 사용 조건까지 검증된 것은 아니므로 사이트별 확인이 필요하다.
- Claude Desktop에서는 플러그인 관리 화면에 Insane Search가 바로 보이지 않았다고 언급되어, Claude Code 외 환경에서의 지원 여부와 설치 방식은 추가 확인이 필요하다.
- 네이버 쇼핑 핫딜 CSV는 결과 파일이 뒤늦게 확인되고 실제 상품명이 들어 있었다고 나오지만, 전체 308개 상품의 정확도·중복 제거 품질·가격 최신성은 별도 검증이 필요하다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- Insane Search를 실험용 디렉토리에서 설치하고
reload plugin이후 Claude Code 세션에서 정상 활성화되는지 확인한다. - 유튜브 URL을 대상으로 메타데이터와 한국어 자동 생성 자막을 가져오는 테스트를 먼저 수행하고, 자막 누락·타임스탬프 품질을 점검한다.
- 네이버 쇼핑 핫딜 수집 테스트를 재현해 CSV 생성 위치, 상품 수, 중복 제거 결과, 실제 페이지와의 상품명 일치 여부를 확인한다.
- 쿠팡처럼 403 차단이 잦은 사이트는 수집 성공 여부뿐 아니라 실패 시 어떤 단계에서 막히는지 로그로 남깁니다.
❓ 열린 질문
- Insane Search가 Claude Code에서는 동작하지만 Claude Desktop에서는 바로 보이지 않는 이유는 무엇이며, 공식적으로 지원되는 실행 환경은 어디까지인가요?
- 쿠팡 테스트는 실제로 성공했는지, 성공했다면 어떤 데이터 범위까지 가져왔고 몇 번 조회 후 차단 문제가 발생했나요?
- 네이버 쇼핑에서 수집된 308개 상품은 어떤 기준으로 중복 제거되었고, 가격·카테고리·링크 필드는 얼마나 안정적으로 채워졌나요?