Claude Code Couldn''t Scrape the Web Until I Gave It This Skill

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Claude Code가 웹 가격 수집에 실패하던 문제를 스크래핑 API 사용법을 알려주는 스킬로 해결하고, 가격 비교·이력·구매 판단을 묶은 도구까지 만드는 과정을 보여준다.

📌 핵심 요점

1. 기본 웹 조회는 현재 가격을 보장하지 않았다. 시연에서 Claude Code는 Amazon의 봇 차단으로 실시간 페이지 대신 검색 인덱스를 참고해 실제 £7.64인 상품을 £24.99로 답했다.
2. 브라우저 자동화는 정확한 가격을 가져왔지만 연결 실패와 지연이 있었다. 성공한 조회에도 약 2분이 걸려, 발표자는 여러 판매처를 매시간 확인하는 용도로는 비효율적이라고 평가했다.
3. 설치한 플러그인은 웹 스크래핑과 가격 모니터링 두 스킬을 제공했다. 스킬은 작업에 맞는 API 사용법을 안내하고, CLI → 호스팅 MCP 서버 → HTTP API 순으로 사용 가능한 접점을 선택하도록 한다.
4. 같은 가격 조회는 설치·인증 후 1분 이내에 정확한 값을 반환했다. 이어 Claude Code는 Python으로 판매처 비교, 로컬 가격 이력, Reddit 의견, 구매·대기 판단을 담은 대시보드를 한 세션에서 구축했다.
5. 완성된 도구는 가격뿐 아니라 판매 조건도 구분했다. 품절·중고·제삼자 판매자와 무관한 상품을 걸러내고, Ninja Creami의 제조사 판매가 136.99를 찾아 정가 대비 약 40% 할인이라는 구매 판단을 제시했다.

🧩 배경과 문제 정의

영상은 Claude Code가 Amazon·Walmart·Target의 가격을 비교하고, 가격 이력과 Reddit 의견을 결합해 구매 여부를 판단하는 도구를 소개하며 시작한다. 발표자는 불과 두 시간 전에는 같은 에이전트가 상품 가격을 제대로 가져오지 못했다고 설명한다.

핵심 문제는 페이지를 가져오는 데 성공한 것처럼 보여도 필요한 가격이 누락될 수 있다는 점이다. 영상은 이를 소프트 블록으로 설명하며, 검색 인덱스에 있는 가격을 현재 가격처럼 사용하는 오류와 브라우저 자동화의 지연을 보여준다. 이후 외부 스크래핑 API를 사용하도록 안내하는 스킬을 설치하고, 단일 조회를 실제 가격 감시 도구로 확장한다.

🕒 시간순 섹션별 상세정리

1. 완성된 가격 감시 도구와 기본 조회의 오류

• 도입부에서 여러 판매처의 가격, 로컬 가격 이력, Reddit 의견을 모아 구매·대기를 판단하는 도구를 보여준다. 발표자는 Claude Code가 한 세션에서 모든 코드를 작성했다고 드러낸다. [00:50]
• Amazon 상품의 현재 가격을 요청하자 £24.99가 반환되지만, 화면에 표시된 실제 가격은 £7.64다. 에이전트는 직접 조회가 차단되어 검색 인덱스 자료를 사용했다고 보여준다. [01:45]
• 발표자는 필요한 가격만 빠진 페이지가 반환되고 뚜렷한 오류가 없어 재시도하기도 어렵다는 현상을 소프트 블록으로 보여준다. [02:06]

2. 브라우저 접근의 한계와 스킬 도입

• Chrome 연결은 반복해서 실패하고, 이후 브라우저 확장을 통한 조회는 약 2분 뒤 정확한 가격을 가져온다. 발표자는 여러 판매처를 매시간 감시하기에는 확장성이 부족하다고 평가한다. [03:04]
• 에이전트 스킬을 작업에 맞춰 로드하는 지침 묶음으로 보여준다. 소개된 스킬은 페이지 수집, 검색, 상품 목록, Reddit 조회에 외부 스크래핑 API를 사용하도록 안내한다. [03:58]
• 실행 경로는 CLI를 우선하고, 셸이 없으면 호스팅 MCP 서버, 둘 다 사용할 수 없으면 HTTP API로 전환하는 구조라고 보여준다. [04:20]

3. 플러그인 설치·인증과 같은 요청 재실행

• 마켓플레이스 추가와 플러그인 설치로 웹 스크래핑·가격 모니터링 두 스킬을 넣고 API 토큰을 준비한다. 이 과정에서 무료 요청 한도와 할인 코드도 보여준다. [05:06]
• 같은 상품 가격 요청에 에이전트가 가격 모니터링 스킬을 선택한다. CLI 설정으로 토큰을 등록한 뒤, 발표자 설명상 1분 이내에 정확한 가격을 얻고 반복 가격 기록도 제안받는다. [05:54]

4. 가격 비교·이력·Reddit을 묶는 도구 구축

• 한 번의 성공으로 끝내지 않고 Amazon·Walmart·Target 비교, 로컬 가격 이력, Reddit 의견, 구매·대기 판단을 담은 Python 기반 도구를 요청한다. 상품을 나중에 쉽게 추가하는 것도 요구한다. [06:42]
• 에이전트는 가격 조회와 Reddit 검색에 맞는 스킬을 선택하고, 가격 이력 테이블과 작은 대시보드를 구성한다. 발표자는 API가 구조화된 데이터를 반환하므로 코드에 별도 파싱 로직이 없다고 보여준다. [07:50]
• 서비스 대시보드에서 요청별 사용량, 성공률, 응답시간을 확인하고, 100개 이상의 수집 템플릿이 있는 플레이그라운드를 보여준다. [08:49]

5. 오래된 상품 링크를 발견하고 제조사 할인 확인

• 첫 실행에서 Amazon 상품은 구매 불가이고 Walmart 링크는 제삼자 판매자의 중고 상품으로 드러난다. 발표자는 비교 상품을 Ninja Creami로 바꾸고 설정 파일에 판매처 URL을 등록한다. [09:37]
• 세 판매처와 Google Shopping 검색을 함께 실행한다. Amazon·Target은 약 230, Walmart는 195로 나타나지만 Walmart 항목에는 실제 판매자가 Secure Hardware라는 경고가 붙는다. [10:22]
• 제조사 Shark Ninja의 판매가 136.99를 찾아 약 40% 할인으로 소개하고 구매 판단을 제시한다. 도구가 무관한 상품과 다른 변형 등 14개 항목도 제외했다고 보여준다. [10:42]

6. 대시보드 검증과 적용 범위 정리

• 로컬 대시보드는 구매 판단의 이유, 판매처별 가격, 제삼자 판매자 표시, 가격 이력과 Reddit 의견을 함께 보여준다. 별도 서버 없이 데이터에서 렌더링한 파일이며, 발표자는 Reddit 링크를 열어 실제 게시물인지 확인한다. [11:17]
• 발표자는 두 스킬 설치 이후 한 세션에서 감시 도구를 구축하고 오래된 상품 목록도 발견했다고 정리한다. 같은 스킬을 Cursor, Codex, Gemini CLI 등에서도 사용할 수 있다고 언급한다. [11:51]
• 마지막에는 무료 플랜을 1년간 최대 2,000회 요청으로 안내하고, 첫 유료 플랜 할인 코드와 설명란 링크를 소개하며 마무리한다. [12:12]

🧾 결론

• 이 사례에서 스킬의 역할은 에이전트에게 작업별 데이터 수집 경로와 절차를 알려주는 것이었다. 실제 웹 데이터 수집은 외부 스크래핑 서비스에 의존한다.
• 구조화된 응답을 받아 로컬 가격 이력과 대시보드로 연결하면서, 발표자가 보여준 애플리케이션에는 별도의 페이지 파싱 로직이 필요하지 않았다.
• 유용한 가격 비교에는 숫자 추출 외에도 재고 상태, 판매자, 중고 여부, 상품 변형을 구분하는 과정이 필요했다.
• 시연은 단일 조회에서 작동하는 도구로 확장한 사례다. 장기간 반복 실행의 안정성과 구매 판단의 정확성까지 입증한 결과로 보기는 어렵다.

📈 투자·시사 포인트

• 에이전트 활용에서는 코드 작성 능력과 함께 최신 외부 데이터를 확보하는 경로가 실용성을 좌우한다. 이 영상은 데이터 접근 실패가 도구 구축의 병목이 되는 사례를 보여준다.
• 스크래핑 API와 작업별 스킬의 결합은 가격 감시 같은 반복 업무를 구현하는 방식을 단순화할 수 있다. 도입 판단에는 호출 비용, 성공률, 응답시간을 함께 확인해야 한다.
• 최저 표시가만 비교하면 제삼자 판매자나 다른 상품 변형을 잘못 선택할 수 있다. 판매 조건을 구분하는 기능이 구매 판단의 핵심 요소로 드러난다.
• 영상에는 무료 요금제와 할인 코드 안내가 포함된다. 서비스의 효용을 평가할 때는 시연 결과와 홍보성 설명을 구분하고, 이 자료만으로 특정 기업의 투자 가치를 판단하지 않는 것이 적절하다.

⚠️ 불확실하거나 확인이 필요한 부분

• 서비스명이 자막에서 Decodr, Decodable, Decoda 등으로 혼재한다. 정확한 서비스명, 플러그인 식별자, 설치 명령은 제공된 자막만으로 확정하기 어렵다.
• 발표자는 요청당 비용을 1센트 미만으로 설명하지만, 사용량 화면에서는 Amazon 대상 비용을 2센트라고 언급한다. 단일 요청과 누적 사용량 중 어느 기준인지 확인이 필요하다.
• 무료 요금제는 최대 2,000회 요청이며 마지막에는 1년이라는 조건이 추가된다. 현재 적용 조건과 유료 전환 시 비용은 영상만으로 확인할 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 영상 설명에 연결된 공식 자료에서 서비스명, 두 스킬의 이름, 설치 명령과 API 인증 절차를 확인한다.
• 동일한 상품 URL로 기본 조회와 스킬 적용 후 조회를 비교하고, 브라우저에 표시된 현재 가격과 일치하는지 기록한다.
• 가격 비교 대상의 모델·변형·신품 여부·재고·실제 판매자를 확인해 동등한 조건끼리 비교한다.
• 소수 상품으로 반복 조회를 실행해 가격 이력, 호출 수, 비용, 실패율과 응답시간을 점검한다.

❓ 열린 질문

• 상품 수와 조회 빈도가 늘어날 때, 브라우저 방식 대비 API 방식의 비용과 지연은 어떻게 달라지는가?
• 품절, 오래된 URL, 제삼자 판매자, 다른 상품 변형을 구분하는 로직은 다른 상품군에서도 안정적으로 작동하는가?
• 가격 이력이 충분히 쌓이기 전에는 어떤 기준으로 구매와 대기를 나누며, Reddit 의견에는 어느 정도의 비중을 부여하는가?