Introducing Universal Scrape

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Firecrawl의 Universal Scrape는 기존 /scrape 엔드포인트에서 웹 페이지·파일과 Alexandria의 지원 제공업체 데이터를 함께 가져와 AI 에이전트의 데이터 연동 부담을 줄인다.

📌 핵심 요약

• Universal Scrape는 기존 /scrape를 확장해 웹 페이지, PDF, 이미지와 URL로 제공되는 Word 문서·스프레드시트·프레젠테이션을 처리하며, Firecrawl이 렌더링·재시도·파싱을 담당한다.
• Alexandria에는 200개 이상의 제공업체가 있으며, Universal Scrape는 그중 점차 확대되는 일부를 지원한다. Apollo·FullEnrich·Data Legion의 인물·기업 프로필, Fiscal.ai·Benzinga의 금융 정보, Particle의 팟캐스트 검색·조회·전사문 등이 소개된다.
• 웹 페이지와 지원 문서는 URL로 요청하고, 제공업체 데이터는 같은 /scrape에서 지원되는 Alexandria 기능을 호출한다. 일부 지원 프로필 URL은 설정된 정보 보강 제공업체로 직접 연결되며, 제공업체 호출은 도구별 표시 가격에 따라 Firecrawl 크레딧으로 과금된다.
• 예제는 같은 클라이언트로 웹 페이지의 markdown을 가져오고 Particle에서 'AI agents' 관련 팟캐스트를 검색해 일치하는 전사문 구간을 반환한다. 최신 firecrawl SDK와 FIRECRAWL_API_KEY가 필요하며, 팟캐스트 호출 전에 조직 관리자가 Particle의 제공업체 약관에 동의해야 한다.
• 기존 Firecrawl API 키를 계속 사용할 수 있고, ChatGPT·Codex용 Firecrawl 플러그인, Claude 연결, Claude Code 플러그인, API, MCP, CLI로 접근할 수 있다. Firecrawl은 새로운 데이터 소스를 추가할 때 별도 연동의 유지 부담이 늘어나지 않도록 /scrape의 접근 범위를 계속 확장할 계획이다.

🧩 주요 포인트

1. 기존 /scrape와 Firecrawl API 키 유지 → 웹·문서 처리에 제공업체 데이터를 추가하면서 기존 사용 흐름을 이어갈 수 있다.
2. Alexandria의 200개 이상 제공업체 중 일부만 지원 → 전체 제공업체 목록과 Universal Scrape에서 실제 호출 가능한 범위를 구분해야 한다.
3. 도구별 Firecrawl 크레딧 과금과 Particle 약관 동의 → 단일 API를 사용해도 비용과 제공업체별 이용 조건은 함께 고려해야 한다.

🧠 상세 정리

1. 에이전트의 맥락 확보와 Universal Scrape의 출발점

원문은 AI 에이전트가 적절한 맥락을 얻으면 많은 일을 할 수 있지만, 그 맥락을 준비하는 과정에는 여러 작업이 필요하다는 문제에서 출발한다. 개발자는 원하는 기능을 만들기 전에 스크레이퍼를 구축하고 파일을 파싱하며 또 다른 API를 연결해야 할 수 있다. Firecrawl은 이러한 데이터 확보 작업을 처리해 왔으며, Universal Scrape를 통해 기존 /scrape 엔드포인트로 가져올 수 있는 데이터의 범위를 넓힌다고 설명한다. 확장의 대상은 웹 페이지뿐 아니라 PDF와 이미지, 인물 프로필, 금융 데이터, 팟캐스트 등이다. 발표의 중심은 에이전트에 필요한 맥락을 더 다양한 출처에서 확보하면서 접근 경로를 하나의 API로 연결하는 데 있다.

2. 웹 페이지와 파일에서 제공업체 데이터로 확장

Universal Scrape는 웹과 파일, 그리고 Alexandria에서 지원되는 제공업체 데이터를 하나의 API로 접근하도록 구성된다. 웹 페이지와 파일에 대해서는 Firecrawl이 렌더링, 재시도, 파싱을 처리하며, 동적 웹사이트와 PDF·이미지 외에도 URL로 제공되는 Word 문서, 스프레드시트, 프레젠테이션을 읽을 수 있다. 인물·기업 정보의 예로는 Apollo, FullEnrich, Data Legion이, 기업 재무와 시장 정보의 예로는 Fiscal.ai와 Benzinga가 제시된다. 팟캐스트 분야에서는 Particle을 통해 관련 에피소드와 대화를 찾고 검색·조회·전사문 도구를 이용할 수 있다. Alexandria에는 200개 이상의 제공업체가 있지만 Universal Scrape가 이미 모두를 지원한다는 뜻은 아니며, 원문은 현재 지원되는 일부의 범위가 계속 확대되고 있다고 설명한다.

3. 기존 /scrape 사용 방식과 과금 구조

기존 Firecrawl 사용자는 에이전트가 의존하는 페이지와 문서를 계속 스크레이핑하면서 필요할 때 제공업체 데이터를 추가할 수 있다. 웹 페이지나 지원 문서를 읽을 때는 URL을 보내고, 제공업체 데이터를 얻을 때는 같은 엔드포인트에서 지원되는 Alexandria 기능을 호출한다. 일부 지원 프로필 URL은 사용자가 설정한 정보 보강 제공업체로 직접 연결되므로, URL 입력을 통한 접근도 일부 제공업체 데이터에 적용된다. 두 종류의 요청은 모두 기존 Firecrawl API 키를 사용하며, 제공업체 호출 비용은 각 도구에 표시된 가격에 따라 Firecrawl 크레딧으로 청구된다. 따라서 API와 인증 키를 함께 사용한다는 편의성과 실제 호출할 수 있는 기능·가격 조건을 구분해 이해할 필요가 있다.

4. 웹 페이지 읽기와 Particle 팟캐스트 검색 예제

코드 예제는 동일한 Firecrawl 클라이언트에서 웹 페이지 읽기와 제공업체 검색을 수행하는 흐름을 보여 준다. 첫 번째 호출은 https://www.firecrawl.dev를 대상으로 markdown 형식의 결과를 요청하고, 두 번째 호출은 /scrape를 통해 Particle의 podcasts/episodes/search 기능을 실행한다. 팟캐스트 검색에는 semantic_search 값으로 'AI agents'를 지정하고 limit를 2로 설정하며, 원문은 이 호출이 일치하는 전사문 구간을 반환한다고 설명한다. 실행에는 최신 firecrawl SDK와 FIRECRAWL_API_KEY 설정이 필요하고, 팟캐스트 호출 전에는 조직 관리자가 Particle의 제공업체 약관에 동의해야 한다. URL 연결 방식은 Scrape 문서에서, 제공업체 도구를 찾고 호출하는 방법은 Alexandria 문서에서 확인하도록 안내한다.

5. ChatGPT·Claude와 개발 환경에서의 접근

원문은 Universal Scrape의 데이터를 사용자가 AI 에이전트로 작업하는 여러 환경에 가져올 수 있다고 설명한다. ChatGPT와 Codex에서는 Firecrawl 플러그인을 설치하고, Claude에서는 Firecrawl을 연결하거나 Claude Code 플러그인을 추가하는 경로가 제시된다. 이후 Firecrawl 계정을 연결하고 에이전트에 URL을 읽거나 Alexandria에서 데이터를 찾도록 요청하는 사용 흐름을 안내한다. 자체 애플리케이션을 만드는 경우에는 API를 사용할 수 있으며, 에이전트 연결에는 MCP를, 터미널 작업에는 CLI를 이용할 수 있다. 이러한 접근 경로는 웹과 제공업체 데이터를 확보하는 기능을 대화형 도구, 자체 앱, 터미널 등 사용자가 이미 작업하는 환경에서 활용하도록 연결한다.

6. 지원 범위의 확대와 통합 접근의 의미

Firecrawl은 앞으로도 /scrape를 통해 접근할 수 있는 데이터의 범위를 계속 확대하겠다고 밝힌다. Alexandria에는 매일 제공업체를 추가하고 있으며, 그 라이브러리의 더 많은 부분을 /scrape로 가져오는 작업도 진행 중이라고 설명한다. 다만 현재 발표는 200개 이상의 Alexandria 제공업체 전체에 대한 즉시 지원을 약속하는 것이 아니라, Universal Scrape에서 사용할 수 있는 제공업체가 점차 늘어나는 상태를 제시한다. 목표는 새로운 출처가 에이전트에 더 많은 맥락을 제공하면서도 개발자가 유지해야 할 별도 연동을 추가하지 않도록 하는 것이다. 이를 평가할 때는 기존 엔드포인트와 API 키를 유지하는 이점뿐 아니라 실제 지원 기능, 도구별 크레딧 비용, 제공업체 약관 같은 이용 조건도 함께 살펴야 한다.

🧾 핵심 주장 / 시사점

• Universal Scrape의 핵심 변화는 기존 /scrape 사용 흐름 안에서 웹·파일과 제공업체 데이터를 함께 확보할 수 있도록 접근 범위를 넓힌 데 있다.
• Alexandria의 규모가 커져도 실제 활용 가능성은 Universal Scrape가 현재 지원하는 제공업체와 기능에 따라 달라진다.
• 접근 경로가 하나로 통합되어도 도구별 가격과 Particle의 약관 동의처럼 제공업체별 조건은 남아 있다.

✅ 액션 아이템

• 필요한 인물·기업 프로필, 금융 정보, 팟캐스트에 대해 Universal Scrape의 지원 제공업체·기능과 도구별 Firecrawl 크레딧 가격 확인.
• Particle 팟캐스트 검색 실행 전 최신 firecrawl SDK, FIRECRAWL_API_KEY 설정, 조직 관리자의 Particle 제공업체 약관 동의 여부 확인.
• 사용 환경에 맞춰 ChatGPT·Codex용 Firecrawl 플러그인, Claude 연결, Claude Code 플러그인, API, MCP, CLI 중 접근 방식 선택.

❓ 열린 질문

• Alexandria의 200개 이상 제공업체 중 현재 Universal Scrape에서 호출할 수 있는 제공업체와 기능은 무엇인가?
• 도구별 표시 가격에 따른 Firecrawl 크레딧 과금은 필요한 제공업체 데이터의 이용 비용에 어떤 영향을 주는가?
• ChatGPT·Codex용 Firecrawl 플러그인, Claude 연결, Claude Code 플러그인, API, MCP, CLI 중 현재 사용 환경에 적합한 접근 방식은 무엇인가?