🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Firecrawl은 Launch Week II 첫날 여러 URL을 한 번에 스크랩할 수 있는 Batch Scrape 엔드포인트를 공개하고, 동기·비동기 처리 방식과 사용 예시를 함께 안내했다.

📌 핵심 요약

• 이 글은 Firecrawl의 두 번째 Launch Week 첫날 발표로, 새 기능인 Batch Scrape Endpoint를 소개한다.
• Batch Scrape는 작은 URL 목록부터 수백 개 URL까지 여러 페이지를 한 번의 요청으로 처리해 대량 웹 데이터 수집을 더 효율적으로 만드는 기능이다.
• 작동 방식은 기존 /crawl 엔드포인트와 유사하며, 사용자는 작업 완료까지 기다리는 동기 방식과 작업 ID를 먼저 받은 뒤 나중에 결과를 조회하는 비동기 방식을 선택할 수 있다.
• 예시 요청은 /v1/batch/scrape로 URL 목록과 출력 형식(markdown, html)을 보내는 구조이며, 응답에는 처리 상태, 완료 수, 사용 크레딧, 만료 시각, 페이지별 콘텐츠와 메타데이터가 포함된다.
• Firecrawl은 이 기능의 장점으로 네트워크 오버헤드 감소, 애플리케이션 필요에 맞춘 처리 방식 선택, Markdown·HTML 같은 출력 형식 지정 가능성을 제시하고 Launch Week II의 후속 발표와 사용자 피드백을 예고한다.

🧩 주요 포인트

1. 이 글은 Firecrawl의 두 번째 Launch Week 첫날 발표로, 새 기능인 Batch Scrape Endpoint를 소개한다.
2. Batch Scrape는 작은 URL 목록부터 수백 개 URL까지 여러 페이지를 한 번의 요청으로 처리해 대량 웹 데이터 수집을 더 효율적으로 만드는 기능이다.
3. 작동 방식은 기존 /crawl 엔드포인트와 유사하며, 사용자는 작업 완료까지 기다리는 동기 방식과 작업 ID를 먼저 받은 뒤 나중에 결과를 조회하는 비동기 방식을 선택할 수 있다.
4. 예시 요청은 /v1/batch/scrape로 URL 목록과 출력 형식(markdown, html)을 보내는 구조이며, 응답에는 처리 상태, 완료 수, 사용 크레딧, 만료 시각, 페이지별 콘텐츠와 메타데이터가 포함된다.
5. Firecrawl은 이 기능의 장점으로 네트워크 오버헤드 감소, 애플리케이션 필요에 맞춘 처리 방식 선택, Markdown·HTML 같은 출력 형식 지정 가능성을 제시하고 Launch Week II의 후속 발표와 사용자 피드백을 예고한다.

🧠 상세 정리

1. Launch Week II 첫 발표와 기능 소개

글은 Firecrawl의 두 번째 Launch Week 첫날을 알리며 시작하고, 첫 번째 공개 기능으로 Batch Scrape Endpoint를 소개한다. 작성자는 Eric Ciarla이며, 게시일은 2024년 10월 28일로 제시되어 있다. 본문 전반의 초점은 새로운 엔드포인트가 무엇을 해결하는지, 어떻게 호출하는지, 어떤 응답을 받는지 설명하는 데 맞춰져 있다. 상단에는 Firecrawl Research Index나 무료 시작 안내 같은 사이트 문구도 함께 보이지만, 실제 발표 내용의 중심은 Batch Scrape 기능이다.

2. Batch Scrape Endpoint의 목적

Batch Scrape 엔드포인트는 여러 URL을 한 번에 스크랩할 수 있도록 설계된 기능이다. 본문은 이 기능이 웹 스크래핑 작업을 간소화하고 시간을 절약해 준다고 설명한다. 사용 사례는 작은 페이지 목록뿐 아니라 수백 개 URL을 다루는 상황까지 포함된다. 핵심은 개별 URL마다 별도 요청을 반복하는 대신, 대량 데이터 회수를 하나의 배치 작업으로 묶어 더 효율적으로 처리할 수 있게 하는 것이다.

3. 동기 방식과 비동기 방식

작동 방식은 기존 /crawl 엔드포인트와 유사하게, 여러 URL을 처리하는 하나의 작업을 제출하는 구조로 설명된다. 사용자는 동기 방식과 비동기 방식 중 하나를 선택할 수 있다. 동기 방식은 배치 스크랩 작업이 끝날 때까지 기다린 뒤 결과를 즉시 반환한다. 비동기 방식은 곧바로 작업 ID를 돌려주며, 사용자는 편한 시점에 상태를 확인하고 결과를 가져올 수 있다.

4. 요청 예시와 출력 형식 지정

본문은 시작 방법으로 cURL 요청 예시를 제시한다. 사용자는 https://api.firecrawl.dev/v1/batch/scrape 엔드포인트에 POST 요청을 보내고, Content-Type과 Authorization 헤더를 포함한다. 요청 본문에는 스크랩할 URL 배열과 원하는 출력 형식 배열이 들어가며, 예시에서는 Firecrawl 문서 URL 두 개와 markdown, html 형식을 지정한다. 이를 통해 Batch Scrape가 단순히 URL만 받는 것이 아니라 후속 데이터 처리 흐름에 맞는 결과 형식을 함께 선택할 수 있음을 보여준다.

5. 동기 응답과 비동기 조회 흐름

동기 방식을 사용할 경우 응답은 작업 상태가 completed인지, 전체 URL 수와 완료 수가 얼마인지, 사용된 크레딧과 만료 시각이 무엇인지 등을 포함한다. data 배열에는 각 페이지의 markdown, html 결과와 metadata가 들어가며, 메타데이터에는 제목, 언어, 원본 URL, 설명, HTTP 상태 코드가 포함된다. 비동기 방식을 선택하면 success 값, 작업 ID, 상태 조회용 URL이 먼저 반환된다. 이후 사용자는 해당 작업 ID를 포함한 GET 요청을 보내 작업 상태와 결과를 확인한다.

6. 사용 이유와 후속 안내

Firecrawl은 Batch Scrape를 사용할 이유로 효율성, 유연성, 맞춤화를 제시한다. 여러 URL을 단일 요청으로 처리하면 네트워크 오버헤드를 줄일 수 있고, 애플리케이션 요구에 따라 동기 또는 비동기 방식을 고를 수 있다. 또한 Markdown이나 HTML 같은 출력 형식을 지정할 수 있어 데이터 처리 워크플로에 맞추기 쉽다고 설명한다. 글의 마지막은 Launch Week II에서 더 많은 기능이 공개될 예정이라고 알리고, 사용자가 이 엔드포인트를 프로젝트에서 어떻게 활용할지 피드백을 보내 달라는 요청으로 마무리된다.

🧾 핵심 주장 / 시사점

• 이 발표의 핵심 가치는 개별 스크랩 기능 자체보다 여러 URL을 하나의 배치 작업으로 묶어 호출·조회·결과 수집 흐름을 단순화하는 데 있다.
• 동기와 비동기 방식을 모두 제공한다는 점은 짧은 작업에는 즉시 결과를 받고, 오래 걸리는 대량 작업에는 작업 ID 기반 조회 흐름을 쓰도록 사용 패턴을 분리한다.
• 응답 예시가 콘텐츠뿐 아니라 원본 URL, 언어, 설명, 상태 코드 같은 메타데이터를 포함한다는 점은 스크랩 결과를 후속 파이프라인에서 검증하거나 분류하는 데 필요한 정보를 함께 제공하려는 설계로 볼 수 있다.

✅ 액션 아이템

• Firecrawl의 Batch Scrape를 활용해 소량·대량 URL 수집 시 /crawl 대체 범위를 정의하고 동기/비동기 모드를 구분해 적용한다.
• /v1/batch/scrape 요청 스키마에서 URL 목록과 markdown/html 형식을 고정해 예시 호출 패턴을 정합성 있게 맞춘다.
• 응답의 상태, 완료 수, 사용 크레딧, 만료 시각, 페이지별 콘텐츠와 메타데이터를 추적해 수집 결과 검증 기준을 설정한다.

❓ 열린 질문

• URL 수와 응답 소요 시간을 감안해 동기 방식과 비동기 방식을 전환하는 기준은 어디인가?
• 만료 시각이 임박할 때 비동기 결과 조회 실패를 방지하기 위한 재확인 절차는 어떤 방식이 적절한가?
• Markdown와 HTML 출력 형식 중 수집 목적별로 품질을 보존하면서 우선 적용할 형식은 무엇인가?