🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Firecrawl은 두 번째 Launch Week 동안 대량 스크래핑, 지역·언어 설정, 결제 유연성, iframe 처리, 자동화 액션, 모바일 스크래핑, 더 빠른 Markdown 파싱 등 웹 데이터 수집 기능을 7일에 걸쳐 공개했다.

📌 핵심 요약

• 이 글은 2024년 11월 4일 Eric Ciarla가 작성한 Firecrawl의 두 번째 Launch Week 요약으로, 7일 동안 발표된 기능을 날짜별로 정리한다.
• 첫날에는 여러 URL을 동시에 스크래핑할 수 있는 Batch Scrape Endpoint가 공개됐고, 동기식과 비동기식 방식을 모두 제공한다고 설명한다.
• 둘째 날에는 국가와 선호 언어를 지정해 위치별 콘텐츠를 가져올 수 있는 Geolocation Support가 추가되어 데이터의 관련성과 정확성을 높인다고 소개한다.
• 셋째 날부터 여섯째 날까지는 Credit Packs와 Auto Recharge, 고급 iframe 스크래핑, Scrape 및 Wait for Selector 액션, 모바일 스크래핑과 모바일 스크린샷 기능이 순서대로 발표됐다.
• 마지막 날에는 새 HTML to Markdown 파서가 공개됐으며, 기존보다 최대 4배 빠르고 더 안정적이며 더 깔끔한 Markdown을 생성해 데이터 처리 흐름을 개선한다고 정리한다.

🧩 주요 포인트

1. 이 글은 2024년 11월 4일 Eric Ciarla가 작성한 Firecrawl의 두 번째 Launch Week 요약으로, 7일 동안 발표된 기능을 날짜별로 정리한다.
2. 첫날에는 여러 URL을 동시에 스크래핑할 수 있는 Batch Scrape Endpoint가 공개됐고, 동기식과 비동기식 방식을 모두 제공한다고 설명한다.
3. 둘째 날에는 국가와 선호 언어를 지정해 위치별 콘텐츠를 가져올 수 있는 Geolocation Support가 추가되어 데이터의 관련성과 정확성을 높인다고 소개한다.
4. 셋째 날부터 여섯째 날까지는 Credit Packs와 Auto Recharge, 고급 iframe 스크래핑, Scrape 및 Wait for Selector 액션, 모바일 스크래핑과 모바일 스크린샷 기능이 순서대로 발표됐다.
5. 마지막 날에는 새 HTML to Markdown 파서가 공개됐으며, 기존보다 최대 4배 빠르고 더 안정적이며 더 깔끔한 Markdown을 생성해 데이터 처리 흐름을 개선한다고 정리한다.

🧠 상세 정리

1. 두 번째 Launch Week의 목적과 전체 흐름

글은 Firecrawl의 두 번째 Launch Week를 돌아보는 형식으로 시작한다. 작성자는 지난 7일 동안 웹 스크래핑 프로젝트를 강화하기 위한 여러 기능과 개선사항을 순차적으로 출시했다고 설명한다. 본문은 각 날짜에 무엇이 공개됐는지를 짧게 정리하는 구조이며, 개별 발표를 놓친 독자를 위해 하루 단위로 핵심 기능을 다시 보여준다. 전체 메시지는 Firecrawl이 웹 데이터 수집, 자동화, 처리 속도, 사용 편의성을 동시에 개선하려 했다는 점에 맞춰져 있다.

2. 초기 발표: 대량 수집과 지역화된 데이터 확보

1일차에는 Batch Scrape Endpoint가 소개된다. 이 기능은 여러 URL을 동시에 스크래핑할 수 있게 해 대량 데이터 수집을 더 효율적으로 만들며, 사용 목적에 따라 동기식과 비동기식 방식을 선택할 수 있다고 설명된다. 2일차에는 스크래핑 요청에 위치와 언어 설정을 적용하는 Geolocation Support가 추가됐다. 사용자는 국가와 선호 언어를 지정해 위치별 콘텐츠를 가져올 수 있으며, 이를 통해 수집 데이터의 관련성과 정확성을 높일 수 있다고 글은 강조한다.

3. 운영 편의성과 복잡한 페이지 처리 강화

3일차에는 Credit Packs가 공개되어 사용자가 더 유연하게 크레딧을 구매할 수 있게 됐다고 소개된다. 함께 발표된 Auto Recharge는 계정 크레딧이 부족해질 때 자동으로 충전해 스크래핑이 중단되지 않도록 돕는 기능이다. 4일차에는 Advanced iframe Scraping이 발표되며, iframe 처리 능력이 강화됐다고 설명한다. 이 업데이트에는 재귀적 탐색, cross-origin 처리, 동적 콘텐츠 로딩 기능이 포함되어 복잡한 웹페이지를 더 쉽게 스크래핑할 수 있도록 한다.

4. 자동화 액션, 모바일 지원, Markdown 처리 개선

5일차에는 스크래핑 도구에 두 가지 새 액션이 추가됐다. Scrape 액션은 상호작용 시퀀스 중 페이지 콘텐츠를 캡처하고, Wait for Selector는 특정 요소가 나타날 때까지 기다려 자동화를 더 안정적으로 진행하게 한다. 6일차에는 모바일 스크래핑과 모바일 스크린샷 기능이 공개되어 모바일 기기처럼 사이트와 상호작용할 수 있게 됐다. 7일차에는 처음부터 다시 구축한 HTML to Markdown 파서가 소개되며, 최대 4배 빠르고 더 안정적이며 더 깔끔한 Markdown을 생성한다고 설명한다.

🧾 핵심 주장 / 시사점

• 이번 발표 묶음은 단순한 스크래핑 속도 향상보다, 대량 처리·지역화·복잡한 DOM 구조·모바일 환경·후처리 포맷까지 웹 데이터 수집 전 과정을 넓게 보완하는 데 초점이 있다.
• Batch Scrape Endpoint, Wait for Selector, 모바일 에뮬레이션, 고급 iframe 처리처럼 실제 웹페이지의 다양성과 불안정성을 다루는 기능이 여러 날에 걸쳐 반복적으로 등장한다.
• Credit Packs와 Auto Recharge는 기술 기능뿐 아니라 사용량 기반 운영의 연속성을 다루는 발표로, Firecrawl이 개발 도구의 실행 안정성과 과금 편의성도 함께 개선하려 했음을 보여준다.

✅ 액션 아이템

• Firecrawl II 공개 기능을 배치스크래핑, 지리 기반 수집, 결제 자동화, iframe/액션, 모바일 수집, HTML 변환 순으로 도입 대상을 정한다.
• Batch Scrape Endpoint의 동기식·비동기식 운용 차이를 비교해 작업량 급증 구간의 처리 방식 우선순위를 정한다.
• 새 HTML to Markdown 파서의 최대 4배 속도 향상·안정성 개선을 기준으로 파싱 파이프라인 교체 시점을 정한다.

❓ 열린 질문

• 동기식·비동기식 Batch Scrape는 어떤 URL 특성에서 각각 효율적으로 동작하는지 판단할 기준은 무엇인가?
• 국가·언어 기반 지오로케이션 설정의 적용 범위를 어디까지 확장하면 콘텐츠 관련성/정확성이 실질적으로 높아지는가?
• Credit Packs·Auto Recharge와 모바일 스크래핑·모바일 스크린샷, 고급 iframe 기능은 어떤 조합으로 우선 통합하는 것이 적절한가?