🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Firecrawl은 웹사이트 스크랩·크롤 결과를 이전 버전과 비교해 신규, 동일, 변경, 제거 상태를 알려주는 Change Tracking 기능을 베타로 공개했다.

📌 핵심 요약

• Firecrawl의 Change Tracking은 현재 스크랩 또는 크롤 결과를 과거 버전과 비교해 웹사이트 콘텐츠 변화 여부를 자동으로 감지하고 상세 상태를 제공하는 기능이다.
• 응답에는 이전 스크랩 시각, 변경 상태, 발견 방식, 선택적 Git 스타일 diff, 선택적 JSON 비교 결과가 포함될 수 있다.
• 기본 사용법은 scrape 또는 crawl 요청의 formats에 markdown과 changeTracking을 함께 지정하는 방식이며, 기존 워크플로에 비교적 간단히 붙일 수 있도록 설계됐다.
• 고급 모드로는 줄 단위 변경을 보여주는 git-diff 모드와, 사용자 정의 스키마를 바탕으로 특정 필드의 이전값·현재값을 비교하는 JSON 모드가 제공된다.
• 비교는 URL, 팀 ID, markdown 형식을 기준으로 수행되며, 정확한 URL과 스크랩 옵션 일관성이 중요하고, 베타 단계에서는 warning 필드와 누락 가능성도 확인해야 한다.

🧩 주요 포인트

1. Firecrawl의 Change Tracking은 현재 스크랩 또는 크롤 결과를 과거 버전과 비교해 웹사이트 콘텐츠 변화 여부를 자동으로 감지하고 상세 상태를 제공하는 기능이다.
2. 응답에는 이전 스크랩 시각, 변경 상태, 발견 방식, 선택적 Git 스타일 diff, 선택적 JSON 비교 결과가 포함될 수 있다.
3. 기본 사용법은 scrape 또는 crawl 요청의 formats에 markdown과 changeTracking을 함께 지정하는 방식이며, 기존 워크플로에 비교적 간단히 붙일 수 있도록 설계됐다.
4. 고급 모드로는 줄 단위 변경을 보여주는 git-diff 모드와, 사용자 정의 스키마를 바탕으로 특정 필드의 이전값·현재값을 비교하는 JSON 모드가 제공된다.
5. 비교는 URL, 팀 ID, markdown 형식을 기준으로 수행되며, 정확한 URL과 스크랩 옵션 일관성이 중요하고, 베타 단계에서는 warning 필드와 누락 가능성도 확인해야 한다.

🧠 상세 정리

1. Launch Week III 첫날 발표와 기능의 목적

이 글은 Firecrawl의 Launch Week III Day 1 발표로, Change Tracking 기능이 모든 사용자에게 베타로 제공된다는 소식을 전한다. Change Tracking의 목적은 웹사이트를 다시 스크랩하거나 크롤할 때 이전 버전과 현재 결과를 비교해 무엇이 달라졌는지 자동으로 파악하는 것이다. 글은 이 기능이 콘텐츠가 새로 생겼는지, 그대로인지, 수정됐는지, 제거됐는지를 명확히 표시한다고 설명한다. 따라서 사용자는 웹 데이터 수집 과정에서 단순히 최신 내용을 가져오는 데 그치지 않고, 시간에 따른 변화 자체를 추적할 수 있다.

2. 응답에 포함되는 기본 변경 추적 정보

Change Tracking 응답에는 변화 판단에 필요한 여러 필드가 포함된다. previousScrapeAt은 마지막으로 스크랩한 시각을 나타내며, 이전 기록이 없으면 null로 표시된다. changeStatus는 new, same, changed, removed 중 하나로 현재 콘텐츠의 상태를 알려준다. visibility는 해당 페이지가 크롤링을 통해 발견된 visible 상태인지, 메모리를 통해 발견된 hidden 상태인지를 구분한다. 필요할 경우 diff와 json 필드도 추가되어 각각 Git 스타일 변경 내역과 구조화된 필드 비교 결과를 제공한다.

3. scrape와 crawl 요청에 붙이는 간단한 통합 방식

글은 Change Tracking이 기존 Firecrawl 워크플로에 쉽게 통합될 수 있다고 설명하며, scrape와 crawl 두 가지 요청 방식을 예로 든다. scrape 요청에서는 scrapeUrl 호출 시 formats 배열에 markdown과 changeTracking을 함께 넣는다. crawl 요청에서는 crawlUrl 호출의 scrapeOptions 안에 같은 형식 배열을 지정한다. 예시 응답에서는 markdown 콘텐츠와 함께 changeTracking 객체가 반환되고, 그 안에 previousScrapeAt, changeStatus, visibility가 들어간다. 이 구성은 별도의 복잡한 절차보다 요청 형식 확장에 초점이 맞춰져 있다.

4. Git-Diff 모드와 JSON 모드의 고급 활용

Change Tracking은 기본 상태 표시를 넘어 여러 고급 모드를 지원한다. Git-Diff 모드는 줄 단위의 Git 스타일 diff를 제공해 문서나 콘텐츠가 어떻게 수정됐는지 자세히 확인하는 데 적합하다고 설명된다. JSON 모드는 사용자 정의 스키마를 이용해 특정 필드의 이전값과 현재값을 구조적으로 비교한다. 글에서는 시간 정보를 가져오는 예시를 통해 previous와 current 값이 JSON 형태로 반환되는 모습을 보여준다. 이 모드는 제품 상세 정보, 가격, 핵심 문구처럼 특정 데이터 항목을 감시할 때 유용한 방식으로 소개된다.

5. 비교 기준과 오탐을 줄이기 위한 작동 방식

Firecrawl은 Change Tracking이 활성화되면 현재 스크랩 결과를 이전 버전과 비교한다고 설명한다. 비교 기준은 URL, 팀 ID, markdown 형식이며, 같은 팀과 같은 형식의 기록을 바탕으로 변화 여부를 판단한다. 이 비교는 공백이나 콘텐츠 순서 변화에 어느 정도 견고하도록 설계됐다고 밝힌다. 또한 iframe source URL은 비교에서 무시되는데, 이는 캡차나 안티봇 요소 때문에 발생할 수 있는 잘못된 변경 감지를 줄이기 위한 조치다. 즉 기능의 핵심은 단순 문자열 대조가 아니라 실제 콘텐츠 변화 판단의 안정성을 높이는 데 있다.

6. 주의사항, 가격, 시작 방법

글은 Change Tracking 사용 시 URL이 정확히 일치해야 하며, 스크랩 옵션이 달라지면 비교 일관성에 영향을 줄 수 있다고 경고한다. 추적은 팀 단위로 범위가 정해지므로 첫 스크랩은 항상 new로 표시된다. 베타 기능인 만큼 warning 필드를 확인하고, 데이터베이스 타임아웃 등으로 changeTracking 객체가 누락될 가능성도 처리해야 한다. 가격은 기본 추적과 Git-diff 모드는 무료이고, JSON 모드는 추가 처리 요구 때문에 페이지 스크랩당 5크레딧이 든다. 시작하려면 scrape 또는 crawl formats에 changeTracking을 추가하고, 관련 문서나 커뮤니티, 지원 이메일을 이용하라고 안내한다.

🧾 핵심 주장 / 시사점

• 이 기능의 핵심 가치는 웹 데이터를 반복 수집할 때 ‘현재 상태’뿐 아니라 ‘이전 대비 변화’를 API 응답 수준에서 바로 확인하게 해준다는 점이다.
• JSON 모드는 전체 페이지 변화보다 가격, 시간, 제품 정보, 핵심 문구처럼 특정 필드의 변화만 추적하려는 경우에 더 정밀한 방식으로 쓰일 수 있다.
• 정확한 비교를 위해서는 URL과 스크랩 옵션을 일관되게 유지해야 하며, 베타 단계의 누락 가능성까지 처리하는 방어적 구현이 필요하다.

✅ 액션 아이템

• Firecrawl Change Tracking의 scrape/crawl 요청에서 markdown와 changeTracking을 동시에 지정해 변동 감시를 기본 동작으로 편입한다.
• 베타 응답에 포함되는 상태값, 이전 스크랩 시각, git-diff 또는 JSON 비교 결과를 함께 저장해 신규·동일·변경·제거 상태를 분기한다.
• URL·팀 ID·스크랩 옵션의 markdown 설정 일관성을 유지하고, warning 및 누락 케이스를 별도 플래그로 수집해 신뢰성 저하를 점검한다.

❓ 열린 질문

• URL 정규화, 파라미터 정리, 리다이렉트 처리 규칙은 어떤 범위에서 통일해야 비교 재현성이 확보되는가?
• git-diff 모드와 JSON 모드 중 어떤 변경 유형에서 어떤 모드를 우선 적용하면 신호 해석 효율이 높아지는가?
• 베타 단계에서 warning 또는 누락이 발생했을 때 어떤 기준으로 재요청하거나 무시할지 어떤 규칙이 필요한가?