ArticleBex Tuychiev·2026년 3월 27일·0

How to Use Firecrawl with n8n for Web Automation

Quick Summary

Firecrawl의 검증된 n8n 노드를 중심으로 n8n Cloud와 self hosted n8n을 연결하고, 웹 데이터 수집과 AI 조사 작업을 자동화하는 방법을 설명한다.

How to Use Firecrawl with n8n for Web Automation 관련 대표 이미지

🖼️ 인포그래픽

How to Use Firecrawl with n8n for Web Automation 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

How to Use Firecrawl with n8n for Web Automation의 핵심 내용을 4단계로 요약한 인포그래픽
How to Use Firecrawl with n8n for Web Automation 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Firecrawl의 검증된 n8n 노드를 중심으로 n8n Cloud와 self-hosted n8n을 연결하고, 웹 데이터 수집과 AI 조사 작업을 자동화하는 방법을 설명한다.

📌 핵심 요약

  • Firecrawl은 JavaScript 렌더링을 처리하고 웹페이지를 Markdown이나 구조화된 JSON으로 변환하며, n8n에서 /search, /scrape, /interact, /crawl, /map, /agent를 사용할 수 있다.
  • Firecrawl이 유지보수하는 검증된 노드 @mendable/n8n-nodes-firecrawl은 n8n Cloud와 self-hosted n8n에서 공통으로 사용된다. 이전 자격 증명의 Base URL이 https://api.firecrawl.dev/v1이면 Agent와 Interact가 작동하지 않으므로 https://api.firecrawl.dev/v2로 설정해야 한다.
  • n8n Cloud에서 Connect to Firecrawl을 선택하면 n8n 계정과 연결된 Firecrawl 팀이 생성되고 10,000 무료 Firecrawl 크레딧이 제공된다. 무료 Hobby 플랜과 100,000 프로모션 크레딧을 제공하던 출시 행사는 종료됐다.
  • 예제는 매일 오전 5시에 Firecrawl /agent로 이번 주 GitHub의 인기 MLOps 저장소 5개를 조사한다. Extract Data With AI Agent의 기본 대기 시간은 300초, 최대는 600초이며, 시간 초과 후에는 jobId로 상태를 조회하거나 비동기 작업을 사용할 수 있다.
  • HTTP Request 노드는 전용 노드에 없는 API 매개변수와 cURL 가져오기를 지원한다. 예제의 maxCredits: 100은 작업 크레딧 상한이며, 상태가 processing이거나 data가 비어 있으면 재조회하고 failed는 오류 분기로 처리한다. self-hosted n8n은 워크플로 실행 위치를 직접 통제해야 하는 경우에 적합하며 관리자나 소유자가 노드를 설치한 뒤 구성원이 Firecrawl API 키로 사용한다.

🧩 주요 포인트

  1. 공통 Firecrawl 노드가 두 배포 환경을 지원하므로 선택의 핵심은 기능 차이보다 연결 편의성과 실행 위치 통제다. n8n Cloud는 빠른 시작에, self-hosted n8n은 자체 인프라 운영이 가능한 팀에 맞는다.
  2. Firecrawl /agent의 대기 시간과 실제 작업 완료 시점은 다를 수 있다. 300초·600초 제한과 jobId를 고려해 후속 조회 또는 비동기 실행을 구성하고, HTTP Request에서는 completed 이후에도 data가 비어 있을 가능성을 반영해야 한다.
  3. 전용 노드와 HTTP Request는 보완 관계다. 기본 작업은 검증된 노드로 구성하고, 노드에 없는 API 매개변수나 maxCredits: 100 같은 요청 설정이 필요하면 HTTP Request를 활용하되 Base URL과 실패 상태를 함께 확인해야 한다.

🧠 상세 정리

1. 웹 데이터 수집을 n8n 자동화에 연결하는 이유

원문은 n8n을 2,000개 이상의 앱과 서비스를 연결하는 오픈소스 워크플로 자동화 플랫폼으로 소개하며, 2025년 10월 기업가치 25억 달러로 1억 8,000만 달러의 시리즈 C 투자를 유치했다고 설명한다. 업무 자동화에는 최신 웹 데이터가 필요하지만 직접 만든 수집기는 사이트의 HTML 변경, JavaScript 중심 페이지의 렌더링 문제, 수집 인프라 유지 부담 때문에 쉽게 고장날 수 있다는 것이 출발점이다. Firecrawl은 웹페이지를 정리된 Markdown이나 구조화된 JSON으로 변환하고 JavaScript 렌더링을 처리해 후속 n8n 노드가 사용할 데이터를 제공한다. 지원 작업은 웹 검색, 개별 페이지 수집, 버튼 클릭과 폼 입력 같은 상호작용, 사이트 전체 수집, 도메인 URL 목록화, AI 에이전트를 통한 조사로 나뉜다. 글은 이 연결을 경쟁사 모니터링, 콘텐츠 취합, Firecrawl /agent 기반 데이터 보강 등에 응용할 수 있다고 제시하며, 독자가 Firecrawl API의 기초를 알고 있다고 가정한다.

2. Slack과 WhatsApp 예제로 이해하는 워크플로 기본 구조

n8n 워크플로는 작업을 수행하는 노드와 그 사이에서 데이터를 전달하는 연결선으로 구성되며, 원문은 Slack과 WhatsApp 사이의 양방향 메시징을 예로 든다. Slack 트리거가 메시지 등의 이벤트를 감지하면 두 노드가 채널 ID를 가져오고, 조건 노드는 메시지가 텍스트만 포함하는지 미디어도 포함하는지 구분한다. 미디어가 있으면 콘텐츠를 내려받은 뒤 WhatsApp으로 보내고, 텍스트만 있으면 WhatsApp 노드로 바로 전달하며, 반대 방향은 오디오와 첨부파일 때문에 단계가 더 많다고 설명한다. 미디어 다운로드에 사용되는 HTTP Request 노드는 GET, POST, PUT, DELETE 요청을 보낼 수 있어 이후 Firecrawl API를 직접 호출할 때도 활용된다. 외부 계정에 연결하는 노드의 빨간 경고 표시는 인증 오류를 뜻하므로 자격 증명을 설정해야 하며, 원문은 공식 첫 워크플로 튜토리얼과 강좌, 템플릿으로 인터페이스를 익힐 것을 권한다.

3. 검증된 Firecrawl 노드와 API 버전 확인

Firecrawl 연결의 중심은 Firecrawl이 제작하고 유지보수하며 n8n이 검증한 @mendable/n8n-nodes-firecrawl 노드로, n8n Cloud와 self-hosted n8n에서 같은 노드를 사용한다. 두 환경의 차이는 노드가 제공하는 기본 기능보다 설치 방식과 Firecrawl 계정 연결 절차에 있다. 사용자는 Resource를 고른 다음 Operation을 선택하며, 버전 2.2.0에는 Scraping, Crawling, Map & Search, Agent, Interact, Browser, Account, Extract (Legacy)에 걸쳐 31개 작업이 제공된다고 설명한다. 이전 노드 버전에서 만든 자격 증명은 Base URL이 https://api.firecrawl.dev/v1로 남아 있을 수 있는데, 이 설정은 Agent와 Interact를 작동하지 않게 만드는 원인으로 제시된다. 따라서 해당 기능을 사용할 때는 Base URL을 https://api.firecrawl.dev/v2로 설정해야 하며, 개별 작업의 설명과 소스는 각각 Firecrawl n8n 문서와 n8n-nodes-firecrawl 저장소에서 확인할 수 있다.

4. n8n Cloud의 연결 절차와 무료 크레딧 조건

n8n Cloud에서는 노드 패널에서 Firecrawl을 검색해 설치한 다음 Connect to Firecrawl을 누르는 방식으로 연결을 시작한다. 이 과정에서 n8n 계정과 연결된 Firecrawl 팀이 만들어지고 10,000개의 무료 Firecrawl 크레딧이 추가되므로, 원문은 인프라 준비 없이 바로 시작하려는 경우에 이 방식을 권한다. 과거 출시 행사에서 제공하던 무료 Hobby 플랜과 100,000개의 프로모션 크레딧은 종료됐다는 점을 명확히 구분하며, 현재 제공량과 과거 혜택을 혼동하지 않도록 한다. Firecrawl 대시보드에서 해당 크레딧을 보려면 팀 선택기에서 n8n과 연결된 팀으로 전환해야 한다. 이어지는 실습은 n8n Cloud에 가입해 워크플로를 만든 뒤 Schedule Trigger를 매일 오전 5시로 설정하고, 여기에 Firecrawl 노드를 연결해 정기적인 GitHub 저장소 조사를 실행하는 구성이다.

5. Firecrawl /agent로 GitHub 저장소 조사 자동화

GitHub 실습에서는 Firecrawl 노드의 Resource를 Agent로, Operation을 Extract Data With AI Agent로 설정하고, 이번 주 인기 MLOps 저장소 5개의 이름·설명·스타 수·URL을 반환하도록 요청한다. Schema Type은 선택 사항으로 None을 유지할 수 있지만, 매 실행에서 같은 필드를 받고 싶다면 스키마를 지정할 수 있다. Max Wait Time의 기본값은 300초이고 더 큰 조사에는 600초까지 늘릴 수 있으며, Execute step으로 시험했을 때 MLOps 결과가 없다면 Python처럼 더 넓은 주제로 연결 상태를 확인하도록 안내한다. 대기 시간을 넘기면 노드는 timeout 상태와 jobId를 반환하지만, Firecrawl 측 작업은 계속 진행돼 나중에 완료될 수 있다. 이때는 다른 Firecrawl 노드의 Get Agent Status에 jobId를 전달해 조회하거나, 10분을 넘길 수 있는 작업에 Start AI Agent Job (Async)을 사용하는 방식으로 처리한다.

6. HTTP Request를 통한 직접 호출과 비동기 상태 처리

HTTP Request 노드는 Firecrawl 노드에 표시되지 않는 API 매개변수가 필요하거나 API 참고 문서의 요청을 그대로 가져오려는 경우에 사용하며, Import cURL로 메서드·URL·헤더·본문을 채울 수 있다. 원문의 예제는 https://api.firecrawl.dev/v2/agent에 저장소 조사 프롬프트와 maxCredits: 100을 보내고, API 키를 넣거나 Bearer 자격 증명을 설정하는 POST 요청이다. 응답은 조사 결과 대신 작업 id를 즉시 반환하므로 Wait 노드 뒤에서 두 번째 HTTP Request로 해당 작업을 조회하고, 상태가 processing에서 completed로 바뀌면 data를 확인한다. 다만 원문의 시험에서는 첫 completed 응답에도 data가 비어 있다가 몇 초 뒤 채워졌으므로, status가 processing이거나 data가 비어 있으면 If 노드로 Wait에 되돌아가도록 설명한다. status가 failed이면 재조회 대신 오류 분기로 보내야 하며, 100크레딧 상한에 도달한 작업은 status: "failed"와 stopReason: "credit_limit_reached"로 중단된다고 명시한다.

7. 수집 결과의 활용과 self-hosted n8n 선택 기준

조사 단계가 준비되면 결과를 조건에 따라 필터링하거나 이메일·Slack 알림으로 보내고, 데이터베이스나 스프레드시트에 저장하거나 과거 데이터와 현재 추세를 비교하도록 워크플로를 확장할 수 있다. 이후 원문은 배포 환경 선택으로 논점을 옮겨, 워크플로가 실행되는 위치를 직접 통제해야 하거나 보안 요건 때문에 클라우드 자동화 플랫폼을 사용할 수 없는 경우 self-hosted n8n을 제안한다. 민감한 고객 데이터를 처리하는 금융기관, 환자 기록을 다루는 의료기관, 기밀정보를 관리하는 정부기관을 이런 요구가 생길 수 있는 사례로 제시한다. 이 방식은 기존 인프라가 있고 자체 호스팅 애플리케이션을 운영하는 데 익숙한 팀에 적합하다는 설명이며, 모든 조직이 반드시 자체 호스팅을 선택해야 한다는 주장은 아니다. 자체 호스팅에서도 같은 Firecrawl 노드를 사용하되 인스턴스 소유자나 관리자가 한 번 설치하고 구성원들이 Firecrawl API 키로 이용하므로, 실행 환경의 통제 요구와 운영 역량이 선택의 기준이 된다.

8. Docker 설치와 Community 에디션 등록

Docker Desktop이 설치돼 있다면 원문은 두 명령으로 n8n을 시작할 수 있다고 안내하며, 먼저 docker volume create n8n_data로 워크플로 데이터를 보존할 볼륨을 만든다. 이어 docker.n8n.io/n8nio/n8n 이미지를 실행하면서 5678 포트를 연결하고 n8n_data를 /home/node/.n8n에 마운트하면 http://localhost:5678에서 인스턴스에 접근할 수 있다. 인터페이스는 클라우드 버전과 같다고 설명하지만, 운영 환경 배포에 대해서는 별도의 n8n 자체 호스팅 문서를 참고하도록 한다. self-hosted n8n은 무료 Community 에디션으로 실행되며, 최초 계정 설정 때나 Settings > Plan & usage > Unlock에서 이메일로 등록하면 일부 추가 기능을 여는 무료 라이선스 키를 받을 수 있다. 열거된 기능은 워크플로를 폴더로 정리하는 Folders, 실행 데이터를 복사하고 고정하는 Debug in editor, 실행 메타데이터를 저장·검색·주석 처리하는 Custom execution data이며, 제공된 본문은 그 뒤 유료 기능 설명으로 넘어가는 도중 잘려 이후 내용은 확인할 수 없다.

🧾 핵심 주장 / 시사점

  • n8n Cloud와 self-hosted n8n이 같은 Firecrawl 노드를 공유하므로, 배포 방식은 연결 편의성과 워크플로 실행 위치에 대한 통제 요구를 중심으로 판단할 수 있다.
  • Firecrawl /agent에서는 요청 대기 종료, 작업 상태, 결과 데이터 도착을 구분해야 한다. 시간 초과가 실제 작업 중단을 뜻하지 않을 수 있고, 원문의 시험에서는 completed 이후에도 결과가 늦게 도착했다.
  • 검증된 노드는 일반적인 연결을 간소화하지만 모든 API 매개변수를 노출하지는 않는다. HTTP Request를 함께 활용하면 직접 요청 설정과 비동기 조회를 구성할 수 있다.

✅ 액션 아이템

  • n8n Cloud의 10,000 무료 Firecrawl 크레딧과 self-hosted n8n의 실행 위치 통제 요구를 고려해 배포 방식을 선정한다.
  • Agent와 Interact 사용에 앞서 자격 증명의 Base URL을 https://api.firecrawl.dev/v2로 확인한다.
  • Firecrawl /agent의 300초·600초 대기 제한을 고려해 후속 조회나 비동기 실행을 구성하고, HTTP Request에서는 processing·빈 data·failed에 따른 분기를 적용한다.

❓ 열린 질문

  • 현재 워크플로에는 n8n Cloud의 빠른 시작과 self-hosted n8n의 실행 위치 통제 중 어느 쪽이 더 필요한가?
  • Firecrawl /agent 조사가 600초를 넘길 가능성이 있다면 비동기 실행과 jobId 후속 조회를 어떻게 구성할 것인가?
  • 필요한 API 매개변수가 검증된 Firecrawl 노드에 모두 제공되는가, 아니면 HTTP Request와 maxCredits: 100 같은 직접 요청 설정이 필요한가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.