🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Dub는 Firecrawl로 회사 웹사이트의 지저분한 웹 데이터를 깨끗한 마크다운으로 변환해, 몇 초 만에 제휴 프로그램 랜딩 페이지를 만드는 AI 페이지 빌더를 구현했다.

📌 핵심 요약

• Dub는 짧은 링크, 전환 추적, 제휴 프로그램을 위한 현대적 링크 어트리뷰션 플랫폼이며, Dub Partners를 위한 AI 페이지 빌더를 소프트 론칭했다.
• 이 AI 페이지 빌더는 임의의 회사 웹사이트를 입력으로 받아 제휴 프로그램 랜딩 페이지로 바꾸는 기능을 제공한다.
• 핵심 흐름은 Firecrawl이 랜딩 페이지 데이터를 스크랩해 깨끗한 마크다운으로 반환하고, 그 마크다운을 Claude Sonnet 4에 전달하는 방식이다.
• AI 모델은 전달받은 마크다운을 바탕으로 Dub의 랜딩 페이지 스키마에 정확히 맞는 구조화 JSON을 생성한다.
• Firecrawl은 HTML 파싱과 불규칙한 포맷 처리 부담을 줄여, 웹 데이터를 AI 모델이 바로 사용할 수 있는 입력으로 만드는 역할을 한다.

🧩 주요 포인트

1. Dub는 짧은 링크, 전환 추적, 제휴 프로그램을 위한 현대적 링크 어트리뷰션 플랫폼이며, Dub Partners를 위한 AI 페이지 빌더를 소프트 론칭했다.
2. 이 AI 페이지 빌더는 임의의 회사 웹사이트를 입력으로 받아 제휴 프로그램 랜딩 페이지로 바꾸는 기능을 제공한다.
3. 핵심 흐름은 Firecrawl이 랜딩 페이지 데이터를 스크랩해 깨끗한 마크다운으로 반환하고, 그 마크다운을 Claude Sonnet 4에 전달하는 방식이다.
4. AI 모델은 전달받은 마크다운을 바탕으로 Dub의 랜딩 페이지 스키마에 정확히 맞는 구조화 JSON을 생성한다.
5. Firecrawl은 HTML 파싱과 불규칙한 포맷 처리 부담을 줄여, 웹 데이터를 AI 모델이 바로 사용할 수 있는 입력으로 만드는 역할을 한다.

🧠 상세 정리

1. Dub의 AI 페이지 빌더와 문제의 출발점

글은 Dub가 Firecrawl을 활용해 AI 기반 제휴 랜딩 페이지 빌더를 만든 사례를 소개한다. Dub는 짧은 링크, 전환 추적, 제휴 프로그램을 다루는 링크 어트리뷰션 플랫폼으로 설명된다. Dub 팀이 Dub Partners용 AI 페이지 빌더를 소프트 론칭할 때 핵심 과제는 회사 웹사이트의 랜딩 페이지 데이터를 안정적으로 가져오는 것이었다. 원문은 AI 기능을 실시간 웹 데이터 위에 만들 때 결과 품질이 입력 데이터 품질에 크게 좌우된다고 강조한다.

2. 웹 데이터 품질이 AI 결과를 좌우한다는 전제

원문은 지저분한 HTML과 일관되지 않은 포맷이 상류 데이터에 존재하면, 하류의 AI 결과가 깨질 수 있다고 설명한다. 이는 단순히 웹페이지를 가져오는 문제가 아니라, AI 모델이 이해하고 처리할 수 있는 형태로 데이터를 정리해야 한다는 문제다. Dub의 Steven Tey와 팀은 이 점을 알고 있었고, AI 페이지 빌더를 위해 신뢰할 수 있는 스크래핑 방식이 필요했다. Firecrawl은 이 지점에서 랜딩 페이지 데이터를 AI 입력으로 바꾸는 기반 도구로 제시된다.

3. Firecrawl에서 Claude Sonnet 4와 JSON까지 이어지는 흐름

AI 페이지 빌더의 작동 방식은 비교적 단순하게 설명된다. 먼저 Firecrawl이 회사 웹사이트의 랜딩 페이지 데이터를 스크랩하고, 이를 깨끗한 마크다운 형태로 반환한다. 그 마크다운은 Claude Sonnet 4에 입력되며, 이후 Dub의 랜딩 페이지 스키마에 정확히 맞는 구조화 JSON이 생성된다. 이 과정의 목표는 어떤 회사 웹사이트든 Dub Partners에서 사용할 수 있는 제휴 프로그램 랜딩 페이지로 빠르게 전환하는 것이다.

4. Firecrawl이 Dub에 중요한 이유

Firecrawl의 핵심 가치는 웹 데이터의 지저분한 현실을 처리해 준다는 점으로 제시된다. Steven Tey의 설명에 따르면 Dub는 HTML을 직접 파싱하거나 포맷이 제각각인 데이터를 다루는 부담 없이, AI 모델에 잘 들어맞는 구조화된 마크다운을 받을 수 있다. 이는 별도의 정리 작업을 줄이고, 웹사이트를 곧바로 AI 입력으로 사용할 수 있게 한다. 원문은 Firecrawl이 웹 데이터를 활용한 AI 기능 개발을 매우 단순하게 만든다고 정리한다.

5. Dub Partners 사용자가 얻는 결과와 글의 결론

FAQ는 Dub가 Firecrawl을 랜딩 페이지 데이터 스크래핑에 사용하며, 그 결과가 Claude Sonnet 4를 거쳐 Dub의 스키마에 맞는 JSON으로 이어진다고 다시 요약한다. 사용자의 관점에서 결과는 회사 웹사이트가 몇 초 안에 제휴 프로그램 랜딩 페이지로 바뀌는 것이다. 또한 별도의 맞춤형 스크래핑 코드를 작성하지 않아도 된다는 점이 강조된다. 글은 안정적인 웹 데이터가 필요한 AI 애플리케이션에 Firecrawl을 사용해 더 빠르게 제품을 출시하라는 권유로 마무리된다.

🧾 핵심 주장 / 시사점

• 이 사례에서 Firecrawl의 역할은 AI 모델 자체를 대체하는 것이 아니라, 모델이 처리하기 쉬운 입력 데이터를 안정적으로 만들어 주는 전처리 계층에 가깝다.
• Dub의 흐름은 웹페이지 스크래핑, 마크다운 정리, 모델 입력, 스키마 기반 JSON 생성으로 이어지며, 각 단계가 명확히 분리되어 있다.
• 원문이 반복해서 강조하는 핵심은 AI 기능의 품질이 모델 선택만이 아니라 입력 데이터의 정돈 상태와 일관성에 크게 의존한다는 점이다.

✅ 액션 아이템

• Firecrawl이 추출한 정제 마크다운을 기반으로, 임의의 회사 웹사이트를 제휴 랜딩 페이지로 전환하는 변환 규칙을 정확히 정의한다.
• 임의의 웹사이트 입력에서 Claude Sonnet 4가 Dub 랜딩 페이지 스키마에 맞는 구조화 JSON을 생성하는 적합도를 동일 조건으로 점검한다.
• Firecrawl이 HTML 파싱과 불규칙 포맷 부담을 줄여 AI가 바로 활용 가능한 입력을 만들 수 있다는 점을 반영해 정규화 범위를 명확히 정리한다.

❓ 열린 질문

• 정제 마크다운 기반 방식은 어떤 종류의 웹사이트에서 제휴 랜딩 페이지 생성 성능이 가장 높게 나타나는가?
• 현재 소프트 론칭 중인 Dub Partners 대상 기능에서 스키마 준수와 제휴 랜딩 요구사항 충족을 동시에 판단할 기준은 무엇인가?
• 불규칙한 웹 페이지에서 Firecrawl 처리 누락이 생길 때 Claude Sonnet 4가 스키마 JSON 품질을 유지할 수 있는 보완 조건은 무엇인가?