How to get ChatGPT to summarize a whole website, page by page

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ChatGPT로 웹사이트 전체를 페이지별로 요약하려면 각 페이지의 본문과 URL을 제공해야 하며, 원문은 Firecrawl 크롤링과 대규모 사이트의 Project 파일 업로드를 활용하는 방법을 소개한다.

📌 핵심 요약

• 원문은 ChatGPT가 링크만으로 웹사이트 전체를 읽지 못하며, 연결된 단일 페이지에서도 읽는 분량과 JavaScript 콘텐츠 접근에 한계가 있다고 설명한다. Peec AI의 2026년 6월 로그에서는 Deep Research가 페이지당 약 5,000~6,000자를 읽었고, Glenn Gabe의 2026년 10월 테스트에서는 ChatGPT와 Claude가 JavaScript로 렌더링된 페이지의 탐색 메뉴와 바닥글만 가져왔다.
• Firecrawl 공식 ChatGPT 플러그인은 로그인 후 지정한 URL 범위와 페이지 수 제한에 따라 사이트를 크롤링하고, 페이지별 URL과 요약을 제공한다. 크롤링은 페이지당 1 Firecrawl 크레딧이며 요약 형식은 추가 비용이 없고, /map으로 URL 목록을 확인하는 호출은 1크레딧이다.
• 작은 사이트나 문서 구간은 대화 안에서 처리하고, 반복해서 활용할 큰 사이트는 URL·제목·본문을 담은 파일로 저장해 Project에 추가하는 방식을 권한다. Python 튜토리얼 크롤링 사례에서는 17페이지에 17크레딧이 들었고, 전체 본문은 98,484토큰, 요약은 3,560토큰으로 요약이 약 28배 작았다.
• 2026년 10월 29일 확인한 OpenAI 제한에 따르면 텍스트·문서 파일은 파일당 200만 토큰·512MB이며, Project당 파일 수는 Free 5개, Go·Plus 25개, Edu·Pro·Business·Enterprise 40개다. 원문은 .txt 파일을 권하고, 대규모 본문 저장 예시에서는 파일이 150만 토큰을 넘기 전에 나누도록 요청한다.
• 업로드한 파일의 페이지 구분 방식을 설명한 뒤 URL을 붙인 페이지별 요약, 주제별 분류, 인용을 요청하고, 파일의 모든 URL을 나열시켜 크롤링 결과와 대조하는 방법을 제시한다. Firecrawl 무료 계정은 월 1,000크레딧을 제공하며, Claude에서도 Firecrawl 커넥터나 같은 크롤링 파일을 활용할 수 있다.

🧩 주요 포인트

1. 링크 접근에는 페이지 범위와 JavaScript 처리 한계가 있음 → 사이트 전체 요약은 먼저 페이지별 본문과 URL을 확보하는 과정에 달려 있다.
2. 페이지 사례에서 요약 파일은 전체 본문보다 약 28배 작음 → 개요에는 요약을, 인용과 세부 확인에는 전체 본문을 사용하는 구성이 적합하다.
3. Project의 파일 수와 파일당 200만 토큰 제한이 존재함 → 큰 사이트는 파일을 나눠 저장하고, URL 목록 대조로 실제 처리 범위를 확인할 필요가 있다.

🧠 상세 정리

1. 링크 하나로 전체 사이트를 요약할 수 없는 이유

원문은 ChatGPT가 단일 페이지 요약은 잘하지만, 홈페이지 링크만으로 웹사이트 전체를 읽지는 못한다는 문제에서 출발한다. 연결된 페이지에서도 읽는 범위에 제한이 있으며, Peec AI가 2026년 6월 공개한 로그에서는 ChatGPT Deep Research가 페이지당 약 5,000~6,000자를 읽는 것으로 나타났다고 소개한다. 또한 Glenn Gabe의 2026년 10월 테스트에서는 ChatGPT와 Claude가 JavaScript로 렌더링된 페이지에서 탐색 메뉴와 바닥글만 가져왔다는 결과를 인용한다. 2026년 7월 OpenAI 개발자 포럼에서 한 사용자가 Codex로 만든 사이트를 ChatGPT가 탐색하지 못해 화면 캡처를 붙였다는 경험도 보조 사례로 제시한다. 따라서 전체 사이트를 요약하려면 각 페이지의 텍스트를 수집하고, 어느 페이지에서 나온 내용인지 알 수 있도록 URL을 함께 제공해야 한다는 것이 글의 출발점이다.

2. 사이트 내용을 전달하는 방법과 선택 기준

원문은 링크 붙여넣기, 페이지별 복사·붙여넣기, CMS 내보내기, Firecrawl 플러그인, 크롤링 파일의 Project 업로드를 비교한다. 링크는 JavaScript 없이 내용이 로드되는 단일 페이지에 적합하고, 복사·붙여넣기는 몇 페이지를 다룰 때 사용할 수 있지만 작업량이 많으며 URL도 직접 남겨야 한다. CMS 내보내기는 자신이 운영하는 사이트에 한정되고, 페이지별 URL의 보존 여부는 내보내기 형식에 달려 있다. Firecrawl 플러그인은 문서의 특정 구간이나 작은 사이트에, 크롤링 결과를 파일로 저장하는 방식은 JavaScript 콘텐츠를 포함한 큰 사이트를 반복해서 활용할 때 적합하다고 설명한다. 사이트가 Firecrawl 문서처럼 llms-full.txt를 제공한다면 해당 파일을 업로드하는 대안도 있지만, 대부분의 사이트에는 이런 파일이 없다는 제약을 함께 언급한다.

3. Firecrawl 플러그인 설치와 크롤링 요청

사용 절차는 Firecrawl 플러그인 페이지의 Add to ChatGPT를 선택하거나 ChatGPT의 Plugins에서 Firecrawl을 검색한 뒤, Firecrawl 계정으로 로그인하는 방식으로 설명된다. 예시 프롬프트는 https://docs.python.org/3/tutorial/ 아래의 URL만 대상으로 최대 20페이지를 크롤링하고, 페이지마다 URL과 세 문장 요약을 만든 뒤 전체 구간을 한 문단으로 정리하도록 요청한다. 플러그인은 Firecrawl /crawl을 실행하므로 각 요약은 해당 페이지의 전체 텍스트를 바탕으로 생성된다고 원문은 설명한다. 플러그인은 제공업체의 구조화된 데이터를 다루는 Firecrawl Alexandria에도 접근하지만, 로그인한 계정이 필요하고 일부 제공업체는 팀 관리자가 먼저 약관에 동의해야 한다. 이런 대화 내 크롤링은 작은 사이트나 문서 구간에 적합하며, 큰 사이트를 다시 사용할 계획이라면 파일 저장으로 전환하도록 안내한다.

4. URL 파악에서 대규모 본문 파일 저장까지

파일로 저장하기 전에는 Firecrawl /map으로 사이트의 URL 목록과 개수를 확인하도록 권하며, 이 호출에는 1 Firecrawl 크레딧이 든다고 설명한다. 이어서 Python 튜토리얼 경로 아래 최대 20페이지를 주요 본문만 크롤링하고, markdown과 summary 형식을 함께 요청해 URL·제목·요약을 표로 받는 예시를 제시한다. 요약은 summaries.txt로 내려받되 각 항목을 페이지 제목, 별도 줄의 URL, 요약 순서로 구성하도록 요청한다. 수백 페이지 규모에서는 Firecrawl 플러그인을 Codex에서 사용해 전체 본문을 site.txt에 기록하고, 각 페이지 앞에 URL:과 Title: 줄을 붙인 뒤 Markdown을 이어 쓰는 방식을 제안한다. 이때 예시 크롤링 한도는 100페이지이며, 파일이 150만 토큰을 넘기게 된다면 site-part-2.txt 같은 다음 파일로 나누도록 지시해 파일당 제한에 여유를 둔다.

5. Python 튜토리얼 사례와 요약·본문의 역할

원문이 제시한 Python 튜토리얼 크롤링에서는 17페이지가 수집됐고, 총 17 Firecrawl 크레딧이 사용됐다. OpenAI o200k 토크나이저 기준으로 모든 페이지의 URL과 전체 Markdown을 담은 site.txt는 98,484토큰이었고, URL을 붙인 페이지별 요약을 담은 summaries.txt는 3,560토큰이었다. 이 사례에서 요약은 전체 본문보다 약 28배 작았으며, 원문은 전체 개요를 파악할 때 요약 파일을 사용하고 정확한 인용이나 세부 내용이 필요할 때 전체 본문 파일을 사용하도록 구분한다. 이 수치는 해당 17페이지 사례의 결과로 제시되며, 모든 웹사이트가 같은 비율로 압축된다는 주장은 하지 않는다. 개발자는 Firecrawl CLI, SDK 또는 API로도 같은 크롤링 작업을 수행할 수 있다고 덧붙여, 대화형 플러그인 외의 실행 경로도 소개한다.

6. 파일 업로드와 Project 용량 제한

원문은 2026년 10월 29일 확인한 OpenAI 파일 업로드 도움말을 근거로, 텍스트·문서 파일의 한도를 파일당 200만 토큰과 512MB로 제시한다. 업로드 빈도는 3시간마다 80개 파일이며 Free 사용자는 하루 3회 업로드할 수 있고, 저장 공간은 사용자당 25GB와 조직당 100GB라고 정리한다. Project당 파일 수는 Free 5개, Go와 Plus 25개, Edu·Pro·Business·Enterprise 40개로 구분하므로 사이트 규모와 요금제에 따라 저장 가능한 범위가 달라진다. 비슷한 길이의 일반적인 페이지라면 파일 하나에 수백 페이지를 담을 수 있다고 설명하지만, 제시된 직접 측정 사례는 17페이지 약 98,000토큰이다. 파일 형식으로는 .txt를 권하며, 2026년 6월 일부 포럼 사용자가 .mdx 파일은 첨부됐지만 읽히지 않았다고 보고한 점을 그 배경으로 소개한다.

7. Project 설정과 페이지별 요약 검증

반복해서 질문할 사이트는 Project의 Add files로 파일을 추가하고, 업로드한 파일만 근거로 답하며 각 사실 위의 URL을 인용하도록 지침을 설정하는 방식을 권한다. 질문하기 전에는 파일에 docs.python.org의 17페이지가 들어 있고 각 페이지가 URL 줄로 시작한다는 식으로 자료의 구조를 설명한다. 이후 페이지 순서대로 URL과 함께 두 문장씩 요약하거나, 페이지를 다섯 주제로 묶고 각 주제 아래 URL을 나열하도록 요청하는 예시를 제시한다. 오류 처리를 설명하는 페이지를 찾고 각 페이지에서 한 줄씩 URL과 함께 인용하도록 하는 예시는, 요약에서 세부 근거 확인으로 이어지는 활용을 보여준다. 마지막으로 파일의 모든 URL을 나열하게 한 뒤 크롤링된 목록과 비교하며, 나열된 URL이 더 적으면 ChatGPT가 파일 전체를 읽지 않은 것으로 판단하는 확인 방법을 제안한다.

8. 비용 구조와 Claude에서의 활용

Firecrawl의 비용은 크롤링 페이지당 1크레딧이며, 페이지 요약 형식을 함께 요청해도 추가 비용이 없다는 구조로 설명된다. 사이트 URL을 먼저 확인하는 /map 호출은 별도로 1크레딧이므로, 원문은 100페이지 사이트를 매핑하고 크롤링하는 데 약 101크레딧이 든다는 예시를 제시한다. 무료 계정에는 월 1,000 Firecrawl 크레딧이 포함돼 크롤링만 기준으로는 1,000페이지를 처리할 수 있다고 안내한다. Claude 사용자도 커넥터 디렉터리에 등록된 Firecrawl로 검색, 페이지 추출, 여러 페이지 크롤링을 수행하거나, 동일하게 수집한 텍스트 파일을 Claude 대화나 프로젝트에 업로드할 수 있다고 설명한다. 전체 흐름은 사용할 서비스와 사이트 규모에 맞게 콘텐츠를 수집하되, 페이지별 URL을 유지하고 개요용 요약과 세부 확인용 본문을 함께 활용하는 방식으로 이어진다.

🧾 핵심 주장 / 시사점

• 전체 사이트 요약의 핵심 조건은 페이지별 본문과 URL의 확보다. 입력 단계에서 페이지가 빠지거나 JavaScript 콘텐츠가 누락되면 요약의 범위도 제한된다.
• 17페이지 사례의 약 28배 크기 차이는 개요 탐색과 세부 근거 확인에 서로 다른 파일을 사용하는 이유를 보여준다. 요약 파일의 간결함과 전체 본문의 인용 가능성을 함께 활용할 수 있다.
• 파일 업로드 한도에 맞춰 자료를 저장하는 것과 ChatGPT가 그 자료를 모두 처리했는지 확인하는 것은 별개의 문제다. 원문이 제안한 URL 목록 대조는 이 처리 범위를 확인하는 방법이다.

✅ 액션 아이템

• Firecrawl /map으로 URL 수를 확인하고, 호출당 1크레딧과 페이지당 1 Firecrawl 크레딧을 기준으로 크롤링 범위 산정.
• 반복해서 활용할 큰 사이트는 URL·제목·본문을 .txt로 저장하고, 파일당 200만 토큰과 Project의 파일 수 제한에 맞춰 분할.
• Project에서 URL을 붙인 페이지별 요약을 요청하고, 파일의 모든 URL을 크롤링 결과와 대조해 처리 범위 확인.

❓ 열린 질문

• 요약할 사이트는 대화 안에서 처리할 작은 사이트인가, Project에 파일로 저장해 반복해서 활용할 큰 사이트인가?
• 파일당 200만 토큰과 Project당 Free 5개, Go·Plus 25개, Edu·Pro·Business·Enterprise 40개 제한 안에 전체 본문이 들어가는가?
• ChatGPT가 나열한 파일의 모든 URL은 Firecrawl 크롤링 결과의 URL 목록과 일치하는가?