Redirects for AI Training enforces canonical content
Quick Summary
Cloudflare는 AI 학습 크롤러가 오래된 문서를 그대로 학습하지 않도록 기존 canonical 태그를 검증된 AI 학습 크롤러 대상 HTTP 301 리디렉션으로 강제하는 Redirects for AI Training을 출시했다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
Cloudflare는 AI 학습 크롤러가 오래된 문서를 그대로 학습하지 않도록 기존 canonical 태그를 검증된 AI 학습 크롤러 대상 HTTP 301 리디렉션으로 강제하는 Redirects for AI Training을 출시했다.
📌 핵심 요약
- Cloudflare는 Wrangler CLI의 오래된 문서처럼 deprecation 배너, noindex, canonical 태그가 모두 있어도 AI 학습 크롤러가 이를 안정적으로 따르지 않는 문제를 제기했다.
- developers.cloudflare.com에서 AI Crawl Control로 확인한 결과, AI Crawler Category 봇은 최근 30일 동안 480만 회 방문했고 오래된 콘텐츠를 최신 콘텐츠와 같은 비율로 소비했다.
- Redirects for AI Training은 검증된 AI 학습 크롤러가 비자기참조 canonical 태그가 있는 페이지에 접근하면 HTML을 반환하기 전에 canonical URL로 301 Moved Permanently를 보내도록 만든다.
- 이 기능은 GPTBot, ClaudeBot, Bytespider 같은 AI 학습용 크롤러에 적용되며, 사람 방문자·검색 색인·AI Assistant 및 AI Search 범주의 에이전트 트래픽에는 영향을 주지 않는다.
- Cloudflare는 Radar AI Insights에 AI 크롤러가 받는 2xx·3xx·4xx·5xx 응답 상태 코드 분석을 추가해, 사이트 운영자가 AI 크롤러에 실제로 어떤 정책 신호를 보내고 있는지 볼 수 있게 했다.
🧩 주요 포인트
- Cloudflare는 Wrangler CLI의 오래된 문서처럼 deprecation 배너, noindex, canonical 태그가 모두 있어도 AI 학습 크롤러가 이를 안정적으로 따르지 않는 문제를 제기했다.
- developers.cloudflare.com에서 AI Crawl Control로 확인한 결과, AI Crawler Category 봇은 최근 30일 동안 480만 회 방문했고 오래된 콘텐츠를 최신 콘텐츠와 같은 비율로 소비했다.
- Redirects for AI Training은 검증된 AI 학습 크롤러가 비자기참조 canonical 태그가 있는 페이지에 접근하면 HTML을 반환하기 전에 canonical URL로 301 Moved Permanently를 보내도록 만든다.
- 이 기능은 GPTBot, ClaudeBot, Bytespider 같은 AI 학습용 크롤러에 적용되며, 사람 방문자·검색 색인·AI Assistant 및 AI Search 범주의 에이전트 트래픽에는 영향을 주지 않는다.
- Cloudflare는 Radar AI Insights에 AI 크롤러가 받는 2xx·3xx·4xx·5xx 응답 상태 코드 분석을 추가해, 사이트 운영자가 AI 크롤러에 실제로 어떤 정책 신호를 보내고 있는지 볼 수 있게 했다.
🧠 상세 정리
1. 오래된 문서가 AI 학습 데이터로 남는 문제
Cloudflare는 Wrangler CLI가 지난 6년 동안 여러 주요 버전을 거치며 명령어와 설정 방식이 바뀌었고, 그 과정에서 오래된 문서도 계속 보존해 왔다고 설명한다. 해당 v1 문서에는 deprecation 배너, noindex 메타 태그, 최신 문서를 가리키는 canonical 태그가 붙어 있어 사람과 검색엔진에는 “이 콘텐츠는 오래됐다”는 신호를 보낸다. 그러나 AI 학습 크롤러는 이런 안내 신호를 안정적으로 따르지 않았고, 결과적으로 오래된 문서를 최신 문서와 비슷하게 수집했다. 문제는 AI 에이전트가 항상 실시간으로 웹을 다시 가져오는 것이 아니라 학습된 모델의 기반 지식에 의존한다는 점이다. 오래된 문서가 학습되면 이후 에이전트의 답변도 낡은 전제를 물려받을 수 있다.
2. AI Crawl Control로 확인한 실제 크롤링 양상
Cloudflare는 developers.cloudflare.com에서 AI Crawl Control을 사용해 AI Crawler Category 봇의 접근을 관찰했다. 최근 30일 동안 이 범주의 봇은 480만 회 방문했으며, 오래된 콘텐츠를 최신 콘텐츠와 같은 비율로 소비했다. Cloudflare가 보기에 deprecation 배너, noindex, canonical 태그 같은 기존의 권고형 신호는 AI 학습 크롤러의 수집 행태에 측정 가능한 차이를 만들지 못했다. 특히 학습 크롤러가 페이지의 전체 텍스트를 가져갈 경우, 경고 배너도 단순히 본문 중 하나의 문단처럼 취급될 위험이 있다. 따라서 Cloudflare는 단순 안내가 아니라 크롤러가 실제로 받는 응답 자체를 바꾸는 방식이 필요하다고 본다.
3. noindex와 robots.txt만으로 부족한 이유
검색엔진 환경에서는 noindex가 비교적 풍부한 신호 체계로 작동하지만, 페이지 안에 “이 내용으로 학습하지 말라”고 말하는 동등한 표준 지시자는 없다고 글은 지적한다. 오래된 페이지를 경고 배너와 함께 유지하는 방식은 사람이 직접 읽을 때는 작동할 수 있지만, AI 학습 크롤러에는 충분하지 않다. 반대로 크롤러를 완전히 차단하면 무엇을 대신 학습해야 하는지에 대한 신호가 사라지는 공백이 생긴다. robots.txt도 일부 보호를 제공하지만, 크롤러별·경로별·콘텐츠 갱신별 지시를 계속 관리하려면 운영 부담이 커진다. Cloudflare가 제안하는 핵심은 차단이나 권고가 아니라 “현재 콘텐츠는 여기 있다”는 구체적 방향을 크롤러에 강제하는 것이다.
