🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Cloudflare는 웹사이트 소유자가 AI 트래픽을 일괄 차단하는 대신 Search, Agent, Training 용도별로 관리하고, 봇의 콘텐츠 사용 방식까지 더 세밀하게 표현·통제할 수 있는 새 옵션을 공개했다.

📌 핵심 요약

• Cloudflare는 1년 전 콘텐츠 소유자가 AI 봇을 차단하거나 크롤링에 과금할 수 있도록 했지만, 이제는 단순 차단보다 더 세밀한 선택지가 필요하다고 설명한다.
• 새 접근은 봇을 단순히 AI인지 아닌지로 나누지 않고, 사이트에서 무엇을 하는지, 무엇을 저장하는지, 콘텐츠를 어떻게 다시 공유하는지를 기준으로 분류한다.
• 핵심 분류는 Search, Agent, Training 세 가지이며, Cloudflare는 봇 운영자가 여러 목적을 하나의 크롤러에 섞지 말고 목적별로 분리해야 투명성이 높아진다고 주장한다.
• 2026년 9월 15일부터 Cloudflare에 새로 온보딩되는 도메인에서는 광고가 표시되는 페이지에서 Training과 Agent가 기본 차단되고 Search는 기본 허용된다.
• Enterprise Bot Management 고객에게는 BotBase가 제공되어 알려진 봇과 에이전트를 검색·분류·필터링할 수 있으며, 콘텐츠 사용 수준을 robots.txt의 Content-Signal로 표현하는 확장도 테스트된다.

🧩 주요 포인트

1. Cloudflare는 1년 전 콘텐츠 소유자가 AI 봇을 차단하거나 크롤링에 과금할 수 있도록 했지만, 이제는 단순 차단보다 더 세밀한 선택지가 필요하다고 설명한다.
2. 새 접근은 봇을 단순히 AI인지 아닌지로 나누지 않고, 사이트에서 무엇을 하는지, 무엇을 저장하는지, 콘텐츠를 어떻게 다시 공유하는지를 기준으로 분류한다.
3. 핵심 분류는 Search, Agent, Training 세 가지이며, Cloudflare는 봇 운영자가 여러 목적을 하나의 크롤러에 섞지 말고 목적별로 분리해야 투명성이 높아진다고 주장한다.
4. 2026년 9월 15일부터 Cloudflare에 새로 온보딩되는 도메인에서는 광고가 표시되는 페이지에서 Training과 Agent가 기본 차단되고 Search는 기본 허용된다.
5. Enterprise Bot Management 고객에게는 BotBase가 제공되어 알려진 봇과 에이전트를 검색·분류·필터링할 수 있으며, 콘텐츠 사용 수준을 robots.txt의 Content-Signal로 표현하는 확장도 테스트된다.

🧠 상세 정리

1. 1년 전의 문제의식: 깨진 크롤러와 웹사이트의 거래

Cloudflare는 1년 전 첫 Content Independence Day를 선언하며 웹사이트 소유자가 자신의 콘텐츠 통제권을 되찾아야 한다고 주장했다. 기존 웹의 암묵적 거래는 크롤러가 사이트를 수집하는 대신 검색 유입을 돌려준다는 구조였지만, AI가 콘텐츠를 가져가면서도 트래픽을 돌려주지 않는 상황이 생겼다고 설명한다. 이 문제는 웹사이트 운영자에게 실존적 위협으로 제시되며, 당시 Cloudflare는 원클릭 Block AI Bots 옵션과 Pay-Per-Crawl 마켓플레이스를 내놓았다. 글은 이 출발점을 바탕으로, 단순 차단에서 더 정교한 통제 체계로 논의를 확장한다.

2. 단순 차단만으로는 부족한 이유

글은 콘텐츠 소유자가 여전히 자신이 만든 콘텐츠를 보호하고, 그 콘텐츠가 사용될 때 보상받아야 한다고 전제한다. 그러나 모든 자동화를 항상 막는 방식은 모든 사이트에 맞는 해법이 아니라고 본다. 특히 작은 사이트는 AI 학습에 콘텐츠가 쓰이는 문제뿐 아니라 애초에 발견되지 못하는 문제가 더 클 수 있다. 검색에 노출되려면 크롤러 접근을 허용해야 하지만, 그 과정에서 AI 학습에도 콘텐츠를 내주게 되는 딜레마가 생긴다. Cloudflare는 같은 봇이 검색과 학습을 모두 수행하면 기존 검색 사업자에게 불공정한 이점이 생기고, 신규 사업자는 경쟁 격차를 줄이기 위해 더 회피적으로 행동할 유인이 생긴다고 지적한다.

3. AI 여부보다 행동을 보는 분류 방식

글은 오늘날 AI가 거의 모든 것 안에 들어갈 수 있으므로, 어떤 봇이 AI인지 아닌지를 기준으로 삼는 방식은 곧 낡아질 수 있다고 말한다. Google 검색도 단순히 AI로 정렬되는 수준을 넘어 결과 페이지에서 직접 질문에 답하는 답변 엔진으로 변하고 있으며, 이런 방향은 Google만의 문제가 아니라고 설명한다. 따라서 Cloudflare는 AI라는 라벨보다 봇이나 에이전트가 사이트에서 실제로 무엇을 하는지를 보겠다고 한다. 핵심 질문은 그 트래픽이 사이트에서 어떤 행동을 하는지, 무엇을 저장하는지, 그리고 콘텐츠를 어떻게 다시 공유하는지다.

4. 세 가지 핵심 AI 사용 사례: Search, Agent, Training

Cloudflare가 모든 고객이 관리할 수 있어야 한다고 제시한 핵심 AI 사용 사례는 Search, Agent, Training이다. Search는 콘텐츠를 수집하거나 색인화해 나중에 질문에 답할 수 있게 하는 행동이며, 사이트 소유자는 그 결과로 추천 트래픽이나 공정한 보상을 기대해야 한다고 설명된다. Agent는 보통 실시간으로 사람을 대신해 어떤 일을 끝내기 위해 웹 애플리케이션을 방문하는 자동화로, ChatGPT-User 같은 채팅 fetch 봇이나 브라우저 사용 에이전트가 예로 든다. Training은 모델을 학습하거나 미세조정하기 위해 콘텐츠를 가져가는 크롤러이며, 데이터가 AI의 기본 구조에 영구적으로 흡수된다는 점이 핵심으로 제시된다.

5. 다목적 크롤러와 투명성 요구

글은 많은 인기 크롤러가 하나의 분류에 속하지만, 일부는 여러 분류에 동시에 속할 수 있다고 설명한다. Cloudflare는 광고 검증, 피드 가져오기, 에이전트형 거래 같은 다른 자동화 행동도 분류하지만, 모든 웹사이트 소유자가 Search, Agent, Training 세 가지 AI 중심 사용 사례를 간단히 관리할 수 있어야 한다고 본다. 특히 하나의 회사가 검색 색인을 만들고, 에이전트로 행동하며, 모델 학습용 데이터를 수집한다면 이를 세 개의 별도 크롤러로 분리하라고 강하게 권고한다. 이는 사이트 소유자가 특정 크롤러가 왜 방문하는지 더 잘 이해하고, 그 크롤러에게 어떤 접근을 허용할지 더 투명하게 결정하도록 하기 위한 것이다.

6. 모든 고객을 위한 새 AI 트래픽 관리 옵션과 기본값

Cloudflare는 기존 Block AI bots 관리 프리셋이 모델 학습을 위해 데이터를 크롤링하는 단일 목적 봇에 초점을 맞췄다고 설명한다. 새 옵션은 Search, Agent, Training 크롤러를 기준으로 AI 트래픽을 더 세밀하게 관리할 수 있게 하며, Free 티어 고객도 포함된다. 2026년 9월 15일부터 Cloudflare에 새로 온보딩되는 도메인에서는 광고가 표시되는 페이지에서 Training과 Agent가 기본 차단되고 Search는 기본 허용된다. 광고는 사람이 페이지에 도착해 보도록 의도된 신호이자 비즈니스를 지탱하는 수익화 요소이므로, 사람의 주의를 방해할 수 있는 봇을 막겠다는 논리다. 반대로 Search는 방문자를 되돌려 보내는 행동에 가장 가깝기 때문에 대부분의 사이트 소유자에게 허용이 유리하다고 본다.

7. 다목적 크롤러에 대한 가장 제한적인 규칙 적용

9월 15일의 또 다른 변화는 Search와 Training을 함께 수행하는 다목적 크롤러가 모든 행동 기준에 따라 허용되거나 차단된다는 점이다. Cloudflare는 이를 웹사이트 소유자를 위한 투명성 요구와 연결한다. 기본값은 적용 가능한 규칙 중 가장 제한적인 규칙에 따라 집행되므로, Training 차단을 선택한 고객은 Googlebot, Applebot, BingBot처럼 Search와 Training 목적을 함께 가진 다목적 크롤러도 차단하게 된다. 이 선택은 새 AI 트래픽 관리 옵션을 통해서든 기존 Block AI bots 서비스를 통해서든 동일하게 적용된다. 다만 고객 선택이 최우선이므로, 사이트 소유자는 9월 15일 전까지 Security 설정에서 새 기본 구성을 원하지 않는다고 표시해 Training 목적도 가진 Search 크롤러에 대한 변경을 피할 수 있다.

8. BotBase와 콘텐츠 사용 신호의 확장

Enterprise Bot Management 고객을 위해 Cloudflare는 BotBase라는 새 가시성 기능을 공개한다. BotBase는 Verified bots와 agents를 포함한 알려진 봇 전체를 추적하는 데이터베이스이며, Cloudflare 대시보드에서 검색 가능한 전체 디렉터리로 제공된다. 고객은 각 봇이 새 taxonomy에서 어떻게 분류되는지 보고, 특정 봇의 트래픽을 필터링하거나 Security rules에 쓸 detection ID를 복사할 수 있다. 또한 Cloudflare는 봇이 콘텐츠를 어떻게 보관하고 다시 공유할 수 있는지를 나타내는 content use 개념을 제시하며, immediate, reference, full 세 수준을 둔다. 이 값은 Search, SEO, Ads Verification 같은 분류와 결합해 더 세밀한 규칙을 만들 수 있고, robots.txt의 Content-Signal에 use=immediate, use=reference, use=full 같은 선택적 필드로 표현하는 테스트도 시작된다.

🧾 핵심 주장 / 시사점

• 핵심 변화는 AI 봇을 선악이나 AI 여부로 나누는 것이 아니라, 검색 색인·실시간 대리 행동·모델 학습이라는 구체적 사용 목적별로 웹사이트 소유자의 선택권을 넓히는 데 있다.
• Cloudflare는 Search를 기본적으로 허용하고 Training과 Agent를 광고 페이지에서 기본 차단함으로써, 웹 발견 가능성과 콘텐츠 수익화 보호 사이의 균형을 맞추려 한다.
• 다목적 크롤러를 가장 제한적인 규칙으로 처리하겠다는 방침은 검색 사업자와 AI 학습 사업자가 같은 봇을 함께 쓰는 관행에 투명성 압박을 주는 조치로 읽힌다.

✅ 액션 아이템

• 웹사이트 AI 트래픽 규칙을 Search, Agent, Training의 3분류로 재정의해 목적별 정책을 분리하고 운영한다.
• 광고 페이지가 있는 신규 온보딩 도메인에서 Training·Agent 기본 차단, Search 기본 허용 조건을 실제 트래픽별로 점검한다.
• Enterprise Bot Management 고객 환경에서 BotBase 검색·분류·필터링을 Content-Signal 확장 실험과 함께 함께 검증한다.

❓ 열린 질문

• 크롤러가 ‘무엇을 하는지·저장하는지·재공유하는지’ 판단 기준을 실제 사이트 정책으로 어떻게 표준화할 수 있을까?
• 2026년 9월 15일 이후 광고 페이지에서 기본 적용되는 Training·Agent 차단 규칙이 기존 운영 흐름과 충돌할 때 조정 우선순위를 어떻게 정할 것인가?
• Content-Signal로 표현한 콘텐츠 사용 수준이 BotBase 분류·필터링과 다르게 해석될 때 충돌을 어떤 기준으로 조정할 것인가?