🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Cloudflare는 AI 검색이 웹의 기존 ‘크롤링-방문-수익’ 구조를 약화시키고 있다고 보고, 더 똑똑한 크롤링 신호와 사용 기반 보상 모델로 검색의 경제적 거래를 재구성하려 한다.

📌 핵심 요약

• 웹 검색은 오랫동안 검색엔진이 콘텐츠를 크롤링하고 그 대가로 방문자를 보내는 방식으로 작동했지만, AI 답변 엔진은 페이지를 요약해 방문과 수익을 줄이면서 기존 거래를 흔들고 있다.
• Cloudflare는 사이트 소유자가 AI 봇 접근을 통제할 수 있는 옵션을 제공해 왔지만, 단순 차단만으로는 콘텐츠를 지키는 데 그치며 지속 가능한 사업 모델을 다시 만들 수 없다고 본다.
• 새 연구 프로그램은 Cloudflare 네트워크가 보는 콘텐츠 신선도, 품질, 변경 여부, 인간·봇 트래픽 흐름 신호를 활용해 AI 검색이 더 관련성 높은 최신 콘텐츠를 찾고 불필요한 재크롤링을 줄이도록 하는 데 초점을 둔다.
• 기존 Pay Per Crawl은 크롤링 횟수를 기준으로 보상하는 출발점이었지만, Cloudflare는 Ceramic.ai, You.com 등과 함께 실제 검색 결과나 쿼리에서 콘텐츠가 쓰였을 때 보상하는 Pay Per Use 방향을 실험하고 있다.
• Cloudflare는 에이전트가 여러 번 검색하고 빠르게 읽는 새로운 인터넷에서는 클릭이나 크롤링보다 ‘결과’가 더 중요한 단위가 되며, 콘텐츠 발견성과 공정한 보상을 함께 보장하는 인프라가 필요하다고 주장한다.

🧩 주요 포인트

1. 웹 검색은 오랫동안 검색엔진이 콘텐츠를 크롤링하고 그 대가로 방문자를 보내는 방식으로 작동했지만, AI 답변 엔진은 페이지를 요약해 방문과 수익을 줄이면서 기존 거래를 흔들고 있다.
2. Cloudflare는 사이트 소유자가 AI 봇 접근을 통제할 수 있는 옵션을 제공해 왔지만, 단순 차단만으로는 콘텐츠를 지키는 데 그치며 지속 가능한 사업 모델을 다시 만들 수 없다고 본다.
3. 새 연구 프로그램은 Cloudflare 네트워크가 보는 콘텐츠 신선도, 품질, 변경 여부, 인간·봇 트래픽 흐름 신호를 활용해 AI 검색이 더 관련성 높은 최신 콘텐츠를 찾고 불필요한 재크롤링을 줄이도록 하는 데 초점을 둔다.
4. 기존 Pay Per Crawl은 크롤링 횟수를 기준으로 보상하는 출발점이었지만, Cloudflare는 Ceramic.ai, You.com 등과 함께 실제 검색 결과나 쿼리에서 콘텐츠가 쓰였을 때 보상하는 Pay Per Use 방향을 실험하고 있다.
5. Cloudflare는 에이전트가 여러 번 검색하고 빠르게 읽는 새로운 인터넷에서는 클릭이나 크롤링보다 ‘결과’가 더 중요한 단위가 되며, 콘텐츠 발견성과 공정한 보상을 함께 보장하는 인프라가 필요하다고 주장한다.

🧠 상세 정리

1. 웹 검색의 오래된 거래가 흔들린 배경

원문은 웹 경험의 대부분이 검색에서 출발한다고 설명하며, 지난 약 30년 동안 검색의 기본 구조가 비교적 단순한 거래였다고 정리한다. 사이트가 검색엔진의 크롤링을 허용하면 검색엔진은 방문자를 보내고, 콘텐츠 제작자나 상인은 그 방문자를 광고, 구독, 청중 규모 같은 사업 기반으로 전환했다. 이 구조에서는 발견 가능성과 수익화가 어느 정도 연결되어 있었지만, AI 검색의 확산으로 이 연결이 약해지고 있다. Cloudflare는 1년 전 Content Independence Day에서 이 거래를 AI 시대에도 지키기 위한 선을 그었지만, 이제는 차단해야 할 일부 학습 크롤러 문제가 아니라 검색 자체가 AI 답변 중심으로 재구성되는 상황이라고 본다.

2. AI 답변 엔진이 만든 발견성과 보상의 충돌

원문은 오늘날 답변 엔진이 웹페이지를 읽고 사용자에게 요약을 제공하면서, 사용자가 원문 사이트를 방문할 필요가 줄어드는 문제를 제기한다. Pew Research Center의 2025년 연구에 따르면 Google이 AI 요약을 보여줄 때 사용자가 전통적인 검색 결과 링크를 클릭한 비율은 8%였고, 요약 안의 링크를 클릭한 비율은 1%에 그쳤다. 이는 AI 요약이 없을 때보다 전통 링크 클릭이 약 절반 수준으로 낮아졌다는 의미로 제시된다. 그 결과 사이트 소유자는 AI를 거부하면 발견되기 어려워지고, 허용하면 사용자에게 가치를 제공하면서도 보상은 점점 덜 받는 곤란한 선택지에 놓인다.

3. 차단을 넘어 새로운 경제 모델로 이동

Cloudflare는 사이트 접근과 봇 행동을 통제하는 새 옵션을 발표했지만, 원문은 차단이 첫 단계일 뿐이라고 강조한다. “아니오”라고 말하는 기능은 콘텐츠를 보호할 수는 있어도 그 콘텐츠를 지속 가능하게 만드는 사업 모델을 재건하지는 못한다. 그래서 Cloudflare는 검색을 출발점으로 삼아 인터넷의 새로운 경제 모델을 만들 필요가 있다고 주장한다. 이 문제의 핵심은 단순히 어떤 봇을 막을지 정하는 것이 아니라, 웹이 어떤 조건에서 AI 검색에 “예”라고 말할 수 있는지를 새롭게 설계하는 데 있다.

4. 책임 있는 AI 봇 원칙과 두 가지 공격적 전환

원문은 투명성과 통제가 기반이지만 그것만으로는 충분하지 않다고 말한다. Cloudflare는 2025년에 책임 있는 AI 봇 원칙을 제시했으며, 봇은 자신이 누구인지와 목적을 투명하게 밝히고, 사이트 소유자의 선택을 존중하며, 선의로 행동해야 한다고 설명한다. 그러나 좋은 봇 행동을 강제하는 것만으로는 AI 검색을 더 유용하게 만들거나 답변의 기반이 된 창작자에게 보상을 보내지 못한다. 이에 따라 Cloudflare는 방어에서 공격으로 이동하는 두 가지 이니셔티브, 즉 AI 검색을 더 똑똑하게 만드는 일과 창작자가 제공한 가치에 대해 보상받게 하는 일을 발표한다.

5. AI 검색을 더 똑똑하게 만드는 연구 프로그램

Cloudflare는 고객이 새로움이 없는 크롤링 비용을 부담하지 않도록 AI 검색을 더 똑똑하게 만드는 연구 프로그램을 시작한다고 밝힌다. 전 세계 웹의 20% 이상이 Cloudflare 네트워크 뒤에 있기 때문에, Cloudflare는 어떤 페이지가 실제로 바뀌었는지, 사람과 에이전트가 어디로 몰리는지에 대한 독특한 관점을 가질 수 있다고 설명한다. 이 프로그램은 고객이 공유하기로 선택한 콘텐츠 신선도 신호와 Cloudflare가 보는 인간·봇 트래픽 흐름 통찰을 결합해 답변 엔진이 고품질 콘텐츠를 찾는 경로를 제공하려 한다. 동시에 고객에게는 사용자가 실제로 무엇을 묻고 자신의 콘텐츠가 AI 결과에 어떻게 나타나는지 볼 수 있는 관점을 제공하는 것이 목표다.

6. 불필요한 재크롤링을 줄이는 효과

원문은 불필요한 크롤링 절감이 생각보다 큰 이점이라고 설명한다. Cloudflare 데이터에 따르면 선량한 봇의 크롤링 트래픽 중 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 쓰이며, 크롤링 규모가 커질수록 이 비율이 더 중요해질 가능성이 있다. “여기는 바뀐 것이 없다”는 신호만 있어도 크롤러는 방문을 건너뛸 수 있고, 답변 엔진은 컴퓨팅 비용을 줄일 수 있다. 더 중요하게는 사이트 소유자가 필요 없는 요청을 처리하고 비용을 부담하지 않아도 되며, Cloudflare는 이 기능을 검색에 한정하고 콘텐츠를 공유하거나 기반 모델 학습에 쓰지 않는 중립적 프로그램으로 설계했다고 밝힌다.

7. Pay Per Crawl에서 Pay Per Use로의 전환

Cloudflare는 지난해 Pay Per Crawl을 출시해 퍼블리셔가 AI 기업의 콘텐츠 크롤링에 요금을 부과할 수 있게 했지만, 원문은 크롤링이 가치 측정 방식으로는 거칠다고 지적한다. 어떤 페이지는 한 번만 크롤링되고도 수천 개 답변에 인용될 수 있으며, 반대로 여러 번 크롤링되고도 실제 답변에는 거의 쓰이지 않을 수 있다. 그래서 Cloudflare는 Pay Per Crawl을 Pay Per Use로 발전시키는 실험을 진행하고 있으며, Ceramic.ai와 You.com 같은 AI 기업이 언급된다. Ceramic의 pay-per-query 모델은 콘텐츠가 검색 결과에 나타날 때 opt-in한 퍼블리셔가 보상받도록 설계되어, 크롤러가 몇 번 가져갔는지가 아니라 실제로 콘텐츠가 전달한 가치에 보상이 따라가도록 한다.

8. 보고, 발견 최적화, 에이전트 시대의 결과 기반 경제

Cloudflare와 Ceramic 프로그램에 참여하는 콘텐츠 소유자는 보상뿐 아니라 answer engine optimization을 위한 새 보고 기능도 얻는다고 원문은 설명한다. 고객은 자신의 콘텐츠가 검색 결과에 나타나게 한 주요 쿼리, 특정 웹페이지와 스니펫, 평균 검색 결과 순위 등을 확인할 수 있으며, 이는 발견 가능성을 돕는 제품들의 시작점으로 제시된다. You.com의 접근은 에이전트가 사전 약정 없이 필요한 프리미엄 콘텐츠 조각에 온디맨드로 지불하는 방식으로 소개된다. Cloudflare는 이 모든 것이 실험임을 인정하면서도, 에이전트가 한 질문에 답하기 위해 수십 번 검색하는 세계에서는 클릭이나 크롤링보다 결과가 중요해지고, 그 결과를 가능하게 한 사람들에게 보상하는 방식이 웹을 지속시키는 길이라고 주장한다.

🧾 핵심 주장 / 시사점

• AI 검색의 핵심 문제는 단순한 봇 접근 허용 여부가 아니라, 콘텐츠가 검색 답변에 쓰일 때 발견성과 보상이 함께 작동하도록 거래 단위를 다시 정하는 데 있다.
• Cloudflare가 강조하는 신선도·변경 여부 신호는 AI 기업에는 더 좋은 답변과 낮은 컴퓨팅 비용을, 사이트 소유자에게는 서버 부담 감소와 검색 노출 이해라는 이중 효과를 제공하려는 장치다.
• Pay Per Use 실험은 크롤링 횟수보다 실제 검색 결과·쿼리·프리미엄 콘텐츠 사용 같은 결과 중심 단위가 에이전트 시대의 웹 경제에 더 적합하다는 문제의식을 보여준다.

✅ 액션 아이템

• AI 검색이 페이지 요약 위주로 작동해 방문과 수익을 줄이는 패턴을 반영해 성과 척도와 정책 설계를 AI 결과 중심으로 정비한다.
• Cloudflare 네트워크의 콘텐츠 신선도·품질·변경 여부와 인간·봇 트래픽 신호를 결합해 재크롤링 판단 및 노출 우선순위를 정한다.
• Pay Per Crawl에서 Pay Per Use로 이동하는 맥락에서 Ceramic.ai·You.com 방식의 실제 결과/쿼리 사용 보상 기준 적용 범위를 정의한다.

❓ 열린 질문

• AI 답변 엔진 전환이 어떤 유형에서 크롤-방문-수익 거래를 가장 크게 약화시키는지 실측 지표로 파악할 수 있는가?
• 결과·쿼리 단위 보상 체계가 콘텐츠 발견성과 공정 보상을 동시에 확보하려면 어떤 신호 조합이 필요한가?
• 에이전트가 반복 검색·빠른 판독을 하는 환경에서 클릭보다 결과 단위를 핵심 단위로 쓸 때 과보상과 품질 저하를 어떻게 구분할 것인가?