Cloudflare, 2026년 9월 AI 크롤러 분리 마감일 설정

Cloudflare가 AI 기업들로 하여금 광고 지원 웹사이트에서 검색 색인 생성과 모델 학습 중 하나를 선택하도록 강제하고 있다. 이는 2,000억 달러 규모의 디지털 콘텐츠 접근 방식과 수익화 방식을 재편할 수 있는 변화다.

Cloudflare는 2026년 9월 15일부터 광고 지원 페이지에서 혼합 용도 웹 크롤러를 기본적으로 차단할 예정이다. 이에 따라 AI 기업들은 검색 색인 생성과 모델 학습을 분리하거나, 접근에 대한 대가를 퍼블리셔에 지불해야 한다. 이 정책은 기존 검색, AI 에이전트 사용, 모델 학습을 단일 봇으로 혼합하는 크롤러를 대상으로 한다.

"고객의 대다수는 AI가 자신들의 콘텐츠와 상호작용하기를 원한다"고 Cloudflare의 최고전략책임자 스테파니 코헨은 말했다. "하지만 광고와 구독 모델에 의존하는 고객에게는 뚜렷한 과제가 있다. 검색 가능성을 유지하면서도 자신의 작업물을 무료로 제공하지 않기를 원한다는 점이다."

이 기본 설정은 신규 Cloudflare 고객, 기존 고객이 새로 설정한 사이트, 그리고 모든 기존 무료 사용자에게 적용되며, 대시보드를 통해 설정을 조정할 수 있다. Cloudflare는 또한 Pay Per Crawl 실험을 보다 포괄적인 종량제(Pay Per Use) 모델로 발전시키고 있다. 이 모델에서는 퍼블리셔의 콘텐츠가 AI 검색 결과에 나타나거나 에이전트가 프리미엄 정보를 구매할 때 보상을 받게 된다. Ceramic.ai와 You.com이 이 프로그램의 첫 번째 파트너다. Cloudflare의 데이터에 따르면 AI 크롤러 트래픽의 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용되어 퍼블리셔와 AI 기업 모두에게 대역폭을 낭비하고 있다.

이번 조치는 웹의 경제 모델에서 발생한 구조적 붕괴에 대응하기 위한 것이다. AI 응답 엔진은 정보를 추출하고 요약을 제공하면서 사용자를 원본 출처로 보내지 않는다. Adexchanger 데이터에 따르면 Anthropic은 자사로 유입되는 단일 레퍼럴 1건당 11,122페이지를 크롤링하며, AI 챗봇 레퍼럴은 전통적인 검색보다 약 96% 적은 트래픽을 유발하고 사용자는 인용된 출처를 약 1%만 클릭한다. 퍼블리셔들은 지난 1년간 트래픽과 수익의 20%에서 90%를 손실했으며, 이는 새로운 보상 체계의 필요성에 대한紧迫感을 조성하고 있다.

Cloudflare는 특히 구글을 언급하며, 구글이 다른 AI 기업보다 약 2배 더 많은 정보에 접근할 수 있다고 지적했다. 이는 검색 거대 기업이 고객이 AI 학습에 활용되지 않으면서도 검색 가능성을 유지하기 어렵게 만들기 때문이다. 구글은 사이트 소유자가 AI 사용을 거부할 수 있는 Google Extended라는 봇을 제공하지만, 주력 봇인 Googlebot은 AI 개요 및 AI 모드를 포함한 검색 기능을 위해 크롤링한다. "이제 인터넷 트래픽의 대부분이 사람이 아닌 만큼, 우리는 더 나아가 더 빠르게 행동하여 지속 가능한 생태계가 등장할 수 있도록 해야 한다"고 Cloudflare 공동창업자 겸 CEO 매튜 프린스는 정책 발표에서 말했다.

이 인프라 제공업체는 콘텐츠 라이선싱 기회를 겨냥한 유일한 기업이 아니다. TollBit, ProRata, 마이크로소프트도 이 분야에 진출했으며, 각각 누가 조건을 통제할지에 대해 서로 다른 접근 방식을 취하고 있다. Really Simple Licensing은 특정 기업이 규칙을 독점하기 전에 개방형 표준을 추진하고 있다. Press Gazette에 따르면 거의 70%의 퍼블리셔가 향후 3년 내 AI 라이선싱 계약이 최소한 일부 수익을 창출할 것으로 예상하지만, 대부분은 현재로서는 미미한 수익원으로 보고 있다.

Cloudflare는 AI 봇이 콘텐츠에 어떻게 접근하는지, 해당 콘텐츠가 어디에서 인용되는지, 그리고 각 AI 플랫폼이 얼마나 많은 인간 트래픽을 반환하는지 보여주는 Attribution Business Insights 대시보드를 출시할 계획이다. 이 도구는 AI 응답 엔진 최적화(AEO), 즉 콘텐츠를 검색 엔진이 아닌 AI가 찾을 수 있도록 만드는 관행을 최초로 측정 가능하게 만들 것이다.

Cloudflare의 접근 방식에는 상당한 리스크가 따른다. 이 회사는 잠재적으로 에이전트 식별, 권한 계층, 사용량 측정, 결제 인프라를 모두 통제하게 되어 단일 중개자에 권력이 집중될 수 있다. 귀속(Attribution) 문제도 아직 해결되지 않았다. AI가 생성한 답변은 수십 개의 출처를 결합하거나 인용 표시 없이 원래 아이디어를 paraphrasing할 수 있다. 유료 접근은 자금이 풍부한 AI 플랫폼의 기존 이점을 강화하면서, 스타트업, 연구자, 오픈소스 개발자에게 웹을 더 비싸게 만들 수도 있다.

Cloudflare의 주가는 선행 주가수익비율이 약 45배에 거래되고 있으며, 이는 시장이 이 회사의 인프라 위치가 새로운 수익원으로 전환될 것이라는 기대를 반영한다. Cloudflare의 종량제 모델이 널리 채택될 경우, AI 콘텐츠 소비와 연계된 반복 수익 라인이 추가될 수 있다. 이는 아직 어떤 클라우드 인프라 제공업체도 대규모로 입증하지 못한 비즈니스 모델이다.

본 문서는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.