nuvemflare planos anunciados para bloquear automaticamente robôs da web de uso misto que indexam sites para mecanismos de pesquisa e atuam como agentes e treinadores de IA. Anteriormente, a empresa oferecia aos seus clientes a capacidade opcional de impedir que rastreadores rastreiem seus sites para chatbots de IA, mas agora a postura da Cloudflare está se tornando mais defensiva por padrão.

“Agora que a maior parte do tráfego na Internet não é humano, precisamos ir mais longe e agir mais rapidamente para que possa surgir um ecossistema sustentável”, disse Matthew Prince, CEO e cofundador da Cloudflare, num comunicado. “As novas ferramentas e parcerias da Cloudflare oferecem aos proprietários de sites mais visibilidade e opções comerciais, além de beneficiar as empresas de IA que possuem bots com intenções claras e transparentes. Esperamos que nossas mudanças padrão propostas incentivem os bots de uso misto a separar a pesquisa do uso e do treinamento de agentes.”

O tráfego da Web é usado para mostrar que as pessoas estão visualizando anúncios em um site ou pagando por suas assinaturas, mas a popularidade dos modelos de IA que podem visitar sites em nome do usuário para obter informações atualizadas virou esse sistema de cabeça para baixo. A nova abordagem da Cloudflare é uma tentativa de reequilibrar a conexão de uma forma que seja justa tanto para as empresas de IA quanto para qualquer pessoa que administre um site.

A partir de 15 de setembro de 2026, novos clientes e novos sites de assinantes existentes da Cloudflare irão, por padrão, “permitir a pesquisa, mas bloquear o treinamento e o uso de agentes para páginas de anúncios”. Os bots de uso misto que não dão aos proprietários do site a opção de escolher se seu site será usado para IA também serão bloqueados nas páginas de anúncios por padrão. Os usuários com contas gratuitas também mudarão para essas configurações padrão, a menos que desistam antes do prazo final de 15 de setembro, de acordo com a empresa.

Como parte dessas mudanças, a Cloudflare também está lançando uma nova versão do Pague para rastrear um recurso introduzido em 2025 que permite que sites bloqueiem rastreadores de IA por padrão, a menos que as empresas paguem para excluir seu conteúdo. O recurso agora é chamado de Pay Per Use e, em vez de basear os pagamentos no fato de uma página da web ter sido rastreada, a Cloudflare diz que os proprietários de sites serão pagos quando seu conteúdo aparecer nas respostas dos chatbots de IA. O anúncio menciona apenas parcerias com Ceramic.AI e You.com, mas a Cloudflare provavelmente espera que outras empresas de IA se juntem à medida que seus clientes embarcarem.

Além de tentar tornar o relacionamento entre sites e empresas de IA mais justo, como TechCrunch notasA Cloudflare também parece ter como alvo indireto o Google. O anúncio da empresa menciona que “o maior mecanismo de busca tem acesso a cerca de 2x mais informações do que as empresas líderes de IA, pois dificultam que os clientes permaneçam detectáveis ​​sem também serem usados ​​para IA”. O principal robô do Google, o Googlebot, indexa sites para os vários mecanismos de pesquisa da empresa e coleta informações para treinar Gemini e potencializar funções de IA, como Avaliações de IA e Moda IA. O Google permite que os sites optem por um robô separado chamado Google-Extended, que rastreia sites apenas para resultados de pesquisa tradicionais, mas se um editor quiser ser incluído nos resultados do Modo AI, mas não quiser que seu conteúdo treine os modelos do Google, ele não tem opção. A nova política da Cloudflare é uma tentativa de forçar o Google e outras empresas de bots mistos a mudarem suas táticas.