Cloudflare Bloqueando Bots de IA: Como Verificar (2026)

Cloudflare bloqueando bots de IA é quando a camada de CDN e segurança que fica na frente do seu site rejeita — na borda, antes do servidor — as requisições de crawlers como GPTBot, ClaudeBot e PerplexityBot. O resultado prático: sua página existe, seu conteúdo é bom, mas o ChatGPT nunca consegue lê-la para te citar.

Esse bloqueio é hoje o motivo mais silencioso de invisibilidade em IA que encontro em auditorias — e quase nunca aparece no radar do time de marketing, porque a decisão foi tomada por padrão ou pela TI, não por quem cuida da visibilidade. Este guia mostra o que a Cloudflare mudou, por que seu robots.txt liberado não resolve, e como diagnosticar o bloqueio em poucos minutos.

O que significa “Cloudflare bloqueando bots de IA”?

Significa que um intermediário decide, antes do seu servidor responder, se um bot de IA pode ou não baixar sua página. A Cloudflare protege cerca de 20% do tráfego da web, segundo a própria empresa, e em 1º de julho de 2025 se tornou o primeiro grande provedor de infraestrutura a bloquear crawlers de IA por padrão em novos domínios. Como Matthew Prince, CEO da Cloudflare, resumiu: se a internet vai sobreviver à era da IA, os publishers precisam de controle.

A virada é grande porque o comportamento padrão inverteu. Em junho de 2024, apenas 2,98% dos maiores sites da web bloqueavam bots de IA, enquanto o GPTBot já acessava 35,46% dos sites protegidos pela Cloudflare. Ou seja: até ontem, “não fazer nada” significava estar aberto. A partir de 2025, “não fazer nada” em um domínio novo na Cloudflare passou a significar bloqueado. Para quem depende de ser citado por IAs, o default deixou de ser amigo.

Por que seu robots.txt liberado não garante acesso?

Porque robots.txt é um pedido educado, e o bloqueio na borda é uma tranca de verdade. O arquivo robots.txt só funciona se o bot chegar até ele, ler e decidir obedecer. Quando a Cloudflare bloqueia na camada de rede, a requisição do GPTBot recebe um 403 Forbidden antes mesmo de tocar no seu servidor — o crawler nunca vê o robots.txt dizendo “seja bem-vindo”.

É o descompasso que mais engana equipes de marketing. Você abre o arquivo em seusite.com/robots.txt, vê User-agent: GPTBot / Allow: /, e conclui que está tudo certo. Mas a Cloudflare pode estar barrando na borda, acima disso — o site diz “bem-vindo” no papel enquanto fecha a porta na prática. Já vi empresas brasileiras gastando semanas reescrevendo robots.txt para um problema que morava três camadas acima. Se você ainda não configurou o arquivo em si, o passo anterior é acertar o robots.txt para os crawlers de IA — mas ele nunca vai bastar sozinho.

Há ainda um agravante técnico. Mesmo liberado na borda, o bot pode não enxergar seu conteúdo se ele só aparece após execução de JavaScript. Vale checar em paralelo se os crawlers de IA renderizam o JavaScript do seu site. São dois gargalos diferentes, e um mascara o outro.

Quais bots de IA o Cloudflare bloqueia por padrão?

O bloqueio padrão mira os crawlers de treinamento e de busca das principais IAs. A lista que importa para visibilidade no Brasil inclui:

• GPTBot e OAI-SearchBot — OpenAI (treino e busca do ChatGPT). O GPTBot é o mais agressivo em rastreio; em 2025, o rastreio para treinamento de modelos chegou a 8 vezes o volume do rastreio de busca, segundo a Cloudflare.
• ClaudeBot — Anthropic. Foi quem mostrou o maior desequilíbrio entre rastrear e devolver tráfego: segundo o Cloudflare Radar, a razão crawl-to-refer chegou perto de 500.000:1 em 2025.
• PerplexityBot e Perplexity-User — Perplexity, que costuma citar fontes com links diretos.
• Google-Extended — controla o uso do seu conteúdo pelo Gemini, sem afetar o ranqueamento na busca clássica.

A diferença de comportamento entre eles justifica a decisão caso a caso. O Googlebot alcançou 11,6% das páginas únicas da web em 2025, contra 3,6% do GPTBot — o Google rastreia muito mais e ainda devolve visita (razão perto de 3:1 no começo do ano, subindo para cerca de 30:1). Já a OpenAI oscilou perto de 3.700:1 num pico de março. Traduzindo: bloquear o Googlebot é quase sempre um erro caro; bloquear ou não o ClaudeBot é uma decisão legítima de negócio. E atenção ao calendário — a partir de 15 de setembro de 2026, o bloqueio padrão da Cloudflare passa a incluir crawlers de uso misto em páginas com anúncios, atingindo inclusive todos os clientes do plano gratuito.

Como verificar se o Cloudflare está bloqueando os crawlers?

Faça o teste em cinco passos, do mais rápido ao mais definitivo:

1. Pergunte à própria IA. Abra o ChatGPT, o Perplexity e o Claude e pergunte sobre sua empresa e seus serviços. Silêncio ou informação errada é o primeiro sintoma — não a prova, mas o sinal.
2. Simule o bot no terminal. Rode curl -A "GPTBot" -I https://seusite.com. Um HTTP 200 significa liberado; um 403 ou 503 significa bloqueado na borda. Repita trocando o user-agent por ClaudeBot, PerplexityBot e OAI-SearchBot — o resultado pode variar entre eles.
3. Compare com um navegador normal. Rode o mesmo curl sem o -A de bot. Se o navegador recebe 200 e o GPTBot recebe 403, o culpado é uma regra que discrimina o user-agent — quase sempre a Cloudflare ou o WAF.
4. Olhe o painel da Cloudflare. Acesse dash.cloudflare.com, entre no domínio e vá em Security → Bots. Procure a opção “AI Crawlers and Scrapers” (ou “AI Audit”) e veja se está em modo de bloqueio. Confira também se o Bot Fight Mode está ligado — ele pega crawlers legítimos junto com os maliciosos.
5. Cheque as WAF Custom Rules. Uma regra antiga de “bloquear bots” ou “challenge por user-agent” pode estar barrando as IAs sem que ninguém lembre de tê-la criado.

Guarde os códigos de status de cada bot. Essa tabela de 403 e 200 é o mapa exato do que precisa mudar — e evita que você “conserte” a camada errada.

Bloqueio na borda vs robots.txt vs WAF: o que decide o acesso?

Três camadas influenciam o acesso do bot, e elas não têm o mesmo poder. Entender a hierarquia evita horas perdidas mexendo no lugar errado.

• Borda (CDN/Cloudflare): decide primeiro e vence. Se a Cloudflare bloqueia por padrão ou por regra de bot, o bot recebe 403 e nada mais importa. É uma tranca física.
• WAF / Custom Rules: rodam junto com a borda. Uma regra de firewall por user-agent ou por reputação de IP pode barrar o crawler mesmo com a proteção de bot desligada. É a segunda tranca, muitas vezes esquecida.
• robots.txt: age por último e é apenas um pedido. Só tem efeito se o bot chegou até o arquivo e escolheu respeitá-lo. É um bilhete na porta, não uma fechadura.

A ordem de investigação, portanto, é de cima para baixo: primeiro confirme que a borda libera, depois que nenhuma regra de WAF discrimina o user-agent, e só então ajuste o robots.txt. Quem começa pelo robots.txt resolve o problema mais fácil e ignora o que realmente bloqueia.

Pay per crawl: vale a pena cobrar dos bots de IA?

A Cloudflare transformou o bloqueio em modelo de negócio com o pay per crawl: em vez de simplesmente barrar, o publisher pode cobrar cada vez que um bot de IA quer baixar seu conteúdo. A lógica nasce dos números de desequilíbrio — quando a Anthropic rastreia centenas de milhares de páginas para cada visita que devolve, faz sentido econômico querer compensação.

Para a maioria das marcas brasileiras que fazem GEO, porém, a resposta prática é o contrário: você quer ser rastreado, porque é assim que vira citação e, depois, cliente. Cobrar ou bloquear o crawler que poderia te recomendar no ChatGPT é atirar no próprio pé. O pay per crawl faz sentido para grandes publishers de mídia que vivem de tráfego direto e veem a IA como concorrente. Para um SaaS, uma consultoria ou um e-commerce que quer aparecer na resposta, a meta é o oposto — liberar os bots certos e facilitar a leitura. Se a visibilidade em IA é parte da sua estratégia, ela precisa estar amarrada ao guia de SEO para IA, não a uma regra de firewall herdada.

Quais erros mais comuns matam sua visibilidade em IA?

Na prática, quase todo caso de “minha marca sumiu das IAs” cai em um destes:

• Confiar só no robots.txt. O erro número um: ajustar o arquivo e nunca checar a borda que o sobrepõe.
• Deixar o Bot Fight Mode ligado sem revisar. Ele barra crawlers legítimos de IA junto com scrapers maliciosos.
• Herdar regras de WAF antigas. Uma regra criada anos atrás contra “bots” bloqueia GPTBot e ClaudeBot por tabela.
• Aceitar o default em domínio novo. Todo site novo na Cloudflare desde meados de 2025 nasce com o bloqueio ligado — o silêncio não é neutro.
• Bloquear tudo por medo de treino. Confundir “não quero servir de dado de treino” com “não quero ser citado” fecha as duas portas de uma vez.

FAQ: Cloudflare e bots de IA

O Cloudflare bloqueia bots de IA automaticamente? Sim, em novos domínios criados desde 1º de julho de 2025 o bloqueio de crawlers de IA vem ligado por padrão. Sites mais antigos podem estar liberados, mas isso muda conforme a Cloudflare estende os defaults — inclusive para clientes gratuitos a partir de 15 de setembro de 2026.

Como saber se meu site bloqueia o GPTBot? Rode curl -A "GPTBot" -I https://seusite.com e olhe o código: 200 é liberado, 403 é bloqueado. Confirme no painel da Cloudflare em Security → Bots.

Bloquear bots de IA prejudica meu ranking no Google? Bloquear o Googlebot, sim — ele rastreia a busca tradicional. Bloquear GPTBot ou ClaudeBot não afeta o ranking do Google, mas derruba sua chance de ser citado por ChatGPT e Claude.

Qual a diferença entre bloquear no robots.txt e na Cloudflare? O robots.txt é um pedido que o bot pode ignorar; o bloqueio na Cloudflare é uma tranca na borda que devolve 403 antes do seu servidor responder. A borda sempre vence.

Devo liberar todos os bots de IA? Libere os que geram visibilidade e vendas — GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot e Google-Extended. Você pode manter bloqueados scrapers desconhecidos sem prejudicar o GEO.

O que é pay per crawl? É o recurso da Cloudflare que permite cobrar dos bots de IA por acesso, em vez de só bloquear. Útil para grandes veículos de mídia, contraproducente para quem quer ser citado.

Quanto tempo até a IA me ler depois de liberar? Varia por crawler, de dias a algumas semanas. Depois de liberar, force o rastreio publicando conteúdo novo e mantendo um sitemap acessível às IAs.

Libere os crawlers certos ainda esta semana

Antes de escrever mais um artigo para aparecer no ChatGPT, garanta que a IA consegue entrar no seu site. Abra o terminal, rode o teste do curl para cada bot, cheque o painel da Cloudflare e anote os 403. Se algum crawler que deveria te citar está batendo na porta trancada, você tem um problema de infraestrutura vestido de problema de conteúdo — e a correção é rápida.

Quer um diagnóstico com nome e sobrenome dos bloqueios que estão te deixando invisível nas IAs? Peça um diagnóstico gratuito de GEO e a gente mapeia, camada por camada, o que precisa mudar para o ChatGPT, o Perplexity e o Gemini finalmente lerem — e citarem — o seu site.