# Cloudflare mudou os controles de crawlers: o que conferir antes de bloquear IA

> A mudança de 15 de setembro separa preferências de treinamento, busca e agentes. Veja por que bloquear um crawler misto pode afetar a descoberta e como verificar a configuração real do seu site.

_Fonte: [https://quaerion.blog/blog/cloudflare-controles-crawlers-mistos-setembro-2026/](https://quaerion.blog/blog/cloudflare-controles-crawlers-mistos-setembro-2026/) · Categoria: SEO · Publicado: 2026-10-06 · Por Redação Quaerion_

- Tipo: Comparativo
- Nível: Executivo
- Estado da evidência: Referenciado

## Resposta direta

Antes de alterar uma regra, registre qual uso você pretende restringir e quais rotas precisam continuar públicas. Compare essa decisão com o controle oferecido e verifique o comportamento do site. O lançamento da Cloudflare exige atenção aos crawlers de uso misto; uma auditoria termina com evidências da configuração efetiva e do acesso, não apenas com o nome de um botão.

Um botão de bloqueio pode expressar uma decisão editorial, mas também alterar a porta de entrada do site. Em 15 de setembro de 2026, a Cloudflare publicou mudanças para crawlers que combinam busca e treinamento. Esta análise de 6 de outubro transforma a novidade em uma decisão operacional: qual uso você quer restringir, qual acesso precisa preservar e que prova encerra a verificação?

## O que mudou de fato em 15 de setembro?

A Cloudflare passou a tratar crawlers mistos nos controles de bloqueio e anunciou Disallow AI Training. Seu post informa que Block e Block on pages with ads alcançam Applebot, Bingbot e Googlebot; recomenda Disallow AI Training quando o objetivo é recusar treinamento e manter busca. Essa é a orientação do evento, distinta das propostas anteriores de julho.

O comunicado também apresenta a designação Accountable para operadores que atendem aos critérios da Cloudflare ou assumiram prazos para fazê-lo. Uma designação atribuída pela empresa de infraestrutura informa o contexto de sua política; não substitui o histórico de acesso da sua propriedade.

A leitura da Quaerion é que a governança de conteúdo precisa registrar a intenção antes do nome do botão. Se a equipe de segurança entende 'bloquear IA' como negar todo acesso e a equipe de marketing entende como recusar treinamento, as duas podem acreditar que fizeram a mesma escolha enquanto esperam comportamentos opostos.

- [Orientação técnica da Cloudflare de 15/09](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)
- [Comunicado do lançamento](https://www.cloudflare.net/news/news-details/2026/Cloudflare-Helps-End-the-Search-or-AI-Training-Tradeoff/default.aspx)

## Como separar busca, treinamento e uma ação de agente?

Busca organiza conteúdo para recuperação posterior; treinamento participa do desenvolvimento de modelos; uma ação de agente pode buscar uma página para atender a uma tarefa de alguém naquele momento. O responsável pelo site pode ter decisões diferentes para cada finalidade. O nome do fornecedor, sozinho, não descreve o uso.

A documentação da OpenAI diferencia OAI-SearchBot, GPTBot e ChatGPT-User. A Anthropic também documenta agentes distintos para busca, treinamento e acessos de usuário. Use essas fontes para montar uma matriz de finalidade e controle, sem presumir que toda requisição da mesma empresa pertence à mesma categoria.

Exemplo conceitual: uma loja quer manter suas páginas de produto encontráveis e permitir que um comprador consulte prazo de entrega; ao mesmo tempo, decide restringir treinamento. O objetivo pede três decisões registradas. Uma editora pode tomar decisões diferentes para notícias abertas e material exclusivo. A política nasce do conteúdo e de sua operação.

- Busca: quais páginas públicas precisam ser descobertas?
- Treinamento: qual uso do conteúdo a organização aceita?
- Agente: quais informações podem ser recuperadas e quais ações exigem autenticação?
- Exceções: quem responde por conteúdo restrito, contratos e rotas privadas?

- [Finalidades documentadas pela OpenAI](https://developers.openai.com/api/docs/bots)
- [Finalidades documentadas pela Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Definição: rastreadores de IA e busca](https://glossario.quaerion.com.br/rastreadores-de-ia-e-busca)

## Qual é a diferença entre declarar uma preferência e bloquear acesso?

Uma preferência comunica uma regra de uso; um bloqueio de rede impede uma requisição conforme a configuração aplicada. É possível publicar uma preferência e continuar permitindo a leitura por busca. Também é possível deixar robots.txt aberto e negar acesso por uma regra de firewall. A auditoria precisa olhar as duas camadas.

Bot Preference Sync é apresentado pela Cloudflare como mecanismo para refletir no robots.txt as preferências definidas no painel. Consulte o arquivo servido na URL pública, pois outro gerador, redirecionamento ou cache pode produzir uma versão diferente da esperada. A prova é o que o visitante recebe, junto da configuração responsável.

Mantenha um registro simples por decisão: finalidade, controle escolhido, rotas atingidas, exceções, responsável e data. Isso ajuda a explicar por que uma página de suporte pode continuar acessível enquanto uma área de conta não pode. Evite interpretar ausência de tráfego de bot como sucesso ou falha sem saber se a coleta sequer existia no período.

- [Como a Cloudflare descreve Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/)

## O que uma empresa deve verificar na própria conta?

Compare a política aprovada com a regra efetiva e com o comportamento de poucas rotas representativas. Inclua uma página institucional, um artigo, um produto quando houver e uma rota restrita. O resultado deve registrar acesso, redirecionamentos e conteúdo entregue, sem transformar cada resposta HTTP em uma conclusão sobre indexação.

Primeiro salve a configuração existente e escolha uma janela em que a equipe possa acompanhar a mudança. Em seguida confira regras de bot, firewall, autenticação e origem que podem atuar sobre o mesmo caminho. Uma preferência correta não neutraliza uma regra geral que exige desafio interativo em toda requisição automatizada.

Depois observe as rotas públicas e os logs disponíveis. Uma requisição de teste com um nome de bot é útil para reproduzir uma condição do servidor, mas qualquer cliente pode usar essa string. Para atribuir acessos a um operador, aplique o procedimento de identidade documentado por ele. Guarde as limitações de cada verificação ao lado do resultado.

- Registrar o estado anterior e o motivo da alteração.
- Conferir robots.txt público e regras de rede que atingem as mesmas rotas.
- Verificar resposta e conteúdo das rotas que devem permanecer públicas.
- Investigar requisições bloqueadas em logs, com janela e identidade disponíveis.
- Confirmar o estado das páginas nas ferramentas de busca, sem atribuir mudanças imediatamente ao controle.

## Como evitar uma correção que cria outro problema?

Corrija a incompatibilidade demonstrada e confira o objetivo que a motivou. Se a equipe quer recusar treinamento, não basta observar que o acesso ficou negado: precisa verificar que a busca relevante continua com o tratamento desejado. Se uma rota deve ser privada, a necessidade de descoberta não autoriza torná-la pública.

Um erro frequente de diagnóstico é encontrar um aviso genérico e liberar tudo para fazer o score subir. A mesma lógica pode acontecer ao contrário: aplicar um bloqueio amplo para resolver um uso específico. Defina critérios por rota para poder encerrar a tarefa com uma evidência proporcional.

No exemplo da loja, a tarefa termina quando a política escolhida está registrada, o catálogo público recebe o tratamento previsto e a área autenticada preserva seu acesso correto. A pergunta seguinte — se um mecanismo passou a selecionar aquele produto — precisa de outra observação. Misturar os dois testes dificulta descobrir onde ocorreu uma falha.

- [Como preparar a jornada para agentes](https://quaerion.blog/blog/site-pronto-para-agentes-de-ia/)
- [Guia aplicado de catálogo e compra por IA](https://quaerion.blog/blog/catalogo-produtos-compras-por-ia/)

## Qual acompanhamento faz sentido depois da mudança?

Acompanhe erros de acesso, rastreamento e conteúdo recuperado em janelas comparáveis. Registre a alteração, mas investigue causas concorrentes antes de atribuir uma queda ou recuperação. Publicação de novas páginas, mudança de origem e atualização de um mecanismo podem ocorrer no mesmo período.

A proposta prática da Quaerion é manter duas filas: incidente técnico demonstrado e hipótese de efeito em descoberta. A primeira contém a rota, a regra e a reprodução. A segunda contém o indicador, a janela e as alternativas que precisam ser investigadas. Isso reduz a chance de produzir uma mudança ampla a partir de uma coincidência temporal.

Se a equipe não dispõe de logs ou ferramentas de busca, registre esse limite e comece pelo acesso público que pode conferir. É melhor concluir uma auditoria pequena e rastreável do que declarar proteção ou visibilidade a partir da configuração de uma tela.

- [Institucional: método e escopo da Quaerion](https://quaerion.com.br/metodo)
- [Prontidão e presença exigem medições próprias](https://quaerion.blog/blog/agent-readiness-presenca-ia-como-medir/)

## Perguntas frequentes

**Bloquear GPTBot bloqueia automaticamente OAI-SearchBot?**

Não trate os dois nomes como uma finalidade única. A documentação da OpenAI distingue treinamento e busca. A política efetiva ainda depende das regras do seu servidor e da infraestrutura; confira se um bloqueio amplo também atinge agentes que você queria permitir.

**Disallow AI Training garante que ninguém utilizará meu conteúdo?**

O artigo não oferece essa garantia. Uma preferência, sua aplicação por infraestrutura e o comportamento de cada operador exigem verificação própria. Ela também não equivale a tornar um conteúdo público inacessível a qualquer pessoa.

**Um teste com User-Agent de Googlebot prova que Google acessou o site?**

Não. Ele reproduz uma requisição com aquela identificação declarada. Atribuir uma requisição real ao operador exige procedimentos adicionais de verificação de identidade.

**Preciso alterar minha conta só porque a Cloudflare anunciou controles?**

Comece conferindo a política e a configuração existentes. Mude quando houver uma decisão de uso ou incompatibilidade demonstrada; a existência de um lançamento não comprova um erro na sua conta.

## Conclusão

A melhoria começa com uma política de uso compreensível e termina com a verificação das rotas atingidas. O lançamento de setembro oferece distinções que uma empresa pode utilizar; a configuração real e seus efeitos precisam de evidências da própria propriedade.

## Governança editorial

**Método:** Análise documental publicada em 06/10/2026 a partir do lançamento de 15/09/2026 e da documentação de fornecedores. A sequência de auditoria e os exemplos são propostas da Quaerion. Nenhuma conta Cloudflare de terceiros ou perda de indexação foi medida para este artigo.

**Limites:**
- As regras de uma zona, plano e rota podem diferir; o artigo não confirma a configuração da sua conta.
- Um acesso com User-Agent simulado não demonstra a identidade de um bot real.
- Acesso técnico, indexação e seleção como fonte são eventos diferentes; liberar uma rota não garante sua citação.

**Revisão:** Revisão documental assistida por IA — Redação Quaerion · 2026-10-06

## Fontes

1. [Cloudflare — controles para crawlers de uso misto](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Evento de 15/09/2026; orientação técnica distingue bloqueio de rede de preferência contra treinamento. Informação do próprio fornecedor. Consultado em 06/10/2026.
2. [Cloudflare — lançamento dos controles em 15/09](https://www.cloudflare.net/news/news-details/2026/Cloudflare-Helps-End-the-Search-or-AI-Training-Tradeoff/default.aspx) — Comunicado de 15/09/2026 sobre Accountable e Disallow AI Training; não é uma auditoria da configuração de qualquer cliente. Consultado em 06/10/2026.
3. [Cloudflare — Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/) — Descrição da sincronização entre preferências do painel e robots.txt; o funcionamento de uma zona exige verificação própria. Consultado em 06/10/2026.
4. [OpenAI — crawlers e finalidade de acesso](https://developers.openai.com/api/docs/bots) — Documentação de OAI-SearchBot, GPTBot e ChatGPT-User; agentes de busca, treinamento e navegação não são equivalentes. Consultado em 06/10/2026.
5. [Anthropic — crawlers e controles do proprietário](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Descrição dos agentes ClaudeBot, Claude-User e Claude-SearchBot e de suas finalidades. Consultado em 06/10/2026.

---

Sobre a Quaerion: uma empresa brasileira de Answer Intelligence. AI Referral Engine é seu método. Glossário: https://glossario.quaerion.com.br