O que robots.txt realmente controla?

robots.txt expressa regras de rastreamento para agentes que adotam o protocolo. Ele não impede uma pessoa de abrir a URL e não autentica solicitações. Uma URL bloqueada pode continuar conhecida pelo buscador por outros caminhos. Por isso, não use Disallow como substituto de proteção de dados ou remoção do índice.

Como separar crawlers da OpenAI?

A documentação identifica OAI-SearchBot para busca, GPTBot para conteúdo que pode ser usado no treinamento e ChatGPT-User para certas ações iniciadas pelo usuário. As configurações têm funções independentes. Defina a política desejada e confira também CDN e firewall; uma permissão em robots.txt não anula um bloqueio na infraestrutura.

  • Verifique os nomes e as faixas de IP na documentação oficial vigente.
  • Não trate um User-Agent declarado como prova isolada de identidade.
  • Registre alterações e monitore falhas de acesso nas rotas públicas.

Quando noindex é o controle adequado?

Use noindex para uma página acessível que não deve ser indexada, como um relato colocado em revisão editorial. O crawler precisa conseguir recuperar a página para ler a diretiva. Mantenha a URL fora do sitemap de páginas indexáveis e teste o HTML ou o cabeçalho realmente entregue em produção.

Qual teste acompanha a mudança?

Registre as regras anteriores, altere o menor conjunto de caminhos e teste páginas representativas. Confira status HTTP, conteúdo, robots e controles da CDN. Um teste simulado é uma evidência local; a inspeção oficial e os logs ajudam a verificar o comportamento dos crawlers reais. Preserve os resultados para poder reverter um bloqueio incorreto.

  • Página pública indexável.
  • Página pública em revisão com noindex.
  • Área autenticada, sem conteúdo privado na resposta anônima.
  • Arquivo estático necessário à renderização.

Perguntas frequentes

Disallow remove uma URL do Google?

Não garante remoção. Ele impede crawl; o controle de indexação exige uma diretiva ou outro procedimento apropriado que o Google consiga processar.

Permitir GPTBot é necessário para aparecer na busca do ChatGPT?

Os controles são independentes. A documentação da OpenAI identifica OAI-SearchBot como o agente relacionado à busca.

robots.txt protege documentos confidenciais?

Não. Use autenticação e autorização no servidor. O arquivo é público e suas regras não substituem segurança de acesso.

Conclusão

Mantenha um contrato claro entre finalidade da rota, rastreamento, indexação e autenticação. A configuração deve refletir a política da empresa e ser validada na resposta publicada, sem presumir que liberar um crawler produzirá uma citação.

Fontes

  1. Google Search Central — robots.txt — O arquivo controla rastreamento; não é mecanismo de autenticação nem garante remoção do índice.
  2. Google Search Central — controle de indexação — Uso de noindex e necessidade de permitir que o crawler leia a diretiva.
  3. OpenAI — documentação de crawlers — Funções distintas de OAI-SearchBot, GPTBot e ChatGPT-User; permissões para busca não equivalem a uso para treinamento.