Os crawlers que importam em 2026

  • GPTBot (OpenAI/ChatGPT)
  • ChatGPT-User (browsing em tempo real)
  • PerplexityBot e Perplexity-User
  • ClaudeBot (Anthropic)
  • Google-Extended (Gemini)
  • CCBot (Common Crawl, usado por muitos LLMs)

Bloquear ou permitir?

Permita todos os bots éticos se sua estratégia inclui aparecer em respostas de IA. Bloqueie apenas rotas sensíveis (admin, checkout, áreas logadas). Sites que bloqueiam GPTBot somem progressivamente das respostas do ChatGPT — uma decisão que deve ser comercial, não inercial.

Exemplo de robots.txt moderno

  • User-agent: * | Allow: /
  • Disallow: /admin/
  • Disallow: /checkout/
  • Sitemap: https://seudominio.com/sitemap.xml

Erros comuns

O erro mais comum é manter Disallow: / herdado de ambientes de staging. Outro é confundir robots.txt com noindex — bloquear no robots não remove URLs já indexadas, só impede crawl novo.

Perguntas frequentes

Bloquear GPTBot protege meu conteúdo?

Não totalmente. Outros bots e o navegador do ChatGPT-User continuam acessando.

Devo bloquear CCBot?

Se você quer treinar modelos com seu conteúdo, libere. Se não, bloqueie.

Robots.txt vale para subdomínios?

Cada subdomínio precisa do seu próprio robots.txt.

Posso testar antes de subir?

Sim, no robots.txt Tester do Search Console.

Quanto tempo para o Google reler?

De 24 a 72 horas em geral.

Conclusão

Robots.txt declara quais crawlers podem solicitar determinados caminhos e precisa refletir a política pública da organização. O arquivo não substitui autenticação, controle de acesso, WAF ou diretivas de indexação. Uma configuração responsável identifica agentes autorizados, protege áreas sensíveis e documenta preferências sem prometer que plataformas externas usarão ou citarão o conteúdo.