O robots.txt parece simples: um arquivo de texto na raiz do site. Mesmo assim, ele concentra erros caros, de páginas importantes bloqueadas por engano a regras escritas para crawlers de IA que nunca as leem. A Search Engine Roundtable noticiou que Gary Illyes e Cherry Prommawin, do Google, dedicaram o segundo episódio da série Non-Canonical Cabinet ao que pode e ao que não pode entrar nesse arquivo.
Reunimos o vídeo e a documentação oficial do Google em um guia prático: o que o Google lê, o que ignora, como os códigos HTTP mudam o comportamento e o que fazer com os crawlers de IA.
O que o robots.txt faz e o que não faz
Segundo a introdução ao robots.txt do Google, o arquivo indica aos crawlers quais URLs eles podem acessar no site. Serve para controlar o tráfego de rastreamento, reduzir a sobrecarga do servidor e evitar que páginas pouco importantes ou muito parecidas consumam rastreamento.
O que ele não faz é esconder uma página do Google. A própria documentação diz:
O robots.txt não é um mecanismo para manter uma página da web fora do Google.
Google Search Central, documentação de robots.txt
Uma URL bloqueada ainda pode ser indexada se outros sites apontarem para ela, às vezes sem descrição, porque o Google não acessa o conteúdo. Para tirar uma página dos resultados, a orientação é usar noindex (com a página rastreável, para que o Google leia a instrução) ou proteger o acesso com senha. O arquivo também não impõe comportamento: Googlebot e crawlers confiáveis o seguem, outros podem ignorá-lo. Por isso, não é um recurso de segurança.
Como o Google interpreta o arquivo
A tabela da documentação oficial é curta, e vale tê-la à mão. O Google reconhece quatro diretivas: user-agent, allow, disallow e sitemap. Linhas desconhecidas ou mal formatadas são descartadas sem aviso, e a página pode acabar rastreada mesmo assim. Campos como crawl-delay não são suportados pelo Google.
O robots.txt do Google em quatro números
Outras regras que costumam gerar surpresa: o arquivo vale apenas para o host, o protocolo e a porta onde está, então cada subdomínio precisa do seu. Nomes de caminho diferenciam maiúsculas de minúsculas. Os curingas aceitos são * e $. Quando duas regras conflitam, prevalece a mais específica, e, em empate, a menos restritiva. Cada crawler segue só o grupo que melhor corresponde ao seu user-agent. O arquivo deve estar em UTF-8, e comentários começam com #.
Códigos HTTP: o erro que libera (ou trava) o rastreamento
Como o servidor responde ao pedido do robots.txt muda o resultado. Nos códigos 2xx, o arquivo é processado normalmente. Nos 3xx, o Google segue até cinco redirecionamentos e, depois disso, trata como 404. Nos 4xx, exceto 429, o Google entende que não há arquivo e rastreia sem restrições. Por isso, um 404 ou 403 causado por migração apaga, na prática, todas as suas regras. A documentação orienta a não usar 401 ou 403 para limitar a taxa de rastreamento.
Nos 5xx, o Google interrompe o rastreamento por 12 horas e usa a última versão válida em cache por até 30 dias. O cache costuma durar até 24 horas, o que significa que uma correção pode levar tempo para valer. Em migrações de plataforma, inclua a checagem do robots.txt no roteiro, junto do que descrevemos em como fazer uma auditoria de SEO.
O que o vídeo do Google esclareceu
Segundo o resumo da Search Engine Roundtable, o episódio cobre pontos que geram dúvida na prática:
- Emojis e texto localizado: tokens de user-agent aceitam apenas letras e hífens, então emojis não funcionam nesse campo.
- URLs internacionais: em caminhos, prefira a forma codificada (percent-encoded). O Google trata isso internamente, mas outros crawlers podem interpretar a regra de outro jeito e deixar a página sem proteção.
- Arte ASCII: linhas com # são ignoradas, então é possível, mas não recomendado.
- Padrão: o parser segue o RFC 9309 e lê o arquivo linha por linha.
Crawlers de IA: bloquear acesso não é impedir uso
O robots.txt é um protocolo de preferência de acesso. Ele controla quem pode rastrear, não o que acontece com o conteúdo depois. Para bloquear um crawler de IA, é preciso usar o token exato do user-agent do operador. E bloquear o acesso daqui para frente é diferente de proibir o treinamento com dados já coletados, que é outra discussão. Para o passo a passo de quais crawlers listar, veja nosso guia sobre como bloquear crawlers de IA.
Interpretação da Analytikos: bloquear tudo pode reduzir a presença da marca em respostas de IA, e liberar tudo expõe o conteúdo a usos que você talvez não queira. Decida por tipo de crawler (busca, assistente, treinamento) e registre a decisão com data de revisão.
| Objetivo | Funciona no robots.txt? | Alternativa |
|---|---|---|
| Tirar uma página dos resultados | Não | noindex com página rastreável, ou senha |
| Bloquear um crawler de IA específico | Sim, com o token exato do user-agent | Conferir a documentação do operador |
| Impedir treino com dados já coletados | Não | Tema à parte, fora do arquivo |
| Reduzir rastreamento de páginas duplicadas | Sim | Revisar também canonical e arquitetura |
| Proteger informação sensível | Não | Autenticação no servidor |
Quando o objetivo é economizar rastreamento, lembre que o Google começa conservador em sites novos, como explicamos em orçamento de rastreamento. E, se o problema for conteúdo que o Google não vê, confira antes se não é o mito da renderização, tema de JavaScript e busca do Google.
Checklist de revisão do robots.txt
Cinco checagens antes de publicar
Perguntas frequentes
O robots.txt remove uma página do Google?
Não. Uma URL bloqueada pode continuar indexada se houver links para ela. Para tirar a página dos resultados, use noindex, com a página rastreável, ou proteção por senha.
Quais diretivas o Google reconhece?
user-agent, allow, disallow e sitemap. Campos como crawl-delay não são suportados pelo Google, e linhas inválidas são ignoradas.
O que acontece se o robots.txt der erro 404?
O Google entende que não há arquivo e rastreia sem restrições. Em caso de erro 5xx, ele pausa o rastreamento por 12 horas e usa a última versão válida em cache por até 30 dias.
Como bloqueio um crawler de IA?
Use o token exato do user-agent do operador em um grupo próprio. Isso controla o acesso futuro, mas não desfaz o uso de dados já coletados.
Posso usar emojis ou acentos no robots.txt?
Em tokens de user-agent, não: só letras e hífens. Em caminhos de URL, prefira a forma codificada (percent-encoded) para evitar interpretações diferentes entre crawlers.
