Hoje, impedir que o seu conteúdo seja usado para treinar modelos de IA exige uma regra para cada robô no robots.txt. Um rascunho publicado no IETF propõe trocar isso por um único token. Segundo o AI Weekly, OpenAI, Google, Microsoft e Anthropic anunciaram que vão respeitá-lo.
O Google tratou do assunto em seu blog do Search Central, e o Search Engine Roundtable detalhou o que muda para quem já usa o Google-Extended. A novidade é útil, mas ainda não vale para todos os provedores e não é um padrão formal.
Veja como o token funciona, quem já se comprometeu com ele e o que continua fora do alcance do robots.txt.
Como o token funciona
O site declara a preferência com uma linha de user-agent seguida de uma regra de bloqueio. As exceções entram com linhas Allow. O exemplo abaixo mostra o formato descrito pelo AI Weekly:
User-Agent: __usage_ai-training
Disallow: /O token controla o treinamento, não a coleta: os robôs ainda podem acessar a página. Se o site usar o token sem citar o Google-Extended, o Google pretende tratar a opção como bloqueio do Google-Extended, segundo o Search Engine Roundtable. Os controles específicos por empresa continuam valendo junto com o novo sinal.
Quem apoia e quando
Os prazos variam por empresa. Pelo AI Weekly, a Anthropic já começou a implementar, a OpenAI diz que pretende fazê-lo nos próximos meses e a Microsoft tem como meta 1º de fevereiro de 2027. Para o Google, o Search Engine Roundtable informa implementação prevista para o início de 2027.
O que o Google já disse sobre treino e busca
O Google-Extended não tem user-agent próprio. É um token de controle que define se o conteúdo rastreado pelo Google pode treinar modelos Gemini e servir de base para respostas (grounding), sem afetar a inclusão no Google Search. Isso aparece no vídeo em que Gary Illyes explica os limites do robots.txt, relatado pela Search Engine Journal, e na página de crawlers comuns do Google.
O robots.txt é um protocolo de preferência de acesso.
Gary Illyes, do Google, em vídeo do Search Central, segundo a Search Engine Journal
Pelo Search Engine Roundtable, sites que permitem o Google-Extended podem aparecer em respostas e receber cliques via grounding nos aplicativos do Gemini. Existe ainda a opção de exclusão no Search Console para IA generativa na Busca, tema do nosso texto sobre o controle de IA generativa do Google.
Limites que você precisa conhecer
- Não é padrão formal. É um Internet-Draft individual, escrito por Kevin Kelley, da Anthropic, com validade até 3 de maio de 2027, segundo o AI Weekly. O IETF informa que o documento não tem endosso nem status formal. Veja o rascunho.
- Não é barreira técnica. A OpenAI descreve o mecanismo como uma coordenação, e não como um controle de segurança: robôs que não respeitam o robots.txt podem ignorá-lo.
- Não apaga o passado. Atualizar o arquivo não remove material já coletado nem retira dados de modelos já treinados.
- Há disputas abertas. Nate Hake, do grupo de trabalho, afirmou ao Search Engine Roundtable que o processo no IETF não terminou, inclusive sobre a exceção para ações feitas pelo usuário.
Como decidir
A escolha depende do objetivo. A tabela cruza cada meta com o caminho disponível. Para o contexto geral, vale reler o guia de robots.txt e crawlers de IA.
| Objetivo | Caminho | Observação |
|---|---|---|
| Barrar treino em vários provedores | Token __usage_ai-training com Disallow | Depende do suporte de cada empresa; no Google, previsto para 2027 |
| Barrar só o treino do Gemini | Regra para o Google-Extended | Já vale e não afeta a inclusão na Busca |
| Seguir elegível a respostas de IA | Manter busca e grounding liberados | Treino e grounding são controles distintos; confira cada provedor |
| Impedir o acesso ao conteúdo | Login, paywall ou bloqueio no servidor | O robots.txt expressa preferência, não barreira |
Quem já separou crawlers de treino e de busca, como no caso do Cloudflare, tem menos a mudar. E lembre que um arquivo de contexto para IA não bloqueia nada: veja por que o llms.txt não bloqueia crawler.
Perguntas frequentes
O token __usage_ai-training já funciona no Google?
Ainda não. O Google informa implementação prevista para o início de 2027. Enquanto isso, o controle por Google-Extended continua valendo.
Bloquear o treino tira meu site do Google?
Não. O token trata de treinamento, e o Google-Extended, segundo a documentação do Google, não afeta a inclusão no Google Search.
O token impede que robôs acessem minhas páginas?
Não. Ele sinaliza preferência sobre o uso para treino. O acesso à página segue regido pelas demais regras do robots.txt e, se necessário, por bloqueios no servidor.
Preciso mudar o robots.txt agora?
Não há urgência técnica. Vale mapear os crawlers de IA que já acessam o site e decidir a política antes de os provedores começarem a respeitar o token.
