Dois arquivos de texto simples decidem boa parte da relação entre o seu site e o Google: o sitemap XML, que lista as páginas que você quer ver rastreadas, e o robots.txt, que diz aos rastreadores o que eles não devem acessar. Quando funcionam, ninguém repara. Quando erram, páginas importantes somem da busca ou o servidor é sobrecarregado.
Este guia mostra o que cada arquivo faz, como criar e enviar, quais limites valem, como testar e quais erros custam tráfego, com atenção às lojas virtuais, onde filtros e parâmetros geram milhares de URLs sem valor.
Sitemap XML e robots.txt: qual é a diferença
O sitemap sugere o que rastrear. O robots.txt restringe o que pode ser rastreado. Nenhum dos dois garante indexação: o envio do sitemap é apenas uma sugestão, e a documentação do Google sobre sitemaps deixa claro que não há garantia de que o arquivo será baixado ou usado.
| Critério | Sitemap XML | robots.txt |
|---|---|---|
| Função | Listar URLs canônicas que você quer descobertas | Bloquear o rastreamento de áreas do site |
| Efeito | Sugestão, sem garantia | Instrução que rastreadores sérios seguem |
| Local | Preferencialmente na raiz, enviado também no Search Console | Obrigatoriamente na raiz do host |
| Impede indexação? | Não | Não. Uma URL bloqueada ainda pode aparecer sem descrição |
| Quem usa | Google, Bing e outros buscadores | Todos os rastreadores, inclusive os de IA, se respeitarem a regra |
Para impedir que uma página apareça na busca, use noindex ou proteção por senha, não o robots.txt. Se você bloquear a URL no robots.txt, o Google não consegue ler o noindex que está nela.
Sitemap XML: como criar e o que colocar
Limites e formatos
Limites que o Google documenta
Imagem: Analytikos, com dados do Google Search Central
Cada sitemap aceita até 50.000 URLs ou 50 MB sem compactação, em UTF-8. Acima disso, divida em vários arquivos e use um índice de sitemaps, que lista os arquivos filhos. Além do XML, o Google aceita RSS, mRSS, Atom e um arquivo de texto com uma URL por linha.
O que entra e o que fica de fora
- Entra: URLs canônicas, absolutas e que respondem 200: produtos ativos, categorias, páginas institucionais e posts.
- Fica de fora: URLs com redirecionamento, erro 404 ou 5xx, páginas com noindex, versões com parâmetro (ordenação, filtros, sessão) e páginas de busca interna.
- Produtos esgotados: mantenha apenas os que continuam na loja e voltarão ao estoque.
Um exemplo mínimo de sitemap:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.sualoja.com.br/tenis-corrida/</loc>
<lastmod>2026-10-15</lastmod>
</url>
</urlset>lastmod, priority e changefreq
O Google usa o lastmod somente se ele for consistente e verificável, e ele deve refletir uma mudança significativa no conteúdo principal, nos dados estruturados ou nos links. Alterar só o rodapé não conta. Os campos priority e changefreq são ignorados pelo Google: não perca tempo ajustando.
Como enviar
- Publique o arquivo na raiz do domínio (por exemplo,
/sitemap.xml). - No Search Console, abra o relatório de Sitemaps e informe o endereço.
- Acrescente a linha
Sitemap: https://www.sualoja.com.br/sitemap.xmlao robots.txt. - Acompanhe o status e os erros no relatório; compare URLs enviadas e URLs indexadas.
Na maioria das plataformas de loja virtual e dos CMS, o sitemap é gerado automaticamente. Confira o que ele inclui: plugins costumam listar parâmetros, tags vazias e páginas com noindex.
robots.txt: sintaxe e regras que o Google segue
O arquivo precisa estar na raiz do site e vale apenas para o host, o protocolo e a porta em que está. Cada subdomínio precisa do seu. Segundo a especificação que o Google publica, o limite de leitura é de 500 KiB, e o que passa disso é ignorado.
Diretivas suportadas
| Diretiva | Para que serve | Exemplo |
|---|---|---|
| user-agent | Define a qual rastreador o grupo se aplica | User-agent: Googlebot |
| disallow | Caminho que não deve ser rastreado | Disallow: /carrinho/ |
| allow | Exceção dentro de um caminho bloqueado | Allow: /carrinho/ajuda/ |
| sitemap | Endereço absoluto do sitemap | Sitemap: https://www.sualoja.com.br/sitemap.xml |
Diretivas como crawl-delay não são suportadas pelo Google. Os curingas são * (zero ou mais caracteres) e $ (fim da URL), e os caminhos diferenciam maiúsculas de minúsculas.
Como o conflito entre regras é resolvido
Para cada rastreador vale apenas o grupo com o user-agent mais específico. Entre regras que se contradizem, vence a mais específica (a de caminho mais longo); em caso de empate, vale a menos restritiva, isto é, o allow. Exemplo: com Disallow: /produtos/ e Allow: /produtos/novidades/, a pasta de novidades continua rastreável.
Um modelo para loja virtual
User-agent: *
Disallow: /carrinho/
Disallow: /checkout/
Disallow: /minha-conta/
Disallow: /*?ordenar=
Disallow: /*?sessao=
Sitemap: https://www.sualoja.com.br/sitemap.xmlAdapte os caminhos à sua plataforma. Para filtros que geram combinações de URLs, a decisão entre bloquear e indexar depende do volume de busca de cada combinação; a própria documentação do Google trata a navegação facetada como um tema de rastreamento a ser gerenciado.
O que acontece quando o robots.txt falha
Erros 4xx (exceto 429) são tratados como se o arquivo não existisse, sem restrições. Com erros 5xx, o Google para de rastrear o site nas primeiras 12 horas, mas continua tentando baixar o arquivo; por até 30 dias usa a última versão válida em cache. Falhas de DNS ou de rede contam como 5xx. O arquivo costuma ficar em cache por até 24 horas, então uma correção pode levar um dia para valer.
Como testar e monitorar
- Abra
/robots.txte/sitemap.xmlno navegador e confirme que respondem 200, sem redirecionamento. - Verifique o relatório de Sitemaps no Search Console: estado, última leitura e número de URLs descobertas.
- Use a inspeção de URL para checar se uma página importante está bloqueada.
- No relatório de indexação, procure por “Bloqueada pelo robots.txt” e “Excluída pela tag noindex” em páginas que deveriam estar indexadas.
- Repita a verificação depois de cada migração, troca de plataforma ou atualização de plugin.
Esse ciclo faz parte de qualquer auditoria de SEO, e o acompanhamento mensal evita que um bloqueio esquecido passe semanas sem ser notado.
Erros comuns com sitemap e robots.txt
Erros de configuração
| Erro | Por que acontece e qual o efeito | Como corrigir |
|---|---|---|
| Bloquear tudo com Disallow: / | Sobra do ambiente de testes. O Google deixa de rastrear o site e as páginas perdem visibilidade | Revise o robots.txt a cada publicação e crie alerta para mudanças no arquivo |
| Bloquear CSS e JavaScript | O Google não renderiza a página como o usuário vê, e pode interpretar mal o conteúdo | Libere os recursos necessários à renderização |
| Usar robots.txt para tirar página da busca | A URL bloqueada pode continuar aparecendo, sem descrição, e o noindex não é lido | Permita o rastreamento e use noindex, ou proteja com senha |
| Colocar o arquivo fora da raiz | Rastreadores só procuram em /robots.txt do host. O arquivo é ignorado | Publique na raiz de cada subdomínio |
| Esquecer o robots.txt do subdomínio | Blog, loja e área de ajuda em subdomínios diferentes precisam de arquivos próprios | Verifique cada host separadamente |
Erros de conteúdo do sitemap
| Erro | Por que acontece e qual o efeito | Como corrigir |
|---|---|---|
| Listar URLs com redirecionamento ou 404 | Plugins geram o arquivo sem filtrar. O Google gasta rastreamento em páginas inúteis e perde confiança no arquivo | Inclua só URLs canônicas com resposta 200 |
| Incluir páginas com noindex | Sinal contraditório: você pede o rastreamento e bloqueia a indexação | Remova do sitemap ou tire o noindex |
| Listar URLs com parâmetros | Filtros e ordenações geram duplicatas que competem com a URL principal | Mantenha só a versão canônica |
| lastmod sempre igual à data de hoje | O Google passa a ignorar um valor que não reflete mudanças reais | Atualize apenas quando o conteúdo principal mudar |
| Passar do limite de 50.000 URLs | O arquivo é cortado ou rejeitado, e parte das páginas nunca é descoberta | Divida e use um índice de sitemaps |
Erros de operação
- Não enviar o sitemap ao Search Console: você perde o relatório de erros e o controle de URLs enviadas versus indexadas.
- Mudar de plataforma sem reconferir os arquivos: o novo sistema pode gerar outro endereço de sitemap ou herdar um robots.txt de teste. Tenha o item no checklist de canonical e migração.
- Confiar que o Google segue qualquer rastreador: o robots.txt é um pedido, e nem todo robô o respeita. Para rastreadores de IA e termos comerciais, a regra no arquivo é a primeira camada, não a única.
Checklist rápido
- /robots.txt e /sitemap.xml respondem 200 na raiz de cada host.
- O robots.txt tem no máximo 500 KiB e traz a linha Sitemap.
- Nenhuma página que deve ranquear está bloqueada.
- O sitemap só lista URLs canônicas, 200 e sem noindex.
- Sitemap enviado e sem erros no Search Console.
- lastmod só muda com alteração relevante.
- Revisão agendada para depois de migrações e atualizações de plataforma.
Sitemap e robots.txt são dois arquivos pequenos com efeito grande. Mantê-los simples, atualizados e testados é uma das rotinas de maior retorno em SEO técnico, e a medição de rastreamento e indexação pode ficar no mesmo painel das demais métricas de busca e vendas.
Perguntas frequentes
Todo site precisa de sitemap?
Não é obrigatório. Sites pequenos, com boa linkagem interna, costumam ser descobertos sem ele. Em lojas com muitas páginas, atualizações frequentes ou páginas isoladas, o sitemap ajuda a descoberta.
O sitemap faz o Google indexar minhas páginas?
Não. O envio é uma sugestão. A indexação depende da qualidade da página, do rastreamento e das demais regras do Google.
Posso usar robots.txt para esconder uma página da busca?
Não é o método indicado. A URL bloqueada pode aparecer sem descrição, e o Google não lê o noindex de uma página que não pode rastrear. Use noindex ou senha.
Onde coloco o robots.txt?
Na raiz do host, por exemplo sualoja.com.br/robots.txt. Cada subdomínio precisa do próprio arquivo.
Quantos sitemaps posso ter?
Quantos precisar. Cada arquivo tem o limite de 50.000 URLs ou 50 MB sem compactação, e um índice de sitemaps agrupa os arquivos.
Priority e changefreq ainda valem?
O Google os ignora. Concentre-se em listar URLs canônicas e em manter o lastmod fiel às mudanças reais.
Quanto tempo leva para uma mudança no robots.txt valer?
O Google costuma manter o arquivo em cache por até 24 horas, podendo ser mais em caso de erro. Planeje uma janela de um dia.
