Uma auditoria técnica de SEO começa com uma pergunta simples: o que o Google encontra quando entra no seu site? Em lojas virtuais, a resposta costuma surpreender. Filtros geram milhares de URLs, produtos somem atrás de scripts, redirecionamentos se encadeiam e páginas importantes carregam um noindex esquecido de uma migração.
O Screaming Frog SEO Spider é um dos programas mais usados para responder a essa pergunta. Ele rastreia o site como um buscador, lista cada URL com status, título, canonical, diretivas e dezenas de outros campos, e permite cruzar o resultado com o Google Search Console. Este guia mostra como configurar, rodar e interpretar uma auditoria, com atenção especial ao e-commerce.
O que é o Screaming Frog e o que ele faz
O Screaming Frog SEO Spider é um rastreador instalado no computador. Ele parte de uma URL, segue os links e registra o que encontra em cada página. Segundo o guia oficial do programa, a versão gratuita rastreia até 500 URLs por execução, e a licença paga remove esse limite e libera recursos como renderização de JavaScript, integrações, agendamento, perfis de configuração e comparação de rastreamentos.
O programa mostra o que está no site. Ele não mostra o que o Google decidiu indexar. Por isso a auditoria completa une três fontes: o rastreamento do Spider, os dados do Search Console e a análise de logs quando houver. Para entender a lógica de indexação, vale ler nosso guia como aparecer no Google.
Para ver a ferramenta em uso, o canal oficial da Screaming Frog no YouTube tem uma apresentação de cerca de cinco minutos do SEO Spider, com o rastreamento e as principais abas. O vídeo está em inglês; o YouTube oferece legendas automáticas.
Antes de rastrear: preparo e configuração
Memória e armazenamento
Por padrão, o programa salva os rastreamentos em banco de dados no disco. O guia oficial recomenda pelo menos 4 GB de memória para rastrear até 2 milhões de URLs e prefere SSD a HD. A alocação fica nas configurações de memória do programa e exige reiniciar. Travamentos em rastreamentos grandes, segundo o FAQ do Screaming Frog, costumam vir do limite de memória.
Modos de rastreamento
- Spider: segue os links a partir de uma URL inicial. É o modo padrão para uma auditoria completa.
- List: rastreia uma lista de URLs que você fornece, em arquivo de texto, planilha ou XML. Útil para conferir redirecionamentos e amostras.
- SERP: sobe títulos e meta descriptions para medir caracteres e pixels, sem rastrear.
- Compare: compara dois rastreamentos salvos, como veremos adiante.
Robots.txt, user-agent e JavaScript
A documentação de configuração informa três pontos que mudam o resultado:
- robots.txt: o Spider respeita o arquivo por padrão. Há opção de ignorar e de listar as URLs internas bloqueadas, o que ajuda a achar bloqueios indevidos.
- User-agent: pode ser trocado por presets (Googlebot, Bingbot, navegadores) ou personalizado. Se o servidor devolver 403, o FAQ oficial sugere mudar o user-agent, tentar renderização de JavaScript ou liberar o IP no firewall ou CDN.
- JavaScript: o Spider não executa JavaScript por padrão. Em lojas cujo tema carrega produtos ou links por script, ative a renderização na configuração do Spider. O recurso exige licença.
Limites e parâmetros em lojas virtuais
Filtros de cor, tamanho, preço e ordenação multiplicam URLs. A aba de limites do Spider permite restringir profundidade, tamanho de URL e número de parâmetros, e as regras de inclusão e exclusão (com expressões regulares) tiram da lista padrões como ordenação. Na primeira passada, uma boa prática é rastrear uma amostra com parâmetros excluídos, e só depois um rastreamento completo. Essa decisão é separada de como o Google trata as facetas: a orientação do Google sobre navegação facetada recomenda bloquear o rastreamento de URLs que não precisam ser indexadas.
Integrações
Na área de acesso a APIs, o Spider conecta o Search Console (cliques, impressões, CTR e posição), o PageSpeed Insights e o Google Analytics. O guia de configuração descreve a integração com Analytics no formato antigo; confira na interface atual como o GA4 é listado antes de configurar. Com o Search Console conectado, você ordena os problemas por impacto real, e não só por quantidade.
Passo a passo da auditoria
- Defina o escopo. Domínio, subdomínios, existência de ambiente de testes e objetivo (migração, queda de tráfego, rotina).
- Configure. User-agent, robots.txt, velocidade, limites e exclusão de parâmetros. Decida sobre JavaScript.
- Conecte as fontes. Search Console, PageSpeed e, se quiser, Analytics.
- Rode o rastreamento em modo Spider. Use o modo List para conferir URLs específicas.
- Leia status e indexabilidade primeiro. Abas Internal e Response Codes, depois Directives, Canonicals e Pagination.
- Passe ao on-page. Page Titles, Meta Description, H1, Images e Content.
- Exporte e priorize. Use a exportação em massa e os relatórios; ordene por receita e tráfego, não por volume de erros.
- Salve, agende e compare. Salve o rastreamento, agende repetições e compare com a versão anterior após cada correção.

Como ler as abas principais
A documentação das abas lista os filtros de cada uma. Os mais úteis para auditoria técnica estão resumidos abaixo, com o que cada um revela e o que fazer.
| Aba e filtro | O que revela | Ação típica |
|---|---|---|
| Response Codes: Client Error (4xx) | Links internos para páginas que não existem | Corrigir o link ou redirecionar, priorizando URLs com tráfego ou backlinks |
| Response Codes: Server Error (5xx) | Falhas do servidor durante o rastreamento | Investigar com a hospedagem; erros recorrentes afetam o rastreamento do Google |
| Response Codes: Redirect Chain e Redirect Loop | Redirecionamentos em cadeia ou circulares | Apontar o link direto para o destino final |
| Directives: Noindex | Páginas fora do índice | Conferir se o noindex é intencional, sobretudo em categorias e produtos |
| Canonicals: Missing, Canonicalised, Non-Indexable Canonical | Páginas sem canonical, que apontam para outra ou para URL não indexável | Garantir canonical autorreferente nas páginas principais |
| Pagination | Sequência de páginas de listagem | Verificar se cada página tem URL própria e canonical autorreferente |
| Page Titles e Meta Description: Missing e Duplicate | Páginas sem título ou descrição, ou repetidos | Reescrever com a palavra-chave e promessa específicas |
| H1: Missing e Multiple | Páginas sem H1 ou com vários | Definir um H1 por página |
| Content: Exact Duplicates e Near Duplicates | Páginas iguais ou quase iguais | Consolidar com canonical, redirect ou diferenciação de conteúdo |
| Images: Missing Alt Text | Imagens sem texto alternativo | Descrever imagens relevantes; ignorar decorativas |
Depois de conhecer as abas, vale fixar a ordem de leitura descrita no passo a passo. O diagrama abaixo resume essa sequência.
Em que ordem ler o rastreamento
Primeiro o que impede a página de ser encontrada; depois o que melhora a página.
Abas Internal e Response Codes: erros 4xx, 5xx e redirecionamentos.
Directives, Canonicals e Pagination: noindex, canonical e paginação.
Page Titles, Meta Description, H1, Images e Content.
Exportação em massa, ordenada por receita e tráfego, não por volume de erros.
Os nomes de aba e filtro vêm do guia oficial e podem mudar entre versões. Uma ordem de prioridade que funciona: primeiro o que bloqueia receita (erros 5xx e 4xx em URLs com tráfego, noindex ou canonical indevidos), depois cadeias de redirecionamento, duplicidade e facetas, e por fim títulos, H1 e imagens.
Canonical, robots e noindex: o que o Google diz
Três regras do Google evitam diagnósticos errados. Primeira: a introdução ao robots.txt explica que o arquivo controla o rastreamento, não a indexação; uma URL bloqueada ainda pode aparecer nos resultados sem descrição. Para tirar do índice, use noindex ou proteção por senha. Segunda: no guia de consolidação de URLs duplicadas, o redirecionamento é o sinal mais forte, seguido do rel=canonical e do sitemap, e cada página canônica deve apontar para si mesma. Terceira: na orientação de paginação para e-commerce, não use a página 1 como canonical das páginas seguintes, e o Google não usa mais rel=next e rel=prev.
Para sitemaps, a documentação do Google fixa o limite de 50 MB ou 50.000 URLs por arquivo e orienta incluir só URLs canônicas. Ela informa ainda que o Google ignora os campos priority e changefreq. O Spider gera sitemap XML a partir do rastreamento, mas confira antes se ele reflete as URLs que você quer indexar.
Comparar rastreamentos e automatizar
Auditoria vira rotina quando há comparação. O tutorial oficial de comparação explica que o recurso exige licença e armazenamento em banco de dados, e que ele classifica URLs como adicionadas, novas, removidas e ausentes, além de detectar mudanças em título, meta, H1, profundidade e dados estruturados. Use antes e depois de cada versão da loja ou migração para pegar regressões. O agendamento fica em File, Scheduling, e a linha de comando permite exportar abas e relatórios sem abrir a interface.
Para o caso da plataforma da sua loja, leia também nossos guias de SEO para Shopify e SEO para VTEX.
Erros comuns ao usar o Screaming Frog
Os erros abaixo reduzem a qualidade da auditoria ou levam a correções erradas. Eles aparecem em três frentes: configuração, leitura dos dados e operação.
Erros de configuração
| Erro | Por que distorce | Como corrigir |
|---|---|---|
| Auditar com o limite gratuito e achar que o site tem 500 URLs | O rastreamento para no limite e o diagnóstico fica incompleto | Use a licença ou rastreie por seção |
| Não ativar a renderização de JavaScript | Produtos e links carregados por script não aparecem e a auditoria fica rasa | Ative a renderização e compare com o HTML bruto |
| Deixar o robots.txt no padrão sem checar | O rastreamento reflete um site que o Google talvez não veja do mesmo jeito | Rode com robots respeitado e com a opção de listar bloqueios |
| Não excluir parâmetros de filtro | Milhões de URLs consomem memória e tempo | Exclua ou remova parâmetros e rastreie amostras |
| Memória no padrão | Rastreamento pausa ou trava em sites grandes | Aloque 4 GB ou mais conforme o tamanho |
Erros de leitura
- Usar a página 1 como canonical das páginas 2 e seguintes. Os produtos das páginas profundas deixam de ser rastreados com a mesma força. Correção: canonical autorreferente em cada página, conforme o Google.
- Bloquear no robots.txt para tirar do índice. A URL continua listada, sem descrição, e o Google não vê o noindex. Correção: noindex acessível ao rastreador.
- Confiar no número de problemas em vez do impacto. Mil títulos longos pesam menos que dez categorias com noindex. Correção: cruzar com cliques do Search Console.
- Tratar uma URL não rastreada como inexistente. Ela pode ter ficado de fora por robots, nofollow, link só em script ou regra de exclusão. Correção: checar status e regras antes de concluir.
Erros de operação
- Rastreamento bloqueado por firewall ou CDN. Retornos 403 ou 429 geram um relatório vazio ou parcial. Correção: ajustar user-agent, liberar o IP e reduzir a velocidade.
- Não salvar nem comparar. Sem comparação, regressões após uma publicação passam despercebidas. Correção: salvar o rastreamento e usar o modo de comparação.
- Auditar sem plano de correção. O relatório fica engavetado. Correção: priorizar por impacto, atribuir responsáveis e reauditar.
- Mudar vários itens de uma vez. Fica impossível saber o que melhorou. Correção: lotes pequenos, com data registrada.
Checklist rápido da auditoria
- Escopo e objetivo definidos.
- Memória alocada e armazenamento em disco.
- User-agent, robots.txt e JavaScript decididos.
- Parâmetros de filtro excluídos na primeira passada.
- Search Console conectado.
- Status 4xx, 5xx e redirecionamentos em cadeia revisados.
- Noindex, canonical e paginação verificados nas categorias e produtos.
- Títulos, metas, H1 e conteúdo duplicado tratados por prioridade.
- Rastreamento salvo, agendado e comparado.
Perguntas frequentes
O Screaming Frog é gratuito?
Existe versão gratuita, limitada a 500 URLs por rastreamento. A licença paga remove o limite e libera renderização de JavaScript, integrações, agendamento e comparação. Consulte o preço atual na página oficial.
Quantas URLs ele aguenta e quanta memória precisa?
Depende da memória e do armazenamento. O guia oficial recomenda 4 GB para até 2 milhões de URLs, com SSD. Rastreamentos maiores pedem mais memória e divisão por seção.
Ele renderiza JavaScript?
Não por padrão. A renderização é ativada na configuração do Spider e exige licença. Ative quando o tema carregar conteúdo ou links por script.
O Screaming Frog respeita o robots.txt?
Sim, por padrão. É possível ignorar o arquivo para auditar, e o user-agent pode simular o Googlebot, o que ajuda a entender o que está bloqueado.
Como rastrear um e-commerce com filtros sem estourar o limite?
Exclua parâmetros de filtro e ordenação nas regras de exclusão, rastreie uma amostra e só depois o site inteiro. Combine com a orientação do Google sobre navegação facetada.
Como acompanhar a evolução do site?
Salve cada rastreamento, agende repetições e use o modo de comparação. A comparação exige licença e armazenamento em banco de dados.



