Se o cliente pergunta ao ChatGPT “a marca X é confiável?”, a resposta tende a ser mais crítica do que se ele perguntasse “por que escolher a marca X?”. Essa é a conclusão de um estudo da SE Visible, braço da SE Ranking, que também recebeu cobertura da Search Engine Land. O trabalho analisou 900 respostas e mostra que o tom da pergunta altera o tom da resposta sobre a marca.
Para quem mede visibilidade em IA, isso muda o método: se a formulação do prompt altera o resultado, um painel com apenas perguntas neutras ou favoráveis mostra uma imagem incompleta da marca. Este texto resume o que o estudo fez, o que ele não prova e como ajustar o monitoramento.
Como o estudo foi feito
A SE Visible montou 180 prompts: 60 positivos, 60 neutros e 60 negativos, com variações pareadas que mantinham a mesma marca e a mesma pergunta de fundo. Foram três pares de marcas (Samsung e Sony em TVs, Hers e Start Willow em telessaúde de GLP-1, Delta SkyMiles e United MileagePlus em milhas aéreas) e quatro famílias de intenção: recomendação, comparação, confiança e valor.
Cada prompt foi enviado cinco vezes ao ChatGPT, o que gerou as 900 respostas (180 prompts multiplicados por 5 execuções). O sentimento de cada resposta foi classificado como positivo, neutro ou negativo e convertido em um Net Sentiment, escala de -100 a +100. O estudo não informa o período de coleta nem se a classificação foi manual ou automatizada, e cobre apenas uma plataforma de IA.
O que os dados mostram
A correlação entre o sentimento do prompt e o da resposta foi de 0,66 (Spearman), e entre 0,62 e 0,78 dentro de cada categoria. Prompts negativos deslocaram o sentimento cerca de duas vezes mais, a partir do ponto neutro, do que os positivos. Mesmo os prompts neutros não foram neutros: ficaram em torno de +20 de Net Sentiment, em média.
O ponto de partida também depende do setor. O gráfico mostra o Net Sentiment médio dos prompts negativos em cada categoria.
Em TVs, a média foi de cerca de -11; em milhas aéreas, de -45; em telessaúde de GLP-1, de -53. Quanto mais sensível e de maior risco a categoria, mais a pergunta negativa afasta a resposta do neutro.
| Achado do estudo | Número | Como ler |
|---|---|---|
| Correlação prompt e resposta | 0,66 (Spearman) | Tom da pergunta e tom da resposta andam juntos |
| Efeito de prompts negativos | Cerca de 2 vezes o dos positivos | Perguntas críticas pesam mais do que as elogiosas |
| Respostas por sentimento | 43% positivas, 29% neutras, 28% negativas | Distribuição geral das 900 respostas |
| Mesma classificação nas 5 execuções | 44% dos prompts | Repetir o prompt pode mudar o resultado |
| Variação média entre execuções | 27 pontos de Net Sentiment | Uma única medição é frágil |
O que o estudo não prova
O estudo cobre só três pares de marcas, não informa o país da coleta e não testa Gemini, Perplexity nem o AI Overviews. A tabela indica ainda que só 44% dos prompts receberam a mesma classificação em todas as cinco execuções, embora 96% tenham tido um sentimento majoritário. Portanto, o número de uma consulta isolada não serve de métrica. O que serve é a média de várias execuções.
Os autores também encontraram limites ao efeito da pergunta: em testes espelhados, trocar qual marca “ficou aquém” mudou o Net Sentiment da marca afetada entre 20 e 180 pontos, mas de forma assimétrica. A Sony, por exemplo, manteve +59 mesmo quando criticada, o que sugere que uma reputação consolidada resiste ao enquadramento.
Como ajustar o monitoramento de marca em IA
A recomendação do estudo é tratar a formulação como variável de medição, incluir prompts negativos no conjunto de acompanhamento e responder às objeções mais comuns em conteúdo. Isso pode ser organizado em um roteiro simples.
Quem já acompanha ferramentas de monitoramento de GEO deve conferir se elas permitem variar o tom do prompt e repetir execuções. Para entender de onde as respostas tiram as informações, vale revisar as fontes que cada IA usa, e o caso das buscas de marca com AI Overviews mostra por que a marca precisa de presença em mais de uma superfície. Com a participação crescente do chat, discutida em ChatGPT e 20% das buscas do Google, e a evolução dos relatórios do Bing Webmaster Tools, a medição por tom deixa de ser detalhe.
Outras análises, como a da BrightEdge sobre como o Google AI Overviews e o ChatGPT tratam críticas a marcas, abordam o tema por outro ângulo e reforçam a necessidade de comparar plataformas.
Perguntas frequentes
Prompts negativos fazem o ChatGPT falar mal da minha marca?
Em média, aumentam a chance de respostas mais críticas. No estudo da SE Visible, prompts negativos deslocaram o sentimento cerca de duas vezes mais do que os positivos, mas o efeito variou por categoria e por marca.
Uma resposta isolada do ChatGPT serve como métrica?
Não. Só 44% dos prompts tiveram a mesma classificação de sentimento nas cinco execuções, e o Net Sentiment variou 27 pontos em média entre execuções. O ideal é usar a média de várias.
O estudo vale para o Brasil?
O estudo não informa o país da coleta e usa apenas o ChatGPT. Os resultados indicam um padrão, mas o efeito no mercado brasileiro precisa ser testado com marcas e perguntas locais.
O que eu faço com essa informação?
Inclua perguntas negativas e comparativas no seu conjunto de monitoramento, repita as execuções e publique conteúdo que responda às objeções mais frequentes dos clientes.
