Higienização da base: deduplicação, dados faltantes e validação

Uma base de clientes raramente nasce suja. Ela se deteriora aos poucos: o mesmo comprador entra por três canais, o telefone chega sem DDD, alguém digita gmial.com no checkout. Cada falha parece pequena. Somadas, distorcem segmentação, inflam custo de envio e derrubam a reputação do remetente.

Higienização é o conjunto de rotinas que mede, corrige e previne esses desvios. Neste guia, tratamos de deduplicação, padronização, validação de e-mail e telefone, dados faltantes e LGPD (Lei Geral de Proteção de Dados), com contas e exemplos hipotéticos para e-commerce. Marcamos o que vem de fonte oficial e o que é recomendação da Analytikos.

O tema complementa o que já publicamos sobre dados de CRM prontos para IA: aquele texto mostra o impacto da qualidade na camada de modelos. Aqui está o trabalho de base que vem antes.

Dimensões de qualidade de dados: o que você mede

Qualidade não é uma nota única. São dimensões independentes, e uma base pode ser ótima em uma e péssima em outra. A LGPD, por sinal, trata disso no art. 6º, inciso V, ao exigir exatidão, clareza, relevância e atualização dos dados, conforme a necessidade e a finalidade do tratamento (Lei Geral de Proteção de Dados (LGPD, Lei 13.709/2018)).

A tabela organiza o diagnóstico. Completude e validade são as mais fáceis de medir. Exatidão e atualidade exigem sinais de comportamento, como bounce (devolução do e-mail) ou falha de entrega no WhatsApp.

Auditoria da base: perfilamento antes de corrigir

Perfilamento é medir a base como ela está, sem alterar nada. Exporte clientes, pedidos e leads e calcule, por campo, os indicadores abaixo.

• % de e-mail vazio: registros sem e-mail ÷ total de registros.
• % de telefone vazio: mesma conta para telefone.
• % de e-mail inválido: falhas de sintaxe ÷ e-mails preenchidos.
• Taxa de duplicidade: registros excedentes ÷ total. Se 100.000 registros representam 92.000 pessoas, são 8.000 excedentes, ou 8%.
• Concentração de domínios: lista dos 30 domínios mais frequentes. Variações raras de gmail, hotmail e outlook revelam typos.
• Idade do dado: distribuição por data da última interação.

Recomendação da Analytikos: guarde essa primeira medição como linha de base. Sem ela, não há como provar que a limpeza funcionou.

Deduplicação: uma pessoa, um registro

Chaves de identificação

A chave é o campo usado para decidir que dois registros são a mesma pessoa. Use mais de uma, em ordem de confiança.

• E-mail normalizado: minúsculas, sem espaços. A RFC 5321 (protocolo SMTP) e a RFC 5322 (formato da mensagem) definem a sintaxe, mas na prática trate o endereço inteiro como sem distinção de maiúsculas.
• Telefone em E.164: padrão da ITU (União Internacional de Telecomunicações) que escreve o número como +, código do país, DDD e número, sem símbolos. Exemplo: +5511987654321.
• CPF (Cadastro de Pessoas Físicas): chave forte, mas só use quando houver base legal e finalidade clara, como emissão de nota fiscal. Se o CRM não precisa dele, não o colete (princípio da necessidade).

Match exato versus fuzzy

Match exato compara chaves idênticas após a normalização. É seguro e deve ser o primeiro passo. Match fuzzy (aproximado) compara similaridade de texto, por exemplo entre “Maria S. Oliveira” e “Maria Souza Oliveira”, usando medidas como distância de edição.

Recomendação da Analytikos: faça merge automático apenas em match exato. Fuzzy gera uma lista de candidatos para revisão, porque unir duas pessoas diferentes (homônimos, pai e filho com o mesmo telefone) é pior do que manter um duplicado.

Regras de sobrevivência

Ao fundir, é preciso definir qual registro sobrevive e qual valor de cada campo prevalece. Defina as regras por escrito antes de rodar.

Exemplo hipotético: três registros, “Ana Lima” (ana.lima@gmail.com, 2 pedidos), “ANA LIMA” (ana.lima@gmail.com, sem telefone, 1 pedido) e “Ana L.” (+5511999990000, 1 pedido). Os dois primeiros coincidem no e-mail normalizado e se fundem de forma automática. O terceiro vai à revisão. Após a fusão, Ana tem 3 pedidos em um só perfil, e o LTV (valor do cliente ao longo do tempo) deixa de ser subestimado. Veja como calcular em LTV no e-commerce.

Padronização: o passo que torna a deduplicação possível

Sem formato único, duas representações do mesmo dado nunca se encontram. Padronize na entrada (formulário, checkout, API) e no estoque já existente.

Texto, e-mail e telefone brasileiro

• Nomes: remova espaços duplos e use capitalização de nomes próprios, mantendo “da”, “de”, “dos” em minúsculas. Guarde o texto original em outro campo.
• E-mail: minúsculas e sem espaços nas pontas. Corrija typos de domínio com uma lista fechada: gmial.com, gmai.com e gamil.com viram gmail.com; hotmial.com vira hotmail.com. Corrija só domínios, nunca a parte local (antes do @).
• Telefone: remova parênteses, traços e espaços; acrescente o DDI (código do país) +55 quando ausente; confirme DDD de 2 dígitos.

O celular brasileiro tem 9 dígitos após o DDD, começando por 9 (o chamado nono dígito, implantado por região nos anos 2012 a 2016 por determinação da Anatel). Então “11 98765-4321” vira +5511987654321. Um número com 8 dígitos após o DDD e iniciado por 6 a 9 é, em geral, um celular antigo sem o nono dígito; o ajuste é incluir o 9. Fixos têm 8 dígitos e começam por 2 a 5.

Tabela de exemplos (hipotéticos) de transformação:

A conclusão prática: a regra do telefone deve distinguir celular de fixo, porque só o primeiro pode receber WhatsApp.

Padronização e deduplicação ficam mais simples quando e-mail, WhatsApp e atendimento vivem no mesmo cadastro. A Orakulo é a plataforma da Analytikos de CRM, WhatsApp, e-mail e atendimento de vários canais no mesmo lugar (teste de 7 dias grátis). Para escolher uma ferramenta, veja o guia de como escolher um CRM para e-commerce.

Validação de e-mail e entregabilidade

Validar é checar se o endereço pode receber mensagem. Faça em camadas, do mais barato ao mais caro.

1. Sintaxe: estrutura conforme a RFC 5322, com uma regra pragmática (texto@domínio.tld).
2. Domínio e MX: consulta DNS para ver se o domínio existe e tem registro MX (servidor de recebimento).
3. Descartáveis: bloqueie domínios de e-mail temporário na captura.
4. Verificação de caixa: serviços de validação testam se a caixa existe. O resultado é probabilístico, pois muitos servidores aceitam tudo.
5. Confirmação (double opt-in): o titular clica num link. É a validação mais confiável.

Bounce, sunset policy e reputação

Hard bounce é falha permanente (caixa inexistente): suprima na primeira ocorrência. Soft bounce é falha temporária (caixa cheia, servidor indisponível): suprima após repetições, por exemplo 3 em sequência. Sunset policy é a regra que retira da lista quem não interage há determinado período, depois de uma campanha de reconfirmação. O Yahoo orienta monitorar bounces e inativos, reconfirmar periodicamente e remover destinatários inválidos (boas práticas do Yahoo para remetentes).

O motivo é a reputação. As diretrizes do Gmail para remetentes exigem taxa de spam abaixo de 0,3% no Postmaster Tools e recomendam manter abaixo de 0,10%. Remetentes de mais de 5.000 mensagens por dia precisam de SPF, DKIM e DMARC e de descadastro com um clique. O Yahoo também pede taxa de reclamação abaixo de 0,3%. A conta: com 100.000 envios entregues, 0,3% equivale a 300 reclamações. Escrever para quem não conhece mais a marca é a forma mais rápida de chegar lá.

Validação de telefone e WhatsApp

Um número válido no formato pode não ter WhatsApp, ou pertencer hoje a outra pessoa. Valide em duas etapas: formato (E.164, celular) e comportamento (a mensagem foi entregue?).

• Opt-in: a política da Meta exige consentimento do contato para receber mensagens da empresa. Registre data, canal e texto do aceite. Detalhes sobre qualidade e limites estão em qualidade, limites e templates do WhatsApp Business.
• Número inexistente ou sem WhatsApp: o envio falha. Marque o número como inválido após a primeira falha definitiva.
• Falha de entrega repetida: suspenda após 2 a 3 tentativas em dias diferentes e peça confirmação por outro canal.
• Canal oficial: listas de transmissão e API têm riscos e custos distintos; compare em API oficial versus lista de transmissão.

Segundo a documentação de preços da Meta, desde 1º de julho de 2025 a cobrança é por mensagem. Marketing é sempre cobrado; utilidade é cobrada fora da janela de atendimento de 24 horas. Cada envio para um número morto é, portanto, dinheiro perdido, além de piorar os sinais de qualidade da conta.

Dados faltantes: imputar, enriquecer ou coletar aos poucos

Imputação serve para análise agregada, não para contato: nunca invente um telefone ou e-mail. Enriquecimento pede cuidado com a finalidade informada ao titular. A coleta progressiva é a opção mais alinhada à LGPD: pergunte o mínimo no checkout e complete depois, em troca de valor (frete, aviso de reposição, cashback). Exemplos de uso em aviso de volta ao estoque e cashback no e-commerce.

LGPD: qualidade, necessidade, correção e descarte

A Lei Geral de Proteção de Dados (LGPD, Lei 13.709/2018) dá base jurídica à higiene de dados. Na leitura da Analytikos (não é parecer jurídico):

• Art. 6º, III (necessidade): o tratamento se limita ao mínimo necessário. Campo sem uso não deve ser coletado.
• Art. 6º, V (qualidade dos dados): exatidão, clareza, relevância e atualização, conforme a finalidade.
• Art. 18, III (correção): o titular pode pedir a correção de dados incompletos, inexatos ou desatualizados. Tenha um fluxo que propague a correção para todos os sistemas.
• Arts. 15 e 16 (término e eliminação): os dados devem ser eliminados quando a finalidade termina ou o titular revoga o consentimento, ressalvadas as hipóteses legais de guarda.

A ANPD (Autoridade Nacional de Proteção de Dados) é o órgão que orienta a aplicação da lei. Na prática, a higiene de dados e a sunset policy são também instrumentos de conformidade: descartar o que não é mais necessário reduz risco.

Rotina contínua: governança, dono e frequência

Limpeza pontual envelhece em meses. Trate a qualidade como processo, com responsável e calendário.

Recomendação da Analytikos: nomeie um dono do dado (data owner) por domínio (cliente, pedido, consentimento) e documente as regras de sobrevivência, de supressão e de descarte.

Métricas de qualidade e impacto financeiro

Acompanhe poucas métricas, sempre no mesmo cálculo: taxa de duplicidade, % de e-mail e telefone válidos, taxa de hard bounce (meta recomendada abaixo de 2%, regra prática de mercado, não oficial), taxa de spam abaixo de 0,10%, taxa de falha de entrega no WhatsApp e % de registros com consentimento comprovável.

Exemplo hipotético de custo. Base de 100.000 registros com 6% de duplicidade: 6.000 registros excedentes. Cada um recebe 4 mensagens de WhatsApp de marketing por mês a R$ 0,50 (valor ilustrativo, consulte a tarifa vigente). Conta: 6.000 × 4 × 0,50 = R$ 12.000 por mês, ou R$ 144.000 por ano, gastos para repetir mensagem ao mesmo cliente. Fora a irritação que gera descadastros e reclamações.

No e-mail, o efeito é indireto: duplicados e inválidos inflam a lista, distorcem a taxa de abertura e a de recompra, e fazem a campanha parecer pior do que é. Veja como medir em taxa de recompra.

Erros comuns na higienização da base

Erros de configuração e regra

Por que acontecem: pressa e regras implícitas. O efeito é irreversível quando se perde histórico. A correção é documentar e testar a regra em amostra antes de rodar na base inteira.

Erros de interpretação

• Confiar cegamente em validadores de caixa: servidores que aceitam tudo marcam como válido o que não existe. Efeito: bounce alto mesmo após limpeza. Correção: use o resultado como probabilidade e confirme com double opt-in.
• Medir só a base total: uma base de 100.000 com 40.000 inativos há 18 meses gera taxa de abertura aparente de 10%, quando a base ativa tem 17%. Correção: segmentar por atividade.
• Tratar duplicidade como problema só de custo: ela também distorce LTV, recompra e RFM (recência, frequência, valor). Correção: deduplicar antes de qualquer análise.

Erros de operação

• Limpar uma vez e esquecer: a base degrada em semanas. Efeito: retorno ao ponto de partida em um ano. Correção: rotina com calendário.
• Apagar inativos sem reconfirmar: perde clientes que comprariam. Correção: campanha de reativação antes da sunset.
• Ignorar pedidos de correção do titular: corrige em um sistema e deixa o erro em outros, descumprindo o art. 18. Correção: fluxo único de atualização.
• Enviar para listas compradas ou sem opt-in: eleva spam e bloqueios. Correção: apenas consentimento comprovável.
• Sem dono do dado: ninguém decide conflitos. Correção: responsável nomeado por domínio.

Checklist de higienização

• Medir linha de base: vazios, inválidos, duplicidade e idade do dado.
• Definir chaves (e-mail normalizado, E.164, CPF só com base legal).
• Documentar regras de sobrevivência e manter log de merges.
• Padronizar nomes, e-mails, domínios com typo e telefones com +55.
• Validar e-mail em camadas e adotar double opt-in.
• Suprimir hard bounce e números inválidos automaticamente.
• Registrar opt-in com data, canal e texto.
• Definir sunset policy com reconfirmação.
• Criar fluxo de correção e eliminação conforme a LGPD.
• Nomear dono do dado e agendar auditoria trimestral.

Conteúdos Relacionados

• Dados de CRM prontos para IA
• Taxa de recompra: como calcular e aumentar
• WhatsApp Business: qualidade, limites e templates