Como medir a receita incremental do CRM com holdout

O relatório do CRM diz que a régua de e-mail e WhatsApp gerou R$ 388.800 no mês. A pergunta que o financeiro faz é outra: quanto desse valor não teria entrado sem a régua? Parte desses clientes compraria de qualquer forma, porque já conhecia a loja, já tinha o produto no carrinho ou simplesmente chegou a hora da recompra.

Essa diferença separa receita atribuída de receita incremental. A primeira conta quem comprou depois de receber a mensagem. A segunda conta quem comprou por causa dela. Só a incremental justifica orçamento, e só um experimento com grupo de controle (holdout) a mede com segurança.

Este guia mostra o desenho completo: definição, randomização, tamanho do grupo, janela, cálculo do lift com conta, intervalo de confiança, aplicação em e-mail e WhatsApp, cuidados com a LGPD (Lei Geral de Proteção de Dados) e os erros que mais distorcem o resultado.

O que é holdout e por que ele importa

Holdout é um grupo de controle: uma parcela aleatória do público elegível que, de propósito, não recebe a ação de CRM (e-mail, WhatsApp, régua ou campanha). Os demais clientes formam o grupo de tratamento e recebem a ação normalmente. Depois de um período definido, compara-se a taxa de compra e a receita dos dois grupos.

Como o sorteio torna os grupos semelhantes, a diferença entre eles pode ser atribuída à ação. Exemplo hipotético: se 2,4% do tratamento compra e 2,0% do holdout compra, os 2,0% são o que aconteceria sem a mensagem. Só os 0,4 ponto percentual restantes são efeito do CRM. O restante, seção a seção, está detalhado adiante.

A importância está em quatro pontos:

• Separa causa de coincidência. Quem recebe uma mensagem costuma ser quem já está mais perto de comprar. Sem controle, o CRM leva o crédito por vendas que ocorreriam de qualquer forma.
• Fundamenta o orçamento. Receita incremental, e não atribuída, é a base correta para decidir quanto investir em cada canal e régua.
• Revela ações que não se pagam. Uma régua pode ter bom ROAS no relatório e iROAS baixo (ou negativo, depois do custo e da margem) no experimento.
• Protege a relação com o cliente. Cortar envios que não geram incremento reduz fadiga, descadastros e risco de queda de qualidade no WhatsApp.

Em resumo: o holdout é a forma mais direta de responder à pergunta que o financeiro faz, “quanto o CRM trouxe de verdade?”. As próximas seções mostram como montá-lo e calcular o resultado.

Receita atribuída x receita incremental

Receita atribuída é toda a receita associada a uma ação por uma regra de atribuição (último clique, janela de 7 dias após o envio, cupom usado). Receita incremental é a diferença entre a receita obtida com a ação e a receita que teria ocorrido sem ela. A segunda exige um contrafactual, ou seja, um grupo comparável que não recebeu a mensagem.

Comparar clientes que receberam com clientes que não receberam, sem sorteio, costuma enganar. Em um conjunto de 15 experimentos de publicidade nos Estados Unidos, com cerca de 500 milhões de observações, o estudo de Gordon, Zettelmeyer, Chapsky e Bhargave (Marketing Science) concluiu que métodos observacionais frequentemente não reproduzem o efeito medido nos experimentos randomizados. O mesmo risco existe no CRM: quem abre e-mails já é, em média, mais propenso a comprar.

A tabela resume a diferença entre as duas leituras.

Critério	Receita atribuída	Receita incremental
Pergunta que responde	Quem comprou depois da mensagem?	Quem comprou por causa da mensagem?
Base de comparação	Nenhuma (ou regra de atribuição)	Grupo de controle sorteado
Tende a	Superestimar o efeito	Isolar o efeito causal
Uso adequado	Acompanhamento diário	Decisão de orçamento e de canal

Holdout, teste A/B e Conversion Lift: qual a diferença

Os três usam grupos comparáveis, mas respondem a perguntas diferentes. O holdout retém uma parcela do público elegível, que não recebe a ação. O teste A/B compara duas versões da ação (assunto, oferta, canal), e os dois grupos recebem algo. O holdout mede se a ação funciona. O A/B mede qual versão funciona melhor.

O Google adota a mesma lógica na mídia paga (veja também o post sobre o Conversion Lift na Busca e no PMax, e sobre como ligar as metas de retenção do Google Ads ao CRM). Segundo a documentação oficial do Google Ads sobre Conversion Lift, o público é dividido entre quem vê os anúncios (tratamento) e quem não vê (controle), e a diferença de conversões é o lift. Na página de interpretação dos dados, as conversões incrementais são definidas como conversões do tratamento menos conversões do controle, e o lift relativo como as incrementais divididas pelas conversões do controle.

Sobre os chamados ghost ads, a documentação do Google Ads sobre Conversion Lift não os descreve. A referência acadêmica é o estudo Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness, de Johnson, Lewis e Nubbemeyer (Journal of Marketing Research). No CRM, o equivalente prático é registrar quem seria elegível à mensagem e retê-la para o grupo de controle, em vez de deixá-lo fora da lista desde o início.

Método	Quem recebe a ação	O que mede	Quando usar
Holdout	Tratamento sim, controle não	Efeito da ação (incremental)	Validar régua, canal ou campanha
Teste A/B	Os dois grupos, com versões diferentes	Melhor variante	Otimizar assunto, oferta, horário
Conversion Lift (Google)	Tratamento vê anúncios, controle não	Conversões incrementais em mídia paga	Mídia, com acesso via representante

A ordem recomendada pela Analytikos: primeiro provar com holdout que a régua gera receita incremental, depois otimizar variantes com A/B.

Como montar o grupo de controle

Randomização

O sorteio precisa acontecer antes de qualquer decisão sobre quem merece a mensagem. Passo a passo:

1. Defina o público elegível (por exemplo, clientes com opt-in e 90 a 180 dias sem compra).
2. Atribua a cada cliente um ID estável e sorteie por ele (hash do ID, não do e-mail digitado). Assim o mesmo cliente nunca troca de grupo.
3. Estratifique por segmento relevante, como a análise RFM, para que tratamento e controle tenham o mesmo perfil de valor.
4. Congele a lista e guarde a data do sorteio. Segmentos dinâmicos mudam sozinhos: na documentação da Shopify, os segmentos recebem e perdem clientes automaticamente, então exporte a lista sorteada em vez de depender do filtro.
5. Bloqueie o envio para o controle em todos os canais da régua, não só em um.

Se o controle é montado com quem “não abriu” ou “não clicou”, ele deixa de ser controle. É uma seleção feita depois do efeito.

Tamanho do grupo e amostra mínima

O tamanho depende de três coisas: a taxa de conversão base do controle, o menor lift que vale detectar e o nível de confiança. Para comparar duas proporções (5% de significância, 80% de poder), a fórmula aproximada por grupo, com tratamento e controle do mesmo tamanho, é:

n = (1,96 + 0,84)² × [p1(1 − p1) + p0(1 − p0)] ÷ (p1 − p0)², onde p0 é a conversão do controle e p1 a esperada no tratamento. O valor 1,96 corresponde a 5% de significância bilateral e 0,84 a 80% de poder.

Exemplo hipotético: conversão base de 2,0% na janela e lift relativo esperado de 20%. Então p0 = 0,020 e p1 = 0,024, diferença de 0,004. A conta: 7,84 × [0,024 × 0,976 + 0,020 × 0,980] ÷ 0,004² = 7,84 × 0,043024 ÷ 0,000016 ≈ 21.100 clientes por grupo. Para detectar 10% (p1 = 0,022), o número sobe para cerca de 80.600 por grupo.

Na prática o controle costuma ser menor que o tratamento, porque cada cliente retido deixa de receber a oferta. A tabela mostra o efeito, com a mesma conversão base de 2,0% (valores calculados pela Analytikos, arredondados).

Lift relativo a detectar	Divisão 50/50: por grupo	Divisão 90/10: controle	Lista total na 90/10
10%	80.600	43.100	431.000
20%	21.100	10.900	108.800
30%	9.800	4.900	48.800

Lista de 100 mil contatos e conversão de 2%? Um holdout de 10% (10 mil) só detecta lifts próximos de 20% a 30%. Efeitos menores ficam abaixo do ruído. A literatura é franca sobre isso: segundo o capítulo Measuring the Effects of Advertising: The Digital Frontier, de Lewis, Rao e Reiley, as compras têm desvio padrão da ordem de dez vezes a média, e experimentos bem desenhados costumam exigir mais de um milhão de pessoas para medir efeitos economicamente relevantes em publicidade.

O Google segue a mesma lógica. Na configuração do Conversion Lift por usuários, o holdout vai de 1% a 50%, holdouts maiores aumentam a amostra e custam mais em oportunidade, e holdouts menores exigem estudos mais longos.

Período e janela de atribuição

Em um holdout, a janela não serve para atribuir crédito. Serve para contar compras dos dois grupos no mesmo intervalo, a partir do mesmo marco (o dia do envio ou da entrada no fluxo). Três regras:

• Mesma janela para os dois grupos. Se o tratamento tem 14 dias, o controle também.
• Conte toda a receita da loja. O controle não clica em nada, então a conversão precisa vir do pedido, não do rastreamento da mensagem. Pedidos pagos via Pix, boleto ou marketplace próprio entram igualmente.
• Ajuste ao ciclo de compra. Produto de recompra mensal pede janela maior que moda de impulso.

Como referência de mercado, o Google recomenda que o estudo de Conversion Lift dure ao menos 14 dias e informa que estudos curtos com longa defasagem de conversão podem perder lift absoluto, conforme a mesma página de configuração. No GA4, a janela de lookback padrão para eventos principais é de 90 dias (com opções de 30 e 60), e a de aquisição é de 30 dias. Esse número é uma configuração de relatório, não a duração do seu experimento.

Calculando o lift e a receita incremental

As fórmulas, na linguagem usada pelo Google e adaptadas ao CRM:

• Lift absoluto = conversão do tratamento − conversão do controle.
• Lift relativo = lift absoluto ÷ conversão do controle.
• Clientes incrementais = lift absoluto × tamanho do tratamento.
• Receita incremental = clientes incrementais × valor médio do pedido (ou, de forma mais robusta, diferença de receita por cliente × tamanho do tratamento).
• iROAS (retorno incremental sobre o investimento) = receita incremental ÷ custo da ação.

Exemplo hipotético, todos os números inventados para ilustrar. Base elegível de 100.000 contatos: 90.000 no tratamento e 10.000 no controle. Pedido médio de R$ 180. No tratamento, 2,4% compram (2.160 clientes). No controle, 2,0% (200 clientes).

Imagem: Analytikos

As contas: lift absoluto = 2,4% − 2,0% = 0,4 ponto percentual. Lift relativo = 0,4 ÷ 2,0 = 20%. Clientes incrementais = 0,004 × 90.000 = 360. Receita incremental = 360 × R$ 180 = R$ 64.800. Receita atribuída (todos os compradores do tratamento) = 2.160 × R$ 180 = R$ 388.800. Participação incremental = 64.800 ÷ 388.800 = 16,7%.

O mesmo exemplo muda de sentido quando entra o custo. Se a ação fosse feita por WhatsApp, com um custo hipotético de R$ 0,35 por mensagem entregue para 90.000 pessoas, o investimento seria 90.000 × 0,35 = R$ 31.500. O ROAS atribuído seria 388.800 ÷ 31.500 = 12,3. O iROAS seria 64.800 ÷ 31.500 = 2,06. Com margem de contribuição hipotética de 40%, o ganho incremental é 64.800 × 0,40 = R$ 25.920, abaixo do custo: resultado de −R$ 5.580. A régua parecia excelente no relatório e perdia dinheiro no experimento.

Esse é o tipo de leitura que o LTV no e-commerce complementa: se a ação antecipa uma compra que ocorreria depois, o efeito de longo prazo é menor que o do curto prazo.

Medir loja, GA4 e mídia lado a lado ajuda a conferir se o controle não foi contaminado por outros canais. A Athena, plataforma de BI da Analytikos, reúne loja, GA4 e mídia em um só painel, com teste de 30 dias grátis.

Significância e intervalo de confiança

Um lift de 20% na amostra pode ser sorte. A pergunta é quão provável seria ver essa diferença se a ação não tivesse efeito. A versão simples usa o erro padrão da diferença entre proporções.

Com os dados do exemplo: erro padrão = raiz de [0,024 × 0,976 ÷ 90.000 + 0,020 × 0,980 ÷ 10.000] = raiz de (0,00000026 + 0,00000196) ≈ 0,00149. O intervalo de confiança de 95% do lift absoluto é 0,004 ± 1,96 × 0,00149, ou seja, de 0,11 a 0,69 ponto percentual. Em clientes incrementais, de 97 a 623 (multiplicando por 90.000). Em receita, de R$ 17.500 a R$ 112.100 (multiplicando por R$ 180).

O teste de duas proporções com variância combinada dá z ≈ 2,50, o que corresponde a p ≈ 0,012. O resultado é significativo a 5%, mas o intervalo é largo: a receita incremental verdadeira pode ser cerca de quatro vezes menor ou quase o dobro do valor central. A documentação do Google faz o mesmo alerta: intervalos mais largos são esperados quando o valor das conversões é volátil, e controles com poucas conversões podem inflar o lift relativo.

Holdout contínuo ou pontual

O holdout pontual responde uma pergunta numa janela definida. O contínuo mantém uma fração permanente fora da ação e mede o efeito ao longo do tempo. A tabela compara os dois.

Critério	Holdout pontual	Holdout contínuo
Duração	Um ciclo (semanas)	Permanente, com rotação
Melhor para	Campanhas e lançamentos	Réguas automatizadas
Custo de oportunidade	Concentrado e temporário	Pequeno e constante (1% a 5%)
Vantagem	Resposta rápida	Acompanha efeito de longo prazo e fadiga
Risco	Não captura mudanças de comportamento	Cliente retido por muito tempo

Recomendação da Analytikos: use pontual para campanhas e contínuo para réguas que rodam o ano todo, com uma rotação do grupo retido (por exemplo, a cada trimestre) para não privar sempre os mesmos clientes.

Para executar o holdout nos canais, ajuda ter e-mail, WhatsApp e atendimento no mesmo cadastro. A Orakulo, plataforma da Analytikos de CRM, WhatsApp, e-mail e atendimento de vários canais no mesmo lugar, tem teste de 7 dias grátis.

Aplicação em e-mail, WhatsApp, régua e campanha

E-mail

É o canal mais simples de testar: o custo por envio é baixo e a lista é grande. Lembre que aberturas não são confiáveis como métrica de resultado, pois o controle não tem abertura. Use pedidos e receita da loja.

WhatsApp: opt-in, custo e limites

Segundo a página de preços da plataforma WhatsApp Business, a cobrança é por mensagem entregue, com tarifa por categoria e por país do destinatário (o Brasil é um mercado próprio na tabela), e mensagens de marketing não têm faixa gratuita. Consulte a tabela vigente antes de calcular o iROAS, pois os valores mudam.

Na documentação de opt-in, a Meta exige que a pessoa tenha consentido em receber mensagens da empresa, com identificação clara de quem enviará, e recomenda opt-ins separados por categoria (pedidos, ofertas, recomendações). Usuários podem bloquear ou denunciar, e uma qualidade baixa e prolongada pode levar a limite de envio. Por isso o holdout também protege a conta: enviar a quem não gera incremento aumenta custo e risco sem retorno. Para a rotina de recuperação, veja como recuperar carrinho abandonado pelo WhatsApp.

Régua automatizada x campanha

Na campanha, o sorteio ocorre uma vez, no disparo. Na régua, o cliente entra no fluxo ao longo do tempo (abandono de carrinho, pós-compra). Nesse caso, sorteie na entrada: ao ser elegível, o cliente cai no tratamento ou no controle com a proporção definida, e o controle passa pelo fluxo sem receber as mensagens. Nunca retenha mensagens transacionais (confirmação de pedido, Pix, entrega): o holdout vale apenas para comunicação promocional ou de relacionamento.

LGPD

A Lei Geral de Proteção de Dados (Lei 13.709) define consentimento como manifestação livre, informada e inequívoca para uma finalidade determinada, admite o legítimo interesse como base legal e exige que o tratamento respeite finalidade, adequação e necessidade. Para o holdout, a Analytikos recomenda: usar apenas dados que a loja já trata (pedidos, cadastro), informar na política de privacidade que a empresa mede a eficácia das comunicações, respeitar pedidos de descadastro (o consentimento pode ser revogado a qualquer momento) e restringir o acesso à lista do controle. Em dúvida, consulte o jurídico: este texto não é parecer.

Erros comuns

Os erros abaixo reaparecem em quase todo primeiro teste de incrementalidade. Eles estão agrupados por natureza.

Cálculo e configuração

Erro	Por que distorce	Como corrigir
1. Controle pequeno demais	Poucas conversões no controle geram lift instável e intervalo largo. Com 10 mil contatos e 2% de conversão, só 200 compras sustentam a base de comparação.	Calcule a amostra antes (fórmula acima) ou acumule ciclos até atingi-la.
2. Sorteio enviesado	Montar o controle com quem não abriu ou não clicou cria grupos diferentes antes do envio.	Sorteie por ID, antes da elegibilidade, e congele a lista.
3. Medir só compras rastreadas	O controle não tem clique, então contar apenas conversões com origem na mensagem zera o grupo de comparação.	Use pedidos totais da loja nos dois grupos, na mesma janela.
4. Contaminação por outros canais	O controle recebe a mesma oferta por outra campanha, WhatsApp ou mídia, e o lift cai.	Aplique a retenção em todos os canais da régua e registre ações paralelas.

Interpretação

Erro	Por que distorce	Como corrigir
5. Tratar “não significativo” como “sem efeito”	Intervalo que inclui zero indica falta de evidência, não ausência de efeito.	Reporte o intervalo e planeje nova rodada com mais amostra.
6. Confundir lift relativo com absoluto	“+20%” sobre base de 2% são 0,4 ponto percentual, ou 360 clientes em 90.000.	Mostre sempre os dois e converta em clientes e reais.
7. Ignorar custo e margem	Receita incremental de R$ 64.800 com custo de R$ 31.500 e margem de 40% dá resultado negativo.	Calcule iROAS e resultado sobre a margem de contribuição.
8. Cortar o resultado em muitos subgrupos	Quanto mais cortes, maior a chance de achar “vencedor” por acaso.	Defina os segmentos antes do teste e trate o restante como hipótese.

Ação e operação

Erro	Por que distorce	Como corrigir
9. Encerrar quando aparece significância	Olhar o resultado todo dia e parar ao primeiro valor favorável infla falsos positivos.	Fixe duração e amostra antes e leia o resultado ao final.
10. Mudar o teste no meio	Trocar oferta, volume ou lista durante o experimento mistura efeitos.	Congele oferta e regras. Mudanças viram um novo teste.

Para escolher o público do primeiro teste, o win-back de clientes inativos é um bom candidato, pois o contrafactual (compra espontânea) é fácil de explicar.

Checklist do holdout

• Pergunta de negócio definida (régua, canal ou campanha).
• Público elegível e opt-in confirmados.
• Conversão base e lift mínimo estimados; amostra calculada.
• Sorteio por ID, antes da elegibilidade, com lista congelada.
• Retenção aplicada em todos os canais; transacionais fora do holdout.
• Janela única para os dois grupos e métrica baseada em pedidos da loja.
• Duração e critério de decisão fixados antes de começar.
• Resultado em lift absoluto, relativo, clientes, reais, iROAS e intervalo.
• Custo e margem considerados na decisão.
• Política de privacidade atualizada e acesso à lista restrito.

Perguntas frequentes

Qual o tamanho mínimo do grupo de controle?

Depende da conversão base, do lift que você quer detectar e do nível de confiança. Com conversão de 2% e lift esperado de 20%, são cerca de 21.100 clientes por grupo em divisão 50/50. Use a fórmula do artigo antes de definir a porcentagem de holdout.

Holdout de 10% é suficiente?

Só se a lista for grande o bastante. Em uma lista de 100 mil contatos, 10 mil no controle detectam lifts de 20% a 30% com conversão de 2%. Para efeitos menores, aumente o controle ou acumule vários ciclos.

Qual a diferença entre holdout e teste A/B?

No holdout, o controle não recebe a ação e o resultado mostra se ela gera receita incremental. No teste A/B, os dois grupos recebem versões diferentes e o resultado mostra qual versão é melhor.

Posso usar a atribuição do GA4 para medir incrementalidade?

Não por si só. A atribuição distribui crédito entre canais com base em modelos e janelas de lookback, mas não compara com um grupo que não recebeu a ação. O GA4 e a loja fornecem os pedidos para calcular o lift.

Reter clientes do WhatsApp fere o opt-in?

Não. O opt-in autoriza o envio, não o obriga. Mas a Meta recomenda opt-ins por categoria e exige que a pessoa tenha consentido em receber mensagens da empresa. Mantenha mensagens transacionais fora do holdout.

Quanto tempo deve durar o teste?

O suficiente para cobrir o ciclo de compra e atingir a amostra. Como referência de mídia, o Google recomenda ao menos 14 dias no Conversion Lift. Em CRM, ajuste à frequência de recompra do seu produto.

Preciso de consentimento da LGPD para o grupo de controle?

O controle usa dados que a loja já trata, e a base legal deve estar definida na política de privacidade. A lei exige finalidade, adequação e necessidade, e o titular pode revogar o consentimento. Consulte o jurídico para o seu caso.

Conteúdos Relacionados

• Win-back: como reativar clientes inativos no e-commerce
• Pós-Black Friday: como levar o cliente à segunda compra
• 7 Fluxos de Automação de CRM que Mais Convertem