Como saber se uma intervenção funcionou, sem se enganar
Receita recuperada é o número mais fácil de inflar no e-commerce. Um teste justo precisa de uma comparação, de uma linha de custo e de uma janela definida antes.
Publicado em 2026-10-12 · 6 min de leitura
Como saber se uma intervenção funcionou, sem se enganar
O relatório que sempre parece bom
Toda ferramenta de intervenção vem com um dashboard de resultados, e o dashboard é quase sempre positivo. O pop-up apareceu, algumas pessoas compraram, e a receita entra como “recuperada”.
A fraqueza está na palavra. Recuperada presume que a venda seria perdida. Alguns desses compradores teriam concluído a compra sem mensagem nenhuma, e alguns teriam pago o preço cheio. O dashboard conta todos como vitória.
Isso não é desonestidade da ferramenta. É um limite do método: sem comparação, não há como separar as vendas que a intervenção causou das vendas que ela apenas acompanhou.
Hábito 1: dê nome à decisão que está sendo testada
“Adicionamos personalização” não é testável. Uma afirmação testável nomeia uma decisão que mudou: para visitantes com interação repetida com a informação de frete, mostrar a estimativa de entrega mais cedo em vez de enviar desconto no produto depois que saem.
Uma decisão, um público, uma mudança. Se várias coisas mudam ao mesmo tempo, um resultado bom não pode ser atribuído e um ruim não pode ser diagnosticado.
Hábito 2: mantenha um grupo que não recebe
O único jeito confiável de saber o que teria acontecido é deixar acontecer para alguns visitantes. Reserve uma parte do tráfego elegível, escolhida ao acaso, que continua recebendo o tratamento anterior.
Um gráfico de antes e depois não substitui isso. Entre o mês passado e este, a estação mudou, uma campanha rodou e um concorrente ajustou preços. Qualquer uma dessas coisas pode produzir um aumento ou esconder um.
O tamanho do grupo depende do tráfego. O que importa mais é que a divisão seja aleatória e decidida antes de olhar os resultados.
Hábito 3: meça o que custou
Conversão é metade do resultado. A outra metade é o que se pagou por ela. Para uma intervenção de e-commerce, o lado do custo inclui:
Esses são os guardrails. Uma intervenção que melhora o resultado principal enquanto um guardrail piora apenas moveu um custo para outro lugar.
Hábito 4: defina a janela antes de começar
Um resultado medido depois de três dias e um medido depois de seis semanas podem apontar em direções opostas. Devoluções demoram a chegar, e recompra demora mais.
Escreva antes o resultado principal, os guardrails e a data em que o teste será lido. Decidir quando parar depois de ver os números é o jeito mais comum de transformar ruído em descoberta.
O que registrar em cada intervenção
Um teste vale o que vale o seu registro. Para cada decisão, guarde:
Registrar as decisões de não agir importa tanto quanto o resto. Elas fazem parte do que está sendo testado.
Lendo os nossos números do mesmo jeito
Aplicamos esse padrão às nossas próprias afirmações. Os números que publicamos, redução de 40% no churn e aumento de 2,3x na conversão em mais de 3,4 milhões de perfis, são resultados reportados por um piloto com um parceiro. Não são um estudo controlado publicado e não são garantia para outra loja.
Essa distinção é o ponto deste artigo. Um aumento é o começo de uma pergunta. Ele vira evidência quando existe uma comparação, uma linha de custo e uma janela definida antes de alguém ver o resultado.
Leia nosso framework de mensuração.