Testes A/B

Testes A/B permitem comparar diferentes versoes da sua campanha para descobrir qual tem melhor desempenho. Com dados reais, voce pode tomar decisoes baseadas em evidencias.

O que e um Teste A/B?

Um teste A/B divide sua audiencia em grupos e envia versoes diferentes da campanha para cada grupo. Ao final, voce identifica qual versao teve melhor resultado.

Audiencia Total: 10.000 usuarios
├── Variacao A (50%): 5.000 usuarios → Assunto 1
└── Variacao B (50%): 5.000 usuarios → Assunto 2

Resultado: Variacao B teve 25% mais aberturas

Ativando Teste A/B

1. Na criacao da campanha, localize a secao Teste A/B
2. Ative o toggle Habilitar Teste A/B
3. Configure as variacoes

O que Testar

Linha de Assunto (Email)

O teste mais comum e efetivo:

Variacao A: "Ultimas horas! 50% OFF em tudo"
Variacao B: "Joao, sua oferta exclusiva expira hoje"
Variacao C: "🎉 Promocao relampago - so hoje!"

Conteudo da Mensagem

Teste diferentes abordagens de copy:

Variacao A: Foco em beneficios
Variacao B: Foco em urgencia
Variacao C: Foco em prova social

Horario de Envio

Descubra o melhor momento:

Variacao A: Envio as 9h
Variacao B: Envio as 14h
Variacao C: Envio as 19h

Remetente

Teste diferentes "de":

Variacao A: "Equipe NotifyChain"
Variacao B: "Maria da NotifyChain"
Variacao C: "NotifyChain"

Call-to-Action

Teste diferentes CTAs:

Variacao A: "Comprar Agora"
Variacao B: "Ver Ofertas"
Variacao C: "Aproveitar Desconto"

Configurando Variacoes

Numero de Variacoes

Voce pode criar de 2 a 4 variacoes:

Variacoes	Distribuicao	Tamanho Minimo Recomendado
2	50% / 50%	1.000 usuarios por variacao
3	33% / 33% / 33%	1.000 usuarios por variacao
4	25% / 25% / 25% / 25%	1.000 usuarios por variacao

Distribuicao Customizada

Voce pode ajustar a porcentagem de cada variacao:

Variacao A: 40%
Variacao B: 40%
Controle:   20%

Criando Variacoes

1. Clique em Adicionar Variacao
2. De um nome identificador (A, B, C...)
3. Configure o que muda em cada variacao
4. Repita para cada variacao necessaria

Metrica de Sucesso

Defina qual metrica determina o vencedor:

Metrica	Descricao	Quando Usar
Taxa de Abertura	% que abriu o email	Testar assuntos
Taxa de Clique	% que clicou em links	Testar conteudo/CTA
Taxa de Conversao	% que converteu	Testar fluxo completo
Receita	Valor gerado	Campanhas de venda

Determinacao do Vencedor

Automatica

O sistema determina o vencedor baseado em:

1. Significancia estatistica: Minimo de 95% de confianca
2. Duracao do teste: Tempo minimo para coletar dados
3. Metrica escolhida: Comparacao das variacoes

Configuracao:

Duracao do teste: 4 horas
Metrica: Taxa de Abertura
Acao apos vencedor: Enviar para restante da base

Manual

Voce analisa os resultados e decide:

1. Acompanhe as metricas em tempo real
2. Compare as variacoes
3. Clique em Declarar Vencedor
4. Escolha a variacao vencedora

Fluxo do Teste

Fase 1: Teste

1. Audiencia dividida entre variacoes
2. Envio simultaneo para os grupos
3. Coleta de dados de engajamento
4. Aguarda duracao minima

Fase 2: Analise

1. Calculo de significancia estatistica
2. Identificacao do vencedor
3. Exibicao dos resultados

Fase 3: Envio Final (Opcional)

Se configurado, envia a versao vencedora para o restante da audiencia:

Teste: 20% da base (2.000 usuarios)
├── Variacao A: 1.000 usuarios
└── Variacao B: 1.000 usuarios

Vencedor: Variacao B

Envio Final: 80% restante (8.000 usuarios)
└── Variacao B: 8.000 usuarios

Grupo de Controle

Mantenha uma porcentagem sem receber nenhuma variacao:

Por que usar:

• Medir impacto real da campanha
• Comparar conversao organica vs campanha
• Validar efetividade da comunicacao

Configuracao:

1. Ative Grupo de Controle
2. Defina a porcentagem (recomendado: 10%)
3. Esse grupo nao recebera nenhuma mensagem

Resultados e Relatorios

Metricas por Variacao

Para cada variacao, veja:

• Total de envios
• Taxa de entrega
• Taxa de abertura
• Taxa de clique
• Taxa de conversao
• Receita gerada

Comparativo

Tabela comparativa com:

• Diferenca percentual entre variacoes
• Intervalo de confianca
• Significancia estatistica
• Vencedor destacado

Insights

O sistema gera insights automaticos:

"A Variacao B teve 23% mais aberturas que a Variacao A.
Usuarios responderam melhor ao assunto personalizado com nome."

Boas Praticas

Teste Uma Variavel

Altere apenas um elemento por teste:

✅ Correto:

Variacao A: Assunto 1 + Conteudo X
Variacao B: Assunto 2 + Conteudo X

❌ Incorreto:

Variacao A: Assunto 1 + Conteudo X
Variacao B: Assunto 2 + Conteudo Y

Tamanho da Amostra

Garanta amostra suficiente para significancia:

Diferenca Esperada	Amostra Minima por Variacao
20%+	500 usuarios
10-20%	1.000 usuarios
5-10%	2.500 usuarios
< 5%	10.000+ usuarios

Duracao Adequada

Tempo minimo para resultados confiaveis:

• Email: 4-24 horas (maioria abre em 24h)
• Push: 1-4 horas (engajamento rapido)
• SMS: 1-2 horas (leitura imediata)

Documente Aprendizados

Mantenha registro dos testes:

Teste: Assunto personalizado vs generico
Data: 15/01/2024
Vencedor: Personalizado (+23% abertura)
Insight: Nossa base responde bem a personalizacao
Acao: Usar nome em todos os assuntos futuros

Teste Continuamente

Nao existe formula magica. O que funciona hoje pode nao funcionar amanha. Mantenha uma cultura de testes constantes.

Evite Conclusoes Precipitadas

Aguarde significancia estatistica antes de declarar vencedor. Resultados iniciais podem ser enganosos.