Usando diferentes tipos de experimentos, podemos aprender sobre a variação em nossos sites, testar novas experiências, descobrir novos caminhos de página, dar grandes saltos ou pequenos passos e identificar a combinação ideal de elementos em uma página.
1. Teste A/A
Um teste A/A é um conceito simples: você está testando duas versões de uma página que são idênticas.
Por que você faria isso? Há vários motivos, principalmente em busca de calibração e compreensão dos dados subjacentes, comportamento do usuário e mecanismos de randomização de sua ferramenta de teste. O teste A/A pode ajudá-lo a:
- Determine o nível de variação em seus dados
- Identifique erros de amostragem em sua ferramenta de teste
- Estabeleça taxas de conversão de linha de base e padrões de dados.
A execução de testes A/A é estranhamente controversa. Alguns juram por isso . Alguns dizem que é perda de tempo .
Minha vez? Provavelmente vale a pena executar um pelo menos uma vez, por todas as razões acima mencionadas. Outra razão pela qual eu AMO fazer testes A/A é explicar estatísticas para iniciantes em testes.
Quando você mostra a alguém um experimento “significativo” com dois dias de dados coletados, apenas para revelar mais tarde que era um teste A/A, as partes interessadas geralmente entendem por que você deve executar um experimento até a conclusão.
Se você quiser ler mais sobre testes A/A (é um assunto enorme, na verdade), o Convert tem um guia detalhado sobre eles.
2. Teste A/B simples
Todo mundo sabe o que é um teste A/B simples : você está testando duas versões de uma página, uma com uma alteração e outra sem.
Os testes A/B são o pão com manteiga da experimentação. Eles são simples de configurar e fáceis de entender, mas também podem ser usados para testar grandes mudanças.
Os testes A/B são mais comumente usados para testar alterações em uma interface de usuário, e o objetivo de um teste A/B simples é quase sempre melhorar a taxa de conversão em uma determinada página.
A taxa de conversão , aliás, é uma métrica genérica que abrange todos os tipos de proporções, como a taxa de ativação de novos usuários de produtos, taxas de monetização de usuários freemium, taxas de conversão de leads no site e taxas de cliques.
Com um teste A/B simples, você tem uma hipótese singular e altera um elemento de cada vez para aprender o máximo possível sobre os elementos causais de sua mudança. Isso pode ser algo como uma mudança de título, mudança de cor ou tamanho do botão, adição ou remoção de um vídeo ou qualquer coisa.
3. Teste Multivariado
Um teste multivariado é um experimento com múltiplas mudanças. Quando um teste A/B/n está testando as versões compostas de cada variante em relação a outra variante, um teste multivariado também visa determinar os efeitos de interação entre os elementos testados.
Imagine, por exemplo, que você está redesenhando uma página inicial. Você fez uma pesquisa de conversão e descobriu problemas de clareza com seu título, mas também tem algumas hipóteses sobre o nível de contraste e clareza em seu CTA.
Não apenas você está interessado em melhorar cada um desses dois elementos isoladamente, mas o desempenho desses elementos também é provavelmente dependente. Portanto, você deseja ver qual combinação de novos títulos e CTAs funciona melhor.
O design do experimento fica muito mais complicado quando você entra em território multivariado. Existem alguns tipos diferentes de configurações de experimentos multivariados , incluindo planejamento fatorial completo, planejamento fatorial parcial ou fracionário e teste de Taguchi.
E apenas por uma questão de bom senso estatístico, testes multivariados quase certamente exigem mais tráfego do que testes A/B simples. Cada elemento ou experiência adicional que você altera aumenta a quantidade de tráfego necessária para um resultado válido.
Casos de uso: experimentos multivariados parecem particularmente benéficos para otimizar uma experiência ajustando várias pequenas variáveis. Sempre que você quiser determinar a combinação ideal de elementos, testes multivariados devem ser considerados.
4. Teste de segmentação
Os testes de direcionamento, mais conhecidos como personalização , tratam de mostrar a mensagem certa para a pessoa certa no momento certo.
Com um teste de segmentação, você pode criar diferentes versões de uma página e mostrar cada versão para um grupo diferente de pessoas. O objetivo geralmente é aumentar as taxas de conversão mostrando conteúdo relevante para cada usuário.
Observe que personalização e experimentação não são sinônimos. Você pode personalizar uma experiência sem tratá-la como um experimento. Por exemplo, você pode decidir com zero dados ou intenção de coletar dados, que usará um token de primeiro nome em seus e-mails para personalizar mensagens com o nome do destinatário.
Personalização? Sim. Experimentação? Não.
Mas você também pode realizar experimentos direcionados a segmentos específicos de usuários. Isso é especialmente comum na experimentação de produtos, onde você pode isolar coortes com base em seu tipo de preço , tempo de inscrição, fonte de inscrição etc.
As mesmas estatísticas se aplicam aos experimentos de personalização, por isso é importante escolher segmentos significativos para segmentar. Se você ficar muito granular – digamos, segmentar usuários do Chrome móvel rural do Kansas que tenham entre 5 e 6 sessões – não apenas será impossível quantificar o impacto estatisticamente, mas também é improvável que seja um impacto comercial significativo.
A personalização é normalmente vista como uma extensão natural de testes A/B simples, mas de muitas maneiras, ela introduz uma tonelada de nova complexidade. Para cada nova regra de personalização que você emprega, esse é um novo “universo” que você criou para seus usuários gerenciarem, atualizarem e otimizarem.
As ferramentas de personalização preditiva ajudam a identificar segmentos-alvo, bem como experiências que parecem funcionar melhor com eles. Caso contrário, as regras de personalização geralmente são identificadas pela segmentação pós-teste.
Casos de uso: isole tratamentos para segmentos específicos de sua base de usuários.
5. Teste de bandido
Um teste de bandido , ou usando algoritmos de bandido, é um pouco técnico. Mas basicamente eles diferem dos testes A/B porque estão constantemente aprendendo e alterando qual variante é mostrada aos usuários.
Os testes A/B são normalmente experimentos de “horizonte fixo” (com a ressalva técnica de usar testes sequenciais ), o que significa que você predetermina um período de teste quando estiver executando o teste. Após a conclusão, você toma a decisão de lançar a nova variante ou reverter para a original.
Os testes de bandidos são dinâmicos. Eles atualizam constantemente a alocação de tráfego para cada variante com base em seu desempenho.
A teoria é assim: você entra em um cassino e se depara com várias máquinas caça-níqueis ( bandidos multi-armados ). Supondo que cada máquina tenha recompensas diferentes, o problema do bandido ajuda a “decidir quais máquinas jogar, quantas vezes jogar cada máquina e em que ordem jogá-las e se continuar com a máquina atual ou tentar uma máquina diferente”.
O processo de decisão aqui é dividido em “exploração”, em que você tenta coletar dados e informações, e “exploração”, que capitaliza esse conhecimento para produzir recompensas acima da média.
Assim, um teste de bandido em um site buscaria encontrar, em tempo real, a variante ideal e enviar mais tráfego para essa variante.
Casos de uso: experimentos curtos com alta “perecibilidade” (o que significa que os aprendizados dos resultados não se estenderão muito no futuro) e otimização dinâmica “configure e esqueça” de longo prazo.
6. Algoritmos Evolutivos
Algoritmos evolutivos são uma espécie de combinação entre testes multivariados e testes de bandidos. No contexto de experimentos de marketing, os algoritmos evolucionários permitem testar um grande número de variantes ao mesmo tempo.
O objetivo de um algoritmo evolucionário é encontrar a combinação ideal de elementos em uma página. Eles trabalham criando uma “população” de variantes e testando-as umas contra as outras. A variante de melhor desempenho é então usada como ponto de partida para a próxima geração.
Como sugerido pelo nome, ele usa iterações evolutivas como modelo para otimização. Você tem uma tonelada de versões diferentes de títulos, botões, texto do corpo e vídeos, e você junta cada um deles para criar novas mutações e dinamicamente tenta eliminar variantes fracas e enviar mais tráfego para variantes fortes.
É como um teste multivariado com esteróides, embora com menos transparência nos efeitos de interação (portanto, um menor potencial de aprendizado). Esses experimentos também exigem bastante tráfego do site para funcionar bem.
Tem alguma dúvida, que tal uma Agência DCSBRASIL?