Diferenças Entre Dados Quantitativos e Qualitativos
Ao realizarmos testes A/B, é essencial entender e analisar tanto os dados quantitativos quanto os dados qualitativos. Essas duas abordagens fornecem insights valiosos sobre o desempenho de interações em nosso site, ajudando-nos a melhorar a experiência do usuário e otimizar as taxas de conversão.
O Que São Dados Quantitativos?
Os dados quantitativos são essencialmente números brutos que representam métricas objetivas. Eles nos permitem avaliar o desempenho direto de cada interação em nosso site, atribuindo valores numéricos reais a essas métricas. Exemplos de análise de dados quantitativos incluem:
- Medição do tráfego de uma página
- Taxa de rejeição desse tráfego
- Taxa de cliques (CTR)
- Taxa de assinantes
- Taxa de vendas
- Valor médio das vendas.
Na maioria dos programas de teste, começa-se com uma análise técnica para obter dados sobre o que está funcionando ou apresentando problemas no site. Em seguida, realiza-se uma análise quantitativa para estabelecer uma linha de base do desempenho atual do site, antes de avançar para uma análise qualitativa.
O Que São Dados Qualitativos?
Embora os dados quantitativos forneçam números brutos sobre o desempenho de páginas ou aplicativos, eles não nos explicam o motivo desses resultados.
É aqui que entra a análise de dados qualitativos. Ela nos ajuda a compreender por que as coisas acontecem (sejam positivas ou negativas), permitindo-nos formular hipóteses para melhorá-las. Exemplos de dados qualitativos incluem:
- Pesquisa com usuários
- Mapas de rolagem
- Rastreamento de cliques
- Mapeamento de calor (heatmaps)
- Pesquisas.
O objetivo é entender melhor a audiência e sua interação com o site, identificando possíveis problemas no uso do site ou fatores externos que possam afetar suas ações.
Por exemplo, mesmo sabendo que um CTA não está recebendo muitos cliques, somente por meio de entrevistas com clientes podemos descobrir que a linguagem não é clara ou não ressoa com a audiência.
A Forma Correta de Utilizar Dados em Testes A/B
Embora possa parecer que estamos apenas rastreando eventos de conversão específicos ou monitorando o comportamento do usuário, o objetivo é combinar tanto dados quantitativos quanto qualitativos. Essa combinação nos permite identificar falhas técnicas ou problemas comuns, mas o ideal é utilizá-los juntos para obter uma compreensão mais abrangente de nossa audiência.
Não buscamos apenas informações imediatas. Queremos entender por que as coisas estão acontecendo e, em seguida, ir um passo além para encontrar a causa raiz.
Por exemplo, suponhamos que realizamos uma pesquisa quantitativa e constatamos que a taxa de conversão de uma página está baixa. Será que a oferta ou o produto não são desejados? Ou precisamos melhorar o processo?
Nesse caso, executamos um mapa de calor (heatmap) na página de destino e vemos que a maioria do público não clica em um CTA específico, permitindo-nos formular uma hipótese sobre o motivo. Talvez a linguagem não esteja clara?
No entanto, após uma análise mais aprofundada, descobrimos que, em alguns dispositivos, o CTA está fora da tela, enquanto em outros dispositivos, ele não se destaca o suficiente para ficar claro que é um botão a ser pressionado.
Se analisássemos apenas os dados qualitativos, poderíamos pensar que a baixa taxa de cliques é o problema. Se analisássemos apenas os dados quantitativos, poderíamos supor que as pessoas simplesmente não estão clicando. Mas, ao combiná-los, conseguimos obter uma compreensão muito mais profunda. (Assim é como realmente entendemos os dados em testes A/B.)
Principais Erros a Evitar ao Coletar e Analisar Dados
Erro #1: Coletar Dados para Confirmar uma Opinião
Você está utilizando dados para descobrir novos insights ou apenas para validar ideias preexistentes?
É válido usar dados para validar uma ideia. Isso é parte do processo de hipótese. Temos uma ideia do que está errado e como corrigi-lo, e tentamos comprovar isso por meio do teste e seus resultados.
Mas não podemos esquecer o método científico! Não devemos nos apegar às nossas ideias e opiniões. Precisamos confiar nos dados e encontrar a verdadeira razão por trás dos resultados. É isso que realmente importa. Está tudo bem estar “errado” com uma hipótese. Descobrir uma percepção diferente a partir de um teste mal sucedido nos ensina mais sobre nossa audiência!
No entanto, é importante não deixar que os dados nos conduzam a uma conclusão que não seja fundamentada.
Erro #2: Realizar Análises sem Articular Claramente o Problema
Um problema comum nos testes (e até mesmo em muitas empresas) é que a pessoa que analisa os dados nem sempre é o analista.
Em vez disso, o analista é utilizado como intermediário para fornecer informações em relatórios para terceiros que estão tentando resolver um problema. (Eles se tornam praticamente um painel de controle glorificado.)
Aqui está um exemplo:
Seu chefe tem um objetivo e um problema. Eles têm uma ideia aproximada da solução e da causa, e pedem ao analista dados sobre o XYZ, mas sem contexto. Eles estão tentando descobrir se essa solução e o problema podem funcionar. Geralmente, há idas e vindas para solicitar mais dados. Essa solicitação muitas vezes apoia falsamente a ideia, ou não há um entendimento mais aprofundado. Dessa forma, novos testes ou ideias são apresentados, e o problema continua sem solução. Não é ideal, certo?
Agora, imagine se o chefe se aproximasse do analista com o contexto do problema específico e trabalhassem juntos para articular o problema e encontrar a causa raiz?
Isso poderia acelerar a compreensão e os novos testes para solucionar o problema.
Erro #3: Depender de uma Única Fonte de Dados Sem Explorar Diferentes Perspectivas
Já mencionamos isso antes, mas é fundamental não se limitar a uma única fonte de dados, pois isso restringe severamente a compreensão e as possíveis soluções e ideias de teste.
Quanto mais fontes de dados tivermos, melhor será nossa capacidade de criar uma imagem clara do que está acontecendo e por quê.
A Melhor Maneira de Utilizar Dados para Criar Testes Vencedores
Se você já realizou testes por um tempo, sabe que a maioria deles não resulta em vencedores. Na verdade, apenas cerca de 3 em cada 10 serão bem-sucedidos, enquanto os demais serão considerados fracassos.
No entanto, a terminologia de “ganhar” ou “fracassar” não é a mais apropriada. Sim, o teste pode não ter gerado um aumento nas métricas, mas ele nos fornece dados que podemos utilizar para melhorar e descobrir o porquê.
Lembre-se:
Não devemos focar em um único teste. Mesmo se ele for bem-sucedido, ainda assim, devemos seguir um processo iterativo de aprendizado e melhorias. Testamos, aprendemos, formulamos hipóteses e testamos novamente.
Isso nos ajuda a criar um ciclo de feedback de novos dados para apoiar ou refutar ideias.
Testamos e falhamos, mas aprendemos. Utilizamos esses aprendizados para realizar mais testes até obtermos um aumento nas métricas. E então continuamos a testar até atingirmos um ponto em que não podemos melhorar mais. Não se concentre em tentar obter um vencedor imediatamente. Essa é a maneira mais rápida de concluir que a otimização de taxas de conversão (CRO) não funciona para você. Em vez disso, transforme dados em insights e aprenda mais a cada teste.
Você pode estar perto de um vencedor, mas talvez precise de uma execução melhor.
Ou talvez esteja próximo de um insight que possa mudar fundamentalmente toda a sua mensagem. Continue perseverando e aprendendo com cada teste!
Incorpore esse ciclo de feedback em seu processo de coleta e análise de dados.
E, acima de tudo, certifique-se de que você possa acessar e compreender os dados que está coletando, que está utilizando esses dados corretamente e que pode confiar neles!…
Obrigado por ler!