Como usar testes AB com personalização

ExperimentaçãoPor Mariana Bonanomi e Juliana Amorim

Você se considera uma pessoa analítica? Hoje em dia, ser um profissional analítico vai muito além de utilizar ferramentas de analytics e planilhas ou saber como fazer um teste AB. A maneira com que usamos essas ferramentas para entender e resolver problemas diretamente ligados ao negócio é o que realmente nos diz se somos, de fato, analíticos.

As equipes de SEO costumam se concentrar em palavras-chave e taxas de rejeição, enquanto as de performance focam em impressões, custos e taxas de cliques. Os profissionais de conteúdo acompanham métricas de sessão e às visualizações de página, enquanto os de produto estão de olho na velocidade e no desempenho do site.

Todos eles olham para a mesma fonte de dados para obter informações completamente diferentes, cada um conduzindo seus próprios experimentos. Nesses casos, é essencial que você adote um ponto de vista específico para responder às perguntas relacionadas aos seus testes AB.

Neste post, vamos falar sobre três estágios de um teste AB — planejamento, implementação e análise —, e destacar como a análise de dados pode dar suporte a cada um deles. Para isso, falaremos sobre:

  • Como usar dados para gerar e validar uma hipótese
  • Como analisar experimentos para obter insights
  • Como incentivar experimentos futuros.

O papel dos dados no planejamento de um teste AB

Primeiramente, é importante definir o que é uma plataforma de análise de dados e do que ela é capaz. Para muitas pessoas, uma plataforma de análise de dados é como um cofre que contém o segredo de como gerar mais tráfego, mais receita e mais sucesso para o negócio. Na realidade, ela está mais para uma ferramenta, que não faz nada demais até que você faça a pergunta certa. Se você vagar sem rumo pelos dados em busca de informações, você provavelmente não vai encontrar muita coisa útil.

Em vez disso, dê um passo atrás e considere os problemas que você está tentando resolver. Pode ser um palpite ou uma série de perguntas e ideias sobre seu site, produto ou cliente. Com essas perguntas em mãos, use sua plataforma de análise de dados para confirmar ou invalidar seu palpite. Se os dados confirmarem essa hipótese, isso pode ser um bom indício de que ali existe uma oportunidade de otimização que merece um teste AB.

Mas calma, fazer as perguntas certas e gerar hipóteses de testes AB te parece algo difícil? Você não é a única pessoa com esse desafio. Esse é o principal motivo pelo qual algumas plataformas de análise de dados lançaram sessões de insights em seus dashboards. Embora ainda sejam um pouco rudimentares, essas ideias, orientadas por inteligência artificial, são um passo na direção certa.

Entretanto, como nem todos esses insights podem fazer sentido para você, aqui vão algumas dicas para fazer as perguntas certas:

  • Colocar-se no lugar dos seus usuários
  • Acompanhar os eventos do seu site ou produto
  • Segmentar sua base de usuários.

Coloque-se no lugar dos seus usuários

Uma das melhores maneiras de identificar uma boa ideia de teste AB é colocar-se no lugar dos usuários. Navegue pelo seu site ou aplicativo como se você fosse um novo usuário e procure pontos de atrito. Outra maneira de fazer isso é pedindo para alguém que você conhece — pode ser da sua família ou algum amigo — navegar pelo seu site, com o objetivo de completar alguma task, como realizar uma compra ou um cadastro. Pergunte a essa pessoa quais foram os pontos de fricção que ela encontrou ou qual etapa da navegação ela achou mais intuitiva. Além disso, entrevistar usuários e pedir feedbacks é sempre um ponto chave para entender o que realmente funciona para eles.

Se você trabalha em um e-commerce, pode descobrir que os custos de envio para determinadas regiões estão muito elevados ou que o tempo de entrega sequer é exibido até que o usuário tente finalizar a compra. Esse pode ser um ponto de frustração em potencial para os usuários. Com hipóteses como essa, você já tem um bom conjunto de perguntas para fazer na sua plataforma de análise de dados.

Acompanhe eventos relevantes

Se você trabalha há mais tempo com otimização, essa sugestão pode até parecer boba, mas por aqui a gente continua se surpreendendo com a quantidade de empresas que ainda não aproveitam as informações originadas de eventos. Se você estiver criando um teste AB novo ou implementando alguma nova feature, reserve um tempo para mapear as ações e os eventos importantes que um usuário pode gerar.

O engajamento com o cabeçalho ou rodapé, os cliques nos CTAs, a profundidade da rolagem, a reprodução de vídeos, entre tantas outras, são ações valiosas que podem ajudá-lo a descobrir informações importantes com base nos comportamentos do usuário.

Mas fique atento e não confunda isso com mapas de calor — eles mostram em que áreas do site os usuários clicam, mas não permitem segmentá-los com base nessas ações para fazer qualquer tipo de análise.

Imagine que você tem uma página de produto com um vídeo e um mapa de calor mostra que muitos de seus usuários estão clicando nesse vídeo. A princípio, o próximo passo seria colocar mais vídeos no seu site, certo? Não necessariamente. Ao formular essa hipótese, você parte de um princípio que pode não se comprovar: será que as visualizações de vídeo estão realmente relacionadas à conversão?

Para confirmar essa hipótese, você deve comparar os dados dos usuários que clicam no vídeo com os dados dos que não clicam para conferir se a conversão desses dois grupos é de fato diferente. Você pode descobrir, por exemplo, que na verdade aqueles que não assistem ao vídeo têm mais chances de converter. Essa é uma boa oportunidade para mais um teste AB.

Segmente sua base de usuários

Todo profissional de marketing usa segmentação no dia a dia e sabe que esse conceito vai muito além de dados demográficos. Segmentos de usuários podem originar novos insights completamente não explorados, por fornecer maior granularidade. Uma das maneiras mais valiosas de usar segmentos é entender melhor os usuários que navegam pelo seu site ou produto.

As plataformas de análise de dados geralmente relatam de forma intercambiável o número de sessões, de visualizações de página, de usuários, etc, em relatórios padrões. Muitas ferramentas de teste, no entanto, operam no nível de usuários únicos. A criação de segmentos com base nos usuários permitirá estimar com mais precisão informações como tamanho do público-alvo, taxa de conversão e duração do teste AB.

Testes comuns

Antes de mais nada, vale relembrar rapidamente como a segmentação da audiência é feita em um teste AB comum. Quando criamos um experimento, definimos qual parcela da audiência verá o site como ele é atualmente, sem nenhuma modificação: o famoso grupo de controle. Em seguida, dividimos igualmente a parcela restante entre as variações que queremos testar.

Segmented AB testing - Image 1.svg
Exemplo de um teste AB padrão

Testes com personalização

Quando introduzimos a personalização, a principal mudança está no começo do fluxo de segmentação. Vamos supor que temos duas personalizações ativas no site, uma para quem está navegando na região Sul e outra para quem está na região Norte. Nesse caso, temos três segmentos da audiência geral do site:

Segmented AB testing - Image 2.svg
Exemplo de segmentação baseada em região

Agora, vamos imaginar que queremos fazer um teste AB relacionado ao conteúdo personalizado que será exibido para cada um desses segmentos. Queremos descobrir se (1) a personalização traz algum benefício e (2) se sim, qual é o conteúdo mais apropriado.

Para cada um dos segmentos, criamos um grupo de controle, que não verá nenhuma personalização, e duas variações personalizadas. O resultado da nossa segmentação, então, fica da seguinte maneira:

Segmented AB testing - Image 3.svg
Exemplo de teste AB com personalização

A implementação de um teste AB

Usar análise de dados para identificar uma ideia de teste AB é apenas a metade do caminho: saber o que rastrear e como medir o desempenho de um experimento é fundamental. Para avaliar o sucesso e obter insights, você precisa garantir que está acompanhando as métricas corretas.

Há muitas informações disponíveis sobre esse assunto, então vamos listar apenas algumas das práticas mais recomendadas. De modo geral, tenha em mente que seus testes AB são tão bons quanto as métricas que você correlaciona a eles.

Defina suas métricas antecipadamente

Recomendamos que você acompanhe sempre duas métricas em seus testes: as primárias e as secundárias.

Métricas Primárias

As métricas primárias devem ser consistentes em muitos (senão em todos) os seus experimentos. Se você trabalha em um e-commerce, muito provavelmente sua métrica primária é receita por usuário ou taxa de conversão de venda. Se o principal objetivo é a geração de leads, pode ser número de leads ou taxa de conversão de lead. Em um SaaS, ela pode ser, por exemplo, a quantidade de pedidos de demonstração ou a taxa de cadastro. Sua métrica principal deve sempre estar intimamente ligada aos resultados do seu negócio.

Métricas Secundárias

Sua métrica principal é o seu guia para a tomada de decisões, mas ela não te ajuda a contar toda a história por trás de um teste AB. Normalmente, utilizamos as métricas secundárias para ajudar a explicar por que a métrica principal aumentou ou diminuiu.

Geralmente essas métricas são mais específicas do experimento e mudam de acordo com o que você está testando. Ela pode estar relacionada a uma etapa do seu funil ou ser focada em engajamento, como cliques em um CTA ou visitas a uma página específica.

As métricas secundárias são especialmente relevantes quando um teste AB tem um impacto negativo em sua métrica principal. Nesse caso, são métricas de suporte que te ajudam a entender o que de fato está acontecendo, uma vez que elas mostram de forma mais detalhada como os usuários se comportam.

Integre sua ferramenta de teste AB à sua ferramenta de análise de dados

Por mais que tenhamos falado aqui sobre garantir que as métricas sejam definidas antecipadamente, a realidade é que nem sempre estamos certos sobre quais delas serão impactadas. Podemos, por exemplo, esperar que a taxa de conversão mude, mas ela pode permanecer estável enquanto o ticket médio aumenta consideravelmente. Se você não antecipou possíveis impactos no ticket médio, pode não perceber que seu teste AB, na verdade, trouxe resultados positivos.

É por isso que integrar sua plataforma de análise de dados à sua ferramenta de teste AB é muito importante. Seguindo a linha do que mencionamos acima sobre acompanhar os eventos dos usuários, nesse caso ainda seria possível identificar esse aumento analisando os eventos de confirmação de pedido.

A análise de um teste AB

A personalização já se provou uma forte aliada na construção de experiências únicas de navegação que gera um ROI alto. Um estudo da McKinsey, por exemplo, mostrou que a personalização pode reduzir o CAC em até 50%, aumentar a receita de 5% a 15% e melhorar a eficiência de marketing de 10% a 30%. Contudo, o seu objetivo deveria ser medir quanto, de fato, a personalização traz de resultado para o seu negócio.

Antes de falar sobre a análise de testes com personalização, vamos relembrar o objetivo de tais testes. Em geral, o que queremos descobrir é qual conteúdo personalizado é o mais indicado para um determinado segmento. Isso quer dizer que não faria sentido compararmos métricas do segmento S1 com N1, por exemplo.

Com isso, o que devemos analisar aqui é a diferença entre as métricas dos subsegmentos da região Sul e os subsegmentos da região Norte, para responder às duas perguntas que levantamos anteriormente:

  1. A personalização traz algum benefício? Ou seja, a métrica do grupo de controle é melhor ou pior que as restantes?
  2. Se sim, qual é o conteúdo mais apropriado para cada um dos segmentos? Ou seja, qual das variações apresentou o melhor resultado?

Determinando o sucesso de um experimento

Ao final do teste, você deve avaliar se as variações tiveram um desempenho melhor ou pior que o do grupo de controle. A maneira de fazer isso depende muito da metodologia que você utiliza e das métricas que você definiu antes de iniciar o teste.

Não é incomum se deparar com uma situação em que a métrica principal se mantém estável e as métricas secundárias apresentam alguma variação. Imagine, por exemplo, que você trabalha em um e-commerce e acabou de realizar uma experiência na página inicial, apresentando uma nova seção de produtos. Você descobre que a taxa de conversão não mudou, mas que o engajamento com os produtos em destaque é alto e que o tráfego para as páginas de produto também aumentou.

Nesse exemplo, você conseguiu introduzir uma nova área promocional, que não prejudica a taxa de conversão, e criou uma oportunidade para apresentar produtos que podem ser de alto valor para o negócio.

Estimando o impacto a médio prazo

Projetar o impacto de seus testes AB é essencial para embasar a argumentação, provar o valor dos seus testes e garantir que suas iniciativas continuem recebendo o orçamento que merecem.

Você provavelmente é responsável por determinados KPIs e precisa mostrar que seus testes AB estão afetando positivamente os resultados do negócio. O objetivo de projetar o impacto é provar o retorno do investimento (ROI) de seus experimentos, além de demonstrar valor e impacto a longo prazo.

A abordagem comum a essas projeções é usar o aumento observado de seu teste para estimar quanto de receita adicional, vendas ou leads você poderia ter caso a variação fosse implementada e ficasse visível para toda a audiência do site.

Vamos explorar um exemplo simples para esclarecer esse conceito. Digamos que você faça um experimento com uma variação e um grupo de controle por quatro semanas. Sua variação resulta em um aumento de 5% na taxa de conversão. Impressionante, não? Mas você precisa mostrar o que esse aumento de 5% significa para os negócios de maneira geral.

Em um segundo caso, ignorando a sazonalidade decorrente de diferentes campanhas e outros fatores externos, podemosaplicar o acréscimo de 5% à receita anual, já que um aumento na taxa de conversão acarretaria no aumento proporcional da receita.

Em qualquer caso não existe certo e errado, por isso é muito importante rotular essa abordagem como uma projeção ou estimativa.

Descobrindo novos insights

Descobrir novas idéias é o que importa. O objetivo principal dos testes AB é encontrar caminhos para melhorar a receita e elevar as taxas de conversão, mas usar os insights é a chave para o verdadeiro sucesso a longo prazo.

Os negócios orientados por dados trazem insights em todas as decisões, e eles sabem exatamente como usá-los para obter maior vantagem em todo o ciclo de vida do cliente. Para essas empresas, as ideias digitais e o que elas fazem com elas são suas armas secretas para atrapalhar seu mercado e roubar seus clientes.

Brian Hopkins, Ted Schadler, and James McCormick, autores do relatório da Forrester, The Insights-Driven Business

As táticas e sugestões descritas acima te ajudarão a estabelecer uma base para começar a descobrir essas ideias, mas é importante lembrar que suas ferramentas não fazem isso por você. Você só terá descobertas impactantes ao fazer as perguntas certas e coletar os dados certos para responder a essas perguntas.

Vamos crescer juntos!

Descubra as táticas que nossos clientes usam para crescer 20% ou mais.