Antes de detalharmos como fazer um teste A/B para o universo mobile, precisamos primeiro definir o que é um teste A/B e como ele funciona. Resumindo, os testes A/B são testes para comparar duas ou mais versões de algo e descobrir qual delas tem melhor desempenho. Para isso, você precisa segmentar seu público em diferentes grupos e ver como reagem a essas versões que você está querendo testar.
Vamos colocar um exemplo para ilustrar isso: digamos que você queira aumentar o número de downloads de seu aplicativo. Você acredita que os atuais criativos da sua empresa podem ser melhorados se o Call to Action for maior, chamando assim mais atenção do usuário. Então, você decide criar um ad set de criativos com um botão centralizado com o mesmo CTA utilizado nos criativos que você está rodando atualmente.
Logo, você divide seu público-alvo em dois e começa a impactar os usuários com os criativos atuais e os novos. Após vários dias, você obtém dados suficientes para comparar os resultados dos dois ad sets, comparando os resultados e vê que os que você criou não só têm uma taxa de cliques mais alta (CTR), mas também uma taxa de conversão maior (CR), já que o botão com o CTA explica o que o usuário deve fazer ao ver o anúncio e para onde o anúncio o vai levar ele, nesse caso para a store. Pronto, você acabou de fazer um teste A/B.
Os testes A/B no mercado de marketing mobile são feitos principalmente em dois campos, basicamente.
In-app: Estes testes são feitos no próprio aplicativo. Mudando o alguma parte do app para construir uma nova UX ou UI, melhorando assim as métricas de uso do usuário como: engajamento, tempo de sessão, retenção, LTV...
Campanhas: Estes testes A/B são feitos nas campanhas em andamento que procuram melhorar o CTR, CR, Instalações, etc. O exemplo acima é um exemplo claro de um teste A/B em uma campanha de aquisição de usuários.
Quais são os passos que eu preciso seguir para fazer um teste A/B corretamente?
Hipótese: Primeiro de tudo, você precisa desenvolver uma hipótese, essa é talvez a parte mais importante de todo o teste A/B. Uma hipótese é basicamente uma suposição, uma idéia que é proposta e que pode ser testada para ver se ela pode ser verdadeira. Para chegar a esta idéia normalmente é necessário um pouco de pesquisa e análise sobre quais são seus esforços de marketing atuais, então você pode chegar a diferentes hipóteses. Ter uma hipótese sólida e inteligente pode ser um divisor de águas e impulsionar a taxa de crescimento da sua empresa.
Segmentação: Com sua hipótese definida você pode iniciar o teste em diferentes amostras de audiência. Estas amostras de audiência precisam ser relativamente semelhantes e suficientemente grandes em termos de tamanho para que os resultados possam ser confiáveis quando você for analisá-las, se as audiências forem pequenas, há um alto risco de que os resultados possam ser afetados pelo acaso. Há várias ferramentas online que ajudam a construir audiências da maneira correta e dividi-las em dois (ou mais) grupos A e B. Os MMPs normalmente têm ferramentas de construção de audiência como recurso, se você usar um MMP para seu, você pode contatá-los para verificar se eles têm esta opção.
Análise: Depois de executar seu por tempo suficiente e você vai ter dados suficientes para começar a análise. Normalmente, esta é a parte mais rápida, você apenas compara os resultados entre as variantes. É recomendável observar todas as métricas do teste, elas podem fornecer algumas tendências ou sinais interessantes para seus próximos testes também.
Implemente: Se seus resultados foram positivos, você pode prosseguir com a implementação da variante bem sucedida em sua campanha ou app. Se o teste foi inconclusivo ou não comprovou a hipótese, isso não significa que você perdeu tempo, significa que você aprendeu o que não fazer e também o que não funciona.
Repita: Os testes A/B são esforços contínuos, você precisa testar novas hipóteses continuamente para melhorar o crescimento do seu app. Depois de terminar um teste, vá em frente e teste outro, com o tempo, sua capacidade de criar hipóteses mais relevantes irá melhorar e também o impacto de seus testes.
Os testes A/B são fundamentais para aprender mais sobre seu público alvo e o que é relevante para ele. Isto não apenas impulsiona o crescimento do seu aplicativo, mas também a execução de testes A/B frequentes permite que você ganhe vantagem sobre seus concorrentes.