Resultados e medição
Sem grupo de controle, todo número é torcida
Você não precisa acreditar em mim. Precisa acreditar no número. Parte dos visitantes não me vê, a outra parte vê, e no fim comparamos quanto cada grupo comprou por visitante. É o jeito honesto de separar o que eu vendi do que a loja venderia de qualquer forma.
Ainda não temos piloto concluído. Por isso esta página mostra o método, não números. Quando o primeiro piloto terminar, o resultado entra aqui com intervalo de confiança e tamanho da amostra, mesmo que seja pequeno ou negativo. O número que você recebe é o da sua loja, não o do nosso entusiasmo.
Resposta direta
Como saber se o Konvert aumenta as vendas da loja?
O teste
Mesma loja, mesmo período, dois grupos
O sorteio acontece quando o visitante chega. O grupo de controle nunca me vê, mas é medido do mesmo jeito.
- O sorteio é por visitante e não muda no meio do teste, nem quando ele volta outro dia.
- Mudar a proporção dos grupos abre um experimento novo. Misturar dois sorteios estraga a leitura.
- Métrica principal, janela e regra de parada são fixadas antes de olhar os dados.
- Nada de promoção, troca de preço ou de tema só para um dos grupos durante o teste.
- Conferimos se o sorteio ficou equilibrado. Se não ficou, o resultado não vale e dizemos isso.
A métrica
Receita por visitante, no grupo inteiro
A pergunta que importa para a loja não é se quem conversou comigo comprou mais. É se a loja inteira vendeu mais por minha causa.
Receita por visitante
Receita do grupo dividida pelos visitantes do grupo. É a métrica principal.Conversão e ticket
Mostramos as duas ao lado, para ver de onde veio a diferença.Quem conversou
Aparece só depois, com o aviso de que descreve quem engaja e não é efeito.Pedidos fora da curva
Um pedido enorme pode distorcer tudo. Limitamos os extremos e mostramos as duas leituras.
Tendência ou comprovado
Duas palavras com significados diferentes
Com pouca amostra, qualquer diferença pode ser acaso. Só chamamos de comprovado quando três condições se cumprem juntas.
O intervalo exclui o zero
Calculamos o intervalo de confiança de 95% da diferença. Se ele inclui o zero, ainda pode não haver efeito.
O sorteio ficou equilibrado
Os dois grupos receberam a proporção combinada de visitantes. Desequilíbrio indica falha no teste.
Pelo menos 30 pedidos
Com menos pedidos que isso no total, a leitura é instável demais para chamar de prova.
tendênciaFalta amostra. Mostramos o menor efeito que o teste consegue enxergar.
comprovadoAs três condições se cumprem. Ainda assim, com intervalo.
O que você acompanha
O mesmo número, toda semana, em linguagem simples
No painel dentro do admin da Shopify e no relatório semanal do piloto.
- Resultado do teste, com intervalo, número de visitantes e quantos dias faltam.
- Conversas, pedidos e receita com ajuda do assistente, sempre com o rótulo de que isso não é efeito.
- A taxa de pedidos que conseguimos ligar a um visitante, porque nem todo pedido carrega essa marca.
- As perguntas mais frequentes e as sem resposta, que viram correções no catálogo ou no FAQ.
- Passagens para a sua equipe e os motivos.
Ligação entre pedido e conversa. Um pedido conta como atendido pelo chat quando saiu do checkout aberto na conversa ou quando o mesmo visitante conversou com o chat nos 14 dias anteriores. Isso mostra influência, não causa. A causa vem do teste.
Custo por conversa
Medimos quanto cada conversa minha custa
Cada resposta minha usa IA e tem um custo. Registramos o uso de cada rodada do modelo, por loja.
Preço com base real
O custo medido no piloto é o que permite cobrar por faixa de conversas, sem chute.
Teto diário por loja
Um limite de uso de IA por dia protege a loja e a gente de picos e de robôs.
Custo por pedido
Cruzamos o custo com os pedidos atendidos para saber se a conta fecha para os dois lados.
Resultados dos pilotos
Os números entram aqui quando existirem
Ainda não temos piloto concluído
Cada resultado vai trazer a diferença na receita por visitante, o intervalo de confiança, o número de visitantes por grupo, os dias de teste e a taxa de ligação dos pedidos. Só com autorização da loja.
Me contrate com período de experiência
Escolhemos lojas com tráfego para o teste mostrar alguma coisa. No fim, quem decide é o número, e não a minha simpatia. Se a sua loja ainda não tiver tráfego, dizemos isso antes.
Sem número de resultado antes de piloto medido.