🧪 Experimentos

Olá,

Vamos falar hoje sobre aquela coisa que todo mundo faz, mas que em poucos lugares existe uma cultura, e que pouca gente mensura: testes e experimentos.

Sei que muitas empresas no Brasil não gostam da ideia de arriscar e que é difícil fazer testes estatisticamente comprovados.

Mas eu quero contar uma perspectiva nova de testes: algo pragmático e que você poderá implementar em tudo o que fizer.

Pega o cafezinho que hoje a Newsletter está boa!

Leitura dinâmica desta edição

• Testar como uma filosofia: falo que é possível ser bom em fazer testes, mesmo sem tornar tudo complexo e extremamente científico (que é bom, mas não é pragmático)

• Meu método de testar: eu me inspirei no Método de Caso para criar a metodologia que consiste nos seguintes passos.

• 1. Problema: O problema pode ser simplesmente que você precisa publicar um conteúdo, que você precisa de mais tráfego, que você precisa de mais leads. Whatever.

• 2. Solução: é o que você vai fazer. Mas coloque uma meta e um prazo para atingi-lo.

• 3. Resultado: é o que sua ação vai gerar e que se deve auferir. Mas principalmente analisar e entender por que houve aquele número e o que poderia ser melhor.

• 4. Aprendizado: o ponto central. Os experimentos servem essencialmente para gerar know how. Sem isso, não vale nada.

  Como gerenciar seus experimentos: falo que não precisa de nada complexo e que um simples documento ou o app Notas da Apple resolve; por fim, mostro um modelo que criei para testes de SEO.

Fique atento: a quantidade de experimentos importa, como endossa Bezzos:

Será que você precisa de métodos complexos?

Fazer testes é muito mais uma cultura do que ter metodologias robustas — é claro que o melhor cenário é ter as duas coisas, mas isso não é muito realista. Especialmente fora de uma empresa de tecnologia.

Com toda a certeza, você já ouviu dizer que empresas como Booking ou Netflix rodam milhares de experimentos todos os anos.

Olhando para esses números, é como se fosse impossível para os meros normais fazer experimentos.

Não é. E é uma questão muito maior de modo de fazer.

Experimentar além dos Testes AB

Nos últimos tempos, empresas como Oracle e Google descontinuaram suas ferramentas de testes AB.

A razão? Certamente, não tinham o uso e o retorno que as companhias esperavam.

Mas o motivo por trás disso é que, como aponta esse post, os testes AB caíram em desuso na medida em que se criou um novo padrão de boas práticas especialmente nos e-commerces.

Isso quer dizer que testar está fora de moda?

De certa forma está, mas rodar testes é mais importante do que nunca.

Testar como uma filosofia 

Acredito que existam duas formas de testar, que são complementares e não excludentes.

A primeira é a do cientista, que traz métodos robustos, muita governança e conhecimento estatístico. Ele é mais lento, porém seus experimentos poderão ser melhor analisados por terceiros e mais replicáveis.

A segunda é a do profissional de Growth (se não leu, veja a última edição da newsletter sobre Growth), forma esta que é semelhante a um empreendedor. Ele olha os dados anteriores e cria hipóteses de melhoria. Embora baseado em dados, tem menos governança e está mais focado em resolver problemas seus, com pragmatismo.

Eu estou no segundo grupo. E é disso que vou falar hoje.

Você não precisa ser um cientista para fazer experimentos, mas pode pensar como um.

Este segundo grupo procura, naturalmente, que seus experimentos sejam replicáveis mas faz isso mais tratando tudo como se fosse um MVP.

Testar é mais uma filosofia, um way of work, do que um método robusto.

Meu método de testar 

Eu não gosto de coisas complexas. Sou péssimo em burocracias.

Por isso, tudo para mim tem de ser o mais simples (mas não simplista.)

Eu prefiro conseguir rodar muitos experimentos simultaneamente, mesmo com um grau de confiança menor, do que menos com um grau extremo de confiança.

O meu método foi inspirado no Método de Caso, que é comumente usado em MBAs. Não vou entrar em detalhes, mas preciso dizer que eu roubei o método de lá.

Antes de detalhar o método, preciso dizer que absolutamente tudo pode ser colocado em uma perspectiva de experimentos.

Sempre que eu vou criar um conteúdo para esta newsletter ou para o meu LinkedIn eu já tenho, por exemplo, uma expectativa de performance. Fique atento a isso, que fará a metodologia fazer mais sentido.

A metodologia consiste nas seguintes etapas.

1. Problema

É preciso mapear algo que possa melhorar.

O problema pode ser simplesmente que você precisa publicar um conteúdo, que você precisa de mais tráfego, que você precisa de mais leads. Whatever.

Exemplo: precisamos ajustar a nossa comunicação e medir o sucesso da nossa Unique Selling Proposition.

Solução: auto-evidente, a solução é o que vamos fazer para resolver aquele problema.

Não pense em coisas complexas.

Você vai, por exemplo, escrever um conteúdo otimizando tal palavra-chave. Vai escrever um e-book sobre determinado assunto.

Talvez você se pergunte:

— Tá Diego, não tem nenhuma novidade aí. Isso é simplesmente fazer.

Ok. Mas agora a coisa começa sutilmente a mudar.

Em vez de só fazer, você precisa criar uma hipótese.

A solução é a sua hipótese que será provada. Hipótese é o centro de qualquer experimento ou teste científico!

Como eu disse acima, coloque a solução da seguinte forma:

1. Vou publicar um conteúdo sobre Tendências de SEO, com o objetivo de ficar na primeira posição do Google para [tendencias de seo] em até 7 dias.

2. Vou criar um e-book que é um estudo sobre as Tendências de Marketing Digital para 2024, com o objetivo de obter 1.000 leads em até 28 dias.

A hipótese, aqui, é começar cada uma das ações com uma expectativa clara de performance.

Tudo deve ter performance. Performance é o centro de tudo, porque é um dado e é o que gera valor para a companhia.

Lembre-se de colocar uma meta e que ela seja temporal. Se você quiser entender como colocar metas, aprenda sobre Metas SMART.

Resultado: a meta aceita qualquer número, mas é preciso medir os resultados.

Aqui é muito simples: você estabeleceu uma meta e um prazo, e deve agora auferir o que aconteceu.

Mas não veja simplesmente o número, mas faça uma análise do que aquele número significa.

Números abaixo da meta não são necessariamente ruins — desde que gerem aprendizados importantes para o negócio, até porque simplesmente não fazer aquela mesma ação já outra vez pode ser um aprendizado.

Acho que você está entendendo.

Você tem que gerar conhecimento — seja o resultado positivo ou negativo.

Exemplo: publicamos o conteúdo otimizado para Tendências de SEO, mas ele ficou na segunda posição.

Aprendizados: eis o ponto mais importante dos experimentos!

Você e seu time devem gerar aprendizado sobre cada uma das coisas que foram feitas.

E o interessante é que isso seja registrado.

Naturalmente, em coisas pequenas não será possível compartilhar isso tudo com o time pois sabemos que as coisas são rápidas.

Mas você pode fazer isso por conta própria.

Em qualquer bloco de notas dá para fazer isso, em um documento do Google dá para fazer isso.

Exemplo: o conteúdo otimizado para Tendências de SEO ficou na segunda posição pois o conteúdo do concorrente tinha uma usabilidade melhor e respondia com mais clareza à intenção de busca.

Repare que, neste caso, já surge a necessidade de um novo experimento.

Como gerenciar seus experimentos

Como eu falei, você não precisa complicar as coisas e pode gerenciar por um documento do Word/Google ou no Bloco de Notas (eu já fiz muito isso no bloco do iPhone, aplicativo que adoro mesmo pela simplicidade e capacidade de sincronização.)

Mas vou esbanjar um pouco e mostrar algo que fiz para experimentos de SEO, no Notion.

Você pode usar este modelo gratuitamente se inscrevendo na Masterclass Experimentos de SEO, que eu gravei lá na Conversion.

Por esta semana isso é tudo, pessoal!

Um abraço,

Diego Ivo
Fundador e CEO da Conversion
LinkedIn: /diegoivo
Instagram: @diegoivo