Avaliação de Confiança em Experimentação A/B e Qualidade de Dados

Bem-vindo(a) à Pesquisa de Confiança e Qualidade em Experimentação. Estamos coletando feedback sincero sobre como os resultados dos testes A/B são utilizados e em que medida são confiáveis em toda a organização. Suas respostas são confidenciais e serão relatadas apenas de forma agregada — não há respostas certas ou erradas. A participação é voluntária, e você pode sair a qualquer momento. A pesquisa leva aproximadamente 12 minutos. Os resultados serão usados internamente para aprimorar nossas práticas de experimentação e comunicação.

Quais áreas funcionais melhor descrevem o seu papel? (Selecione até três.)

• Gestão de Produto
• Engenharia
• Ciência de Dados / Analytics
• Design / UX
• Marketing / Growth
• Operações / Suporte
• Liderança / Estratégia
• Outro

As perguntas a seguir são para quem não utilizou ativamente os resultados de testes A/B recentemente. Se você trabalha regularmente com resultados de testes, pode avançar.

As perguntas a seguir são para quem trabalhou ativamente com resultados de testes A/B nos últimos 3 a 6 meses.

Com que clareza os relatórios de experimentos publicados comunicam a incerteza (por exemplo, intervalos de confiança, significância estatística)?

Com base nas suas respostas nesta pesquisa, compartilhe quaisquer pensamentos ou preocupações adicionais sobre a credibilidade ou a confiabilidade do nosso programa de testes A/B.

Por fim, algumas perguntas sobre o seu perfil para fins de análise.

Obrigado pelo seu tempo. Seu feedback contribuirá diretamente para melhorias em nossas práticas de experimentação, ferramentas e comunicação. Os resultados serão compartilhados de forma agregada com a equipe mais ampla.

Nos últimos 6 meses, com que frequência você revisou ou agiu com base em resultados de testes A/B?

• Semanalmente ou mais
• 1 a 3 vezes por mês
• Algumas vezes no total
• Não nos últimos 6 meses
• Nunca

Com base na sua impressão geral, quão confiáveis são nossos resultados de testes A/B no geral?

Aproximadamente em quantos testes A/B distintos você trabalhou ou cujos resultados revisou nos últimos 3 meses?

• 1–2
• 3–5
• 6–10
• 11–20
• Mais de 20

Antes do lançamento, com que frequência o efeito mínimo detectável (MDE) e o poder estatístico são planejados explicitamente para os experimentos?

• Sempre
• Frequentemente
• Às vezes
• Raramente
• Nunca
• Não tenho certeza

Há quanto tempo você está na empresa?

• Menos de 6 meses
• 6 a 12 meses
• 1 a 2 anos
• 3 a 5 anos
• Mais de 5 anos

O que limita o seu uso dos resultados de testes A/B atualmente? (Selecione todas as opções aplicáveis.)

• Difícil acesso aos resultados
• Não sei como interpretar os resultados
• Não confio na qualidade dos dados
• Não é relevante para o meu trabalho
• Nenhum teste executado na minha área
• Falta de tempo
• Outro

Onde são executados principalmente os testes A/B com os quais você trabalha? (Selecione todas as opções aplicáveis.)

• Web
• App iOS
• App Android
• Sistemas de backend
• Canais de marketing (e-mail / anúncios)
• Outro

Ao decidir lançar com base no resultado de um teste, qual tamanho mínimo de efeito na métrica principal costuma ser significativo para a sua equipe?

• Depende do contexto
• Qualquer mudança positiva
• Pelo menos 0,5 ponto percentual
• Pelo menos 1 ponto percentual
• Pelo menos 2 pontos percentuais
• Pelo menos 5 pontos percentuais

Quantos anos de experiência profissional total você tem?

• 0 a 2
• 3 a 5
• 6 a 10
• 11 a 15
• Mais de 15

Quão útil seria para o seu trabalho um guia breve explicando conceitos-chave de experimentação (por exemplo, poder estatístico, efeito mínimo detectável, intervalos de confiança)?

O quanto você confia na validade das conclusões dos nossos testes A/B nos últimos 3 meses?

Classifique as seguintes melhorias de acordo com o quanto elas aumentariam a sua confiança nos resultados dos testes A/B. (Arraste para reordenar; a mais impactante primeiro.)

1. Melhor instrumentação e QA
2. Mecanismos que impeçam olhar os resultados cedo demais
3. Pipelines de dados mais rápidos e estáveis
4. Pré-registro de hipóteses e métricas
5. Verificações automáticas de poder / MDE antes do lançamento
6. Resumos de resultados mais claros e orientação para decisões

Qual é o seu nível de senioridade?

• Colaborador(a) individual
• Gestor(a) de pessoas
• Diretor(a) ou acima
• Prefiro não responder

Com que frequência os resultados de testes A/B mudam de forma significativa as decisões da sua equipe?

• Quase sempre
• Frequentemente
• Às vezes
• Raramente
• Quase nunca

Onde você está localizado(a) principalmente?

• Américas
• Europa
• Oriente Médio e África
• Ásia-Pacífico
• Múltiplas regiões
• Prefiro não responder

Nos últimos 3 meses, você observou resultados de testes A/B instáveis ou inconsistentes em métricas-chave?

• Não
• Sim, ocasionalmente
• Sim, frequentemente
• Não tenho certeza

Quais áreas de produto você atende principalmente? (Selecione até três.)

• Experiência voltada ao consumidor
• B2B / Enterprise
• Infraestrutura / Plataforma
• Monetização / Pagamentos
• Marketing / Growth
• Ferramentas internas
• Outro
• Prefiro não responder

Se você observou resultados instáveis ou inconsistentes, compartilhe um ou dois exemplos e o que você acha que os causou.

Com que frequência cada um dos itens a seguir contribui para resultados de testes A/B instáveis ou não confiáveis na sua área?

• Tamanho de amostra ou duração de teste insuficientes
• Bugs de instrumentação ou de registro (logging)
• Olhar os resultados antes de atingir significância
• Interações entre experimentos simultâneos
• Pipelines de dados instáveis ou atrasados
• Métricas mal definidas ou excessivamente sensíveis
• Eventos externos ou sazonalidade
• Outro