Avaliação por Pares do Plano de Pré-Análise

Boas-vindas e agradecemos por participar desta revisão por pares do plano de pré-análise. Esta pesquisa solicita seu feedback especializado sobre a clareza, a completude e a pré-especificação de um plano de pesquisa. Não há respostas certas ou erradas—valorizamos seu julgamento profissional honesto. Suas respostas são confidenciais e serão relatadas apenas de forma agregada à equipe de pesquisa. A participação é voluntária, e você pode parar a qualquer momento. A pesquisa leva aproximadamente 15–20 minutos para ser concluída. Baseie suas respostas apenas nos materiais fornecidos hoje.

Quais materiais você revisou para esta avaliação? Selecione todas as opções aplicáveis.

• Resumo da pergunta de pesquisa
• Rascunho completo do PAP/pré-registro
• Seção de hipóteses
• Definições dos desfechos
• Plano de análise
• Análise de poder
• Dicionário de dados / lista de variáveis
• Regras de inclusão/exclusão
• Tabelas/figuras fictícias
• Outro

Cada hipótese está claramente identificada (por exemplo, H1, H2) e é fácil de reconhecer.

O desfecho primário está definido operacionalmente (ou seja, a variável exata, o método de medição e o momento estão especificados).

O estimador ou modelo primário está claramente especificado (por exemplo, OLS, regressão logística, ANCOVA).

Há uma análise de poder ou uma justificativa do tamanho da amostra incluída?

• Sim, com cálculos e parâmetros de entrada
• Sim, mas com detalhamento mínimo
• Não
• Não se aplica

Classifique as seguintes ameaças potenciais à interpretabilidade deste estudo, da mais para a menos preocupante.

1. Erro de medição / validade do instrumento
2. Confundimento / viés de seleção
3. Não adesão / atrito
4. Relato seletivo / graus de liberdade do pesquisador
5. Especificação incorreta do modelo
6. Multiplicidade / p-hacking

De modo geral, quão claro está o plano de pré-análise conforme redigido atualmente?

Aproximadamente quanto tempo você levou revisando os materiais hoje?

• Menos de 15 minutos
• 15–30 minutos
• 31–60 minutos
• 1–2 horas
• Mais de 2 horas

Qual é o seu papel principal?

• Pesquisador acadêmico
• Estudante de pós-graduação
• Cientista de dados / analista
• Pesquisador de políticas públicas / avaliador
• Profissional / ONG
• Outro

Agradecemos pela sua revisão cuidadosa. Seu feedback será utilizado para melhorar a clareza e a pré-especificação deste plano antes do início da coleta de dados.

O que melhor descreve o desenho do estudo planejado?

• Ensaio controlado randomizado
• Quase-experimental (por exemplo, DiD, IV, RD)
• Observacional transversal
• Estudo longitudinal / de painel
• Experimento em laboratório / online
• Qualitativo ou métodos mistos
• Outro

Cada hipótese especifica a direção esperada do efeito.

Os instrumentos ou escalas de medição estão descritos com detalhamento suficiente para serem replicados.

As principais suposições do modelo escolhido estão declaradas e justificadas.

Considerando os testes planejados, quão adequada é a justificativa do poder estatístico?

Existem considerações éticas que possam influenciar as escolhas de análise? Selecione todas as opções aplicáveis.

• Nenhuma observada
• Risco de privacidade ou segurança de dados
• Potencial dano aos participantes
• Preocupações com viés de equidade/imparcialidade
• Restrições de governança de dados/consentimento
• Outro

Com base na sua revisão, este plano está pronto para avançar para a coleta de dados?

• Sim, prosseguir conforme planejado
• Praticamente pronto; recomendam-se pequenos ajustes
• Aguardar; precisa de revisões substanciais
• Incerto

Quantos anos de experiência você tem com pré-registros ou planos de pré-análise?

• Menos de 1 ano
• 1–3 anos
• 4–6 anos
• 7–10 anos
• Mais de 10 anos

Com suas próprias palavras, resuma a pergunta de pesquisa em uma ou duas frases.

As hipóteses primárias e secundárias/exploratórias estão claramente distinguidas.

Os desfechos secundários e quaisquer regras de construção de índice/composto estão claramente especificados.

Verificações de robustez ou análises de sensibilidade estão pré-especificadas.

Se aplicável, indique o efeito mínimo detectável (MDE), os principais parâmetros de entrada ou quaisquer preocupações sobre a justificativa do poder.

Quais adições melhorariam mais a reprodutibilidade antes da coleta de dados? Selecione até três.

• Entrada fictícia no registro (redação final)
• Modelo de código ou esqueleto do script de análise
• Esquema de dados / plano de nomeação de variáveis
• Lista de pacotes/dependências com versões
• Estrutura de arquivos/pastas definida com README
• Plano de onde os materiais serão compartilhados
• Outro

Quais são as suas sugestões mais acionáveis para melhorar a clareza, a pré-especificação ou a reprodutibilidade deste plano?

Qual é a sua área ou domínio principal?

• Economia
• Ciência política
• Saúde pública
• Educação
• Psicologia
• Sociologia
• Ciência da computação / ciência de dados
• Outro

Quão bem os testes estatísticos planejados se alinham com as hipóteses declaradas?

Quais tipos de desfechos estão planejados? Selecione todas as opções aplicáveis.

• Comportamental / administrativo
• Escala ou índice de pesquisa
• Fisiológico / biomarcador
• Composto/índice derivado
• Evento binário
• Tempo até o evento
• Outro

O estimando (por exemplo, ATE, ITT, CACE) está explicitamente definido?

• Sim, claramente definido
• Parcialmente definido
• Não definido
• Não se aplica

Com base nas suas respostas, gostaríamos de explorar suas principais recomendações com mais profundidade. Por favor, compartilhe suas ideias com nosso moderador de IA.

Você já elaborou anteriormente um pré-registro ou plano de pré-análise?

• Sim
• Não

Indique quaisquer hipóteses que pareçam ambíguas, de dupla carga ou insuficientemente especificadas, e explique brevemente o porquê.

Quão familiarizado você está com a área temática deste estudo?

• Iniciante
• Intermediário
• Avançado
• Especialista