Pesquisa de Percepções sobre Justiça e Representatividade em Avaliações para Desenvolvedores

Bem-vindo(a)! Esta pesquisa explora suas experiências e perspectivas sobre justiça, viés e representatividade em avaliações de software e modelos. Sua participação é totalmente voluntária e você pode parar a qualquer momento. Todas as respostas são anônimas e serão relatadas apenas de forma agregada. Não há respostas certas ou erradas — estamos interessados em suas opiniões sinceras. Tempo estimado: 8–10 minutos.

Qual opção melhor descreve seu foco principal de desenvolvimento?

• Frontend
• Backend
• ML/IA
• Engenharia de dados/MLOps
• Mobile
• DevOps/SRE
• Segurança
• Full-stack
• QA/Automação de testes
• Outro (especifique)

Você esteve envolvido(a) na avaliação de software, sistemas ou modelos nos últimos 12 meses?

• Sim, nos últimos 6 meses
• Sim, entre 6 e 12 meses atrás
• Sim, há mais de um ano
• Não

Em um mês típico, aproximadamente quanto do seu tempo é dedicado a atividades de avaliação?

• 0–10%
• 11–25%
• 26–50%
• 51–75%
• 76–100%
• Prefiro não informar

Qual método de avaliação você mais utilizou nos últimos 6 meses?

• Testes unitários/asserções
• Benchmarks offline
• Avaliações/anotações humanas
• Lançamentos A/B ou canary
• Testes com dados sintéticos
• Red-teaming/testes adversariais
• Auditorias de viés/justiça
• Outro (especifique)
• Nenhum/Não se aplica

Em suas avaliações recentes, você considerou atributos sensíveis (por exemplo, gênero, etnia, renda)?

• Sim
• Não
• Não se aplica

Qual salvaguarda foi mais importante ao lidar com atributos sensíveis em suas avaliações?

• Revisão de comitê de ética/IRB
• Revisão jurídica/de privacidade
• Minimização de dados
• Agregação/anonimização
• Privacidade diferencial ou ruído
• Acesso restrito/aprovações
• Consentimento das partes interessadas
• Detecção/remediação de viés
• Outro (especifique)
• Não se aplica

Qual a importância da justiça em suas decisões de avaliação?

Em que medida você concorda: Nossos critérios de avaliação são aplicados de forma consistente entre diferentes grupos de usuários.

Em que medida você concorda: Tenho ferramentas e métodos adequados para detectar viés nos resultados de avaliação.

Em que medida você concorda: Partes interessadas de diferentes origens estão envolvidas na elaboração de nossas avaliações.

Em que medida você concorda: Considerações de justiça às vezes entram em conflito com outras prioridades, como velocidade ou custo.

Em uma ou duas frases, como você define uma avaliação "justa"?

Quão preocupado(a) você está com a possibilidade de amostras não representativas terem afetado seus resultados de avaliação nos últimos 12 meses?

Qual estratégia de amostragem você usou com mais frequência nos últimos 12 meses?

• Amostragem aleatória
• Amostragem estratificada
• Cotas por segmento de usuários
• Aumento sintético
• Amostragem por conveniência/disponibilidade
• Replay de tráfego de produção
• Amostragem orientada por telemetria
• Outro (especifique)
• Nenhum/Não se aplica

Classifique os seguintes segmentos por prioridade de cobertura em suas avaliações (topo = maior prioridade).

1. Novos usuários
2. Usuários avançados
3. Regiões/localidades sub-representadas
4. Dispositivos de baixo desempenho
5. Contextos sensíveis a danos
6. Consultas de cauda longa

Aproximadamente qual tamanho mínimo de amostra você normalmente precisa para confiar em uma decisão de avaliação em nível de funcionalidade?

• Menos de 100
• 100–499
• 500–999
• 1.000–4.999
• 5.000–9.999
• 10.000+
• Não tenho um limite específico
• Prefiro não informar

Quão confiante você está de que suas avaliações representam de forma justa o uso no mundo real?

Se você enfrentou algum trade-off entre precisão, velocidade e justiça em avaliações recentes, descreva-os brevemente.

Com base em suas respostas nesta pesquisa, o que mais melhoraria a justiça e a representatividade em suas avaliações?

Gostaríamos de explorar um pouco mais suas ideias sobre justiça e representatividade em avaliações. Compartilhe sua perspectiva e nosso moderador de IA fará algumas perguntas de acompanhamento.

Quantos anos de experiência profissional em desenvolvimento você possui?

• Menos de 1
• 1–3
• 4–6
• 7–10
• 11–15
• 16+
• Prefiro não informar

Qual é o seu nível de senioridade atual?

• Estudante/Estagiário
• Júnior/Associado
• Pleno
• Sênior
• Staff/Principal
• Gerente/Líder
• Outro
• Prefiro não informar

Em qual região você trabalha principalmente?

• África
• Ásia-Pacífico
• Europa
• América Latina
• Oriente Médio
• América do Norte
• Oceania
• Prefiro não informar

Aproximadamente quantos funcionários há em sua organização?

• 1
• 2–10
• 11–50
• 51–200
• 201–1.000
• 1.001–10.000
• 10.001+
• Prefiro não informar

Quantas pessoas há na equipe com a qual você trabalha principalmente?

• 1
• 2–5
• 6–10
• 11–20
• 21–50
• 51+
• Prefiro não informar

Qual é o seu principal setor ou domínio?

• Software de consumo
• Corporativo/B2B
• Finanças/Fintech
• Saúde
• Educação
• E-commerce
• Games
• Governo/Setor público
• Pesquisa/Academia
• Outro
• Prefiro não informar

Obrigado por concluir a pesquisa! Suas respostas são anônimas e serão usadas de forma agregada para melhorar as práticas de avaliação. Agradecemos seu tempo.