Auditoria de QA, Viés e Clareza de Instruções em Rotulagem de Dados

Boas-vindas! Esta pesquisa leva cerca de 11 minutos e pergunta sobre o seu trabalho de rotulagem de dados nos últimos 30 dias. Sua participação é totalmente voluntária, e você pode parar a qualquer momento. Não há respostas certas ou erradas — estamos interessados na sua experiência sincera. Todas as respostas são confidenciais e serão relatadas apenas de forma agregada, para aprimorar as operações de rotulagem. Ao continuar, você concorda em participar.

Nos últimos 30 dias, quais das seguintes tarefas você realizou? Selecione todas as opções aplicáveis.

• Rotulagem / anotação
• Revisão / QA
• Rotulagem e revisão
• Outro (especifique)

Há quanto tempo você trabalha neste programa de rotulagem?

• Menos de 1 mês
• 1–3 meses
• 4–6 meses
• 7–12 meses
• 1–2 anos
• Mais de 2 anos

No geral, quão claras foram as instruções de tarefa que você recebeu nos últimos 30 dias?

Nos últimos 30 dias, com que frequência as instruções de tarefa mudaram no meio do projeto?

Se você encontrou alguma instrução pouco clara ou conflitante nos últimos 30 dias, descreva brevemente um exemplo. Caso não tenha, você pode pular esta pergunta.

Quais dos seguintes tópicos de viés são abordados nas suas diretrizes atuais de rotulagem? Selecione todas as opções aplicáveis.

• Viés demográfico (ex.: gênero, raça, idade)
• Viés de domínio ou jargão
• Variação geográfica / regional
• Vazamento de rótulo ou sinais proxy
• Estereótipos nocivos e toxicidade
• Viés de contexto / tradução
• Nenhuma das anteriores
• Outro (especifique)

Nos últimos 30 dias, com que frequência você encontrou entradas ou rótulos que pareciam enviesados?

Quando há suspeita de viés, quão claro é o processo para escalonar o problema?

Se você encontrou recentemente uma entrada ou rótulo potencialmente enviesado, descreva brevemente o exemplo e como você lidou com isso. Caso não tenha, você pode pular esta pergunta.

Quão claros são os critérios de aceitação usados na revisão do trabalho rotulado?

Qual abordagem de revisão é usada com mais frequência no seu programa atual?

• Revisão dupla cega com adjudicação
• Verificações por amostragem (percentual fixo)
• Revisão acionada por heurística (baseada em regras)
• Revisão por pares dentro da equipe
• Autorrevisão antes do envio
• Não tenho certeza
• Outro (especifique)

Quão útil foi o feedback de revisão que você recebeu nos últimos 30 dias para melhorar a precisão da sua rotulagem?

Quão em tempo hábil foi o feedback de revisão que você recebeu nos últimos 30 dias?

Aproximadamente que percentual dos seus itens rotulados foram devolvidos para retrabalho nos últimos 30 dias?

• 0%
• 1–5%
• 6–10%
• 11–20%
• 21–30%
• 31–50%
• Mais de 50%
• Não tenho certeza

Na lista abaixo, ordene as principais causas de retrabalho que você observou nos últimos 30 dias, da mais comum para a menos comum.

1. Diretrizes pouco claras ou em mudança
2. Discordância entre revisor e rotulador
3. Casos extremos não cobertos
4. Problemas de ferramenta ou plataforma
5. Pressão de tempo ou cotas
6. Treinamento ou contexto insuficiente

Qual das seguintes atividades ocupa a maior parte da sua semana típica de trabalho neste programa?

• Rotulagem / anotação
• Revisão / QA
• Leitura / atualização de diretrizes
• Reuniões / alinhamentos
• Treinamento / integração
• Escalonamentos ou dúvidas
• Outro (especifique)

Quais dos seguintes problemas de ferramenta mais prejudicaram sua qualidade ou velocidade nos últimos 30 dias? Selecione todas as opções aplicáveis.

• Carregamento lento ou travamento
• Poucos atalhos ou modelos
• Visualizações de diferença / comparação ruins
• Mensagens de erro pouco claras
• Dificuldade para sinalizar viés ou casos extremos
• Trilha de auditoria / metadados limitados
• Nenhuma das anteriores
• Outro (especifique)

Se você pudesse fazer uma mudança para melhorar a clareza, a imparcialidade ou a garantia de qualidade no seu trabalho de rotulagem, qual seria?

Com base nas suas respostas, gostaríamos de explorar algumas das suas experiências com mais profundidade. Um moderador de IA fará de 1 a 2 perguntas de acompanhamento sobre suas operações de rotulagem.

Qual é a sua principal região de trabalho?

• América do Norte
• América Latina
• Europa
• Oriente Médio
• África
• Sul da Ásia
• Leste Asiático
• Sudeste Asiático
• Oceania
• Prefiro não informar

Qual é o seu principal idioma de trabalho?

• Inglês
• Espanhol
• Português
• Francês
• Alemão
• Chinês
• Japonês
• Coreano
• Híndi
• Árabe
• Outro (especifique)
• Prefiro não informar

Quanto tempo total de experiência você tem em rotulagem ou anotação de dados?

• Menos de 6 meses
• 6–12 meses
• 1–2 anos
• 3–5 anos
• 6+ anos

Qual é o seu tipo de vínculo neste programa?

• Tempo integral
• Meio período
• Contrato / Freelance
• Prefiro não informar

Obrigado por concluir esta pesquisa. Seu feedback contribuirá diretamente para melhorias na clareza das instruções, na mitigação de viés e nos processos de garantia de qualidade.