Auditoría de control de calidad, sesgo y claridad de instrucciones en el etiquetado de datos

¡Bienvenido/a! Esta encuesta toma aproximadamente 11 minutos y le pregunta sobre su trabajo de etiquetado de datos durante los últimos 30 días. Su participación es totalmente voluntaria y puede detenerse en cualquier momento. No hay respuestas correctas o incorrectas: nos interesa su experiencia sincera. Todas las respuestas son confidenciales y se reportarán únicamente de forma agregada para mejorar las operaciones de etiquetado. Al continuar, usted acepta participar.

En los últimos 30 días, ¿cuáles de las siguientes tareas ha realizado? Seleccione todas las que correspondan.

• Etiquetado / anotación
• Revisión / control de calidad
• Tanto etiquetado como revisión
• Otro (especifique)

¿Cuánto tiempo ha trabajado en este programa de etiquetado?

• Menos de 1 mes
• 1–3 meses
• 4–6 meses
• 7–12 meses
• 1–2 años
• Más de 2 años

En general, ¿qué tan claras fueron las instrucciones de las tareas que recibió en los últimos 30 días?

En los últimos 30 días, ¿con qué frecuencia cambiaron las instrucciones de las tareas a mitad del proyecto?

Si encontró alguna instrucción poco clara o contradictoria en los últimos 30 días, describa brevemente un ejemplo. Si no encontró ninguna, puede omitir esta pregunta.

¿Cuáles de los siguientes temas de sesgo se cubren en sus directrices de etiquetado actuales? Seleccione todas las que correspondan.

• Sesgo demográfico (p. ej., género, raza, edad)
• Sesgo de dominio o jerga
• Variación geográfica / vernácula
• Fuga de etiquetas o señales proxy
• Estereotipos dañinos y toxicidad
• Sesgo de contexto / traducción
• Ninguna de las anteriores
• Otro (especifique)

En los últimos 30 días, ¿con qué frecuencia encontró entradas o etiquetas que parecían sesgadas?

Cuando se sospecha de un sesgo, ¿qué tan claro es el proceso para escalar el problema?

Si encontró recientemente una entrada o etiqueta potencialmente sesgada, describa brevemente el ejemplo y cómo lo manejó. Si no encontró ninguna, puede omitir esta pregunta.

¿Qué tan claros son los criterios de aceptación utilizados para revisar el trabajo etiquetado?

¿Qué enfoque de revisión se utiliza con mayor frecuencia en su programa actual?

• Doble revisión ciega con adjudicación
• Verificaciones puntuales (porcentaje fijo)
• Revisión activada por heurística (basada en reglas)
• Revisión por pares dentro del equipo
• Autorevisión antes de enviar
• No estoy seguro/a
• Otro (especifique)

¿Qué tan útiles fueron los comentarios de revisión que recibió en los últimos 30 días para mejorar la precisión de su etiquetado?

¿Qué tan oportunos fueron los comentarios de revisión que recibió en los últimos 30 días?

¿Aproximadamente qué porcentaje de sus elementos etiquetados fueron devueltos para reelaboración en los últimos 30 días?

• 0%
• 1–5%
• 6–10%
• 11–20%
• 21–30%
• 31–50%
• Más del 50%
• No estoy seguro/a

De la lista siguiente, clasifique las principales causas de reelaboración que observó en los últimos 30 días, de la más común a la menos común.

1. Directrices poco claras o cambiantes
2. Desacuerdo entre revisor y etiquetador
3. Casos límite no cubiertos
4. Problemas de herramientas o plataforma
5. Presión de tiempo o cuotas
6. Capacitación o contexto insuficientes

¿Cuál de las siguientes actividades ocupa la mayor parte de su semana laboral típica en este programa?

• Etiquetado / anotación
• Revisión / control de calidad
• Lectura / actualización de directrices
• Reuniones / sincronizaciones
• Capacitación / incorporación
• Escalamientos o preguntas
• Otro (especifique)

¿Cuáles de los siguientes problemas de herramientas ralentizaron más su calidad o velocidad en los últimos 30 días? Seleccione todas las que correspondan.

• Carga lenta o retardo
• Atajos o plantillas limitados
• Vistas deficientes de diferencias / comparación
• Mensajes de error poco claros
• Dificultad para marcar sesgos o casos límite
• Registro de auditoría / metadatos limitados
• Ninguna de las anteriores
• Otro (especifique)

Si pudiera hacer un cambio para mejorar la claridad, la equidad o el control de calidad en su trabajo de etiquetado, ¿cuál sería?

Con base en sus respuestas, nos gustaría explorar algunas de sus experiencias con más detalle. Un moderador de IA le hará 1 o 2 preguntas de seguimiento sobre sus operaciones de etiquetado.

¿Cuál es su región principal de trabajo?

• Norteamérica
• América Latina
• Europa
• Medio Oriente
• África
• Asia del Sur
• Asia Oriental
• Sudeste Asiático
• Oceanía
• Prefiero no decirlo

¿Cuál es su idioma principal de trabajo?

• Inglés
• Español
• Portugués
• Francés
• Alemán
• Chino
• Japonés
• Coreano
• Hindi
• Árabe
• Otro (especifique)
• Prefiero no decirlo

¿Cuánta experiencia total tiene en etiquetado o anotación de datos?

• Menos de 6 meses
• 6–12 meses
• 1–2 años
• 3–5 años
• 6+ años

¿Cuál es su tipo de empleo en este programa?

• Tiempo completo
• Medio tiempo
• Contrato / Freelance
• Prefiero no decirlo

Gracias por completar esta encuesta. Sus comentarios contribuirán directamente a mejorar la claridad de las instrucciones, la mitigación de sesgos y los procesos de control de calidad.