Encuesta sobre la usabilidad de las tarjetas de modelo de IA y la confianza de los desarrolladores

¡Bienvenido! Esta encuesta explora su experiencia con las tarjetas de modelo y cómo las limitaciones de los modelos influyen en su flujo de trabajo. Su participación es voluntaria: puede detenerse en cualquier momento. No hay respuestas correctas ni incorrectas; nos interesan sus opiniones sinceras. Todas las respuestas son anónimas y se reportarán únicamente de forma agregada. Tiempo estimado: 8 a 10 minutos.

En los últimos 6 meses, ¿cómo ha trabajado con modelos de ML? Seleccione todas las opciones que correspondan.

• Implementé o ajusté (fine-tuning) modelos en código
• Consumí APIs/SDKs prediseñados
• Evalué el rendimiento de un modelo para un proyecto
• Seleccioné proveedores o modelos para su implementación
• Redacté o mantuve documentación
• Ninguna de las anteriores

¿Qué tan familiarizado está con las tarjetas de modelo?

• Muy familiarizado: las leo y aplico con regularidad
• Algo familiarizado: he leído algunas
• He oído hablar de las tarjetas de modelo, pero no estoy seguro de qué incluyen
• Nada familiarizado: nunca he oído hablar de ellas

Según lo que sabe actualmente, ¿qué información esperaría encontrar en una tarjeta de modelo? Seleccione todas las opciones que correspondan.

• Uso previsto y usos fuera de alcance
• Fuentes de los datos de entrenamiento y métodos de recopilación
• Métricas y metodología de evaluación
• Rendimiento en distintos subgrupos o condiciones
• Limitaciones conocidas y modos de fallo
• Consideraciones de seguridad/ética
• Versionado e historial de cambios
• Licencias y términos de uso
• Información de contacto/soporte
• Requisitos y restricciones de implementación
• No lo sé / no estoy seguro
• Otro (especifique)

Introducción rápida: Una tarjeta de modelo es un informe conciso que describe los usos previstos y fuera de alcance de un modelo, la procedencia de los datos, los métodos y resultados de evaluación (a menudo en distintos subgrupos), las limitaciones conocidas y los modos de fallo, y las notas relevantes de seguridad/ética. Le ayuda a valorar la idoneidad y los riesgos antes de integrar un modelo. Por favor, tenga presente esta definición para las preguntas restantes.

Si hay una tarjeta de modelo disponible, ¿qué tan probable es que la lea antes de usar el modelo?

De las tarjetas de modelo que ha revisado, ¿qué elementos se incluían comúnmente? Seleccione todas las opciones que correspondan.

• Uso previsto y usos fuera de alcance
• Fuentes de los datos de entrenamiento y métodos de recopilación
• Métricas y metodología de evaluación
• Rendimiento en distintos subgrupos o condiciones
• Limitaciones conocidas y modos de fallo
• Consideraciones de seguridad/ética
• Versionado e historial de cambios
• Licencias y términos de uso
• Información de contacto/soporte
• Requisitos y restricciones de implementación

En los últimos 3 meses, ¿con qué frecuencia consultó la documentación de los modelos al integrarlos?

• En cada integración
• En la mayoría de las integraciones
• A veces
• Rara vez
• Nunca
• No aplica: no he integrado modelos recientemente

En las tarjetas de modelo que ha utilizado, ¿qué tan fácil fue localizar las limitaciones y los modos de fallo?

En general, ¿qué tan fácil cree que sería encontrar las limitaciones de un modelo en una tarjeta de modelo típica?

¿Qué tan seguro se siente al usar una tarjeta de modelo para juzgar la idoneidad de un modelo en una implementación crítica para la seguridad (por ejemplo, salud, sistemas autónomos)?

¿Qué tan seguro se siente al usar una tarjeta de modelo para juzgar la idoneidad de un modelo en una aplicación sensible a la equidad (por ejemplo, contratación, calificación crediticia)?

¿Qué tan seguro se siente al usar una tarjeta de modelo para juzgar la idoneidad de un modelo en un sistema de producción sensible a la latencia (por ejemplo, inferencia en tiempo real)?

¿Alguna vez ha descubierto una limitación de un modelo que no estaba documentada en su tarjeta de modelo?

• Sí
• No
• No estoy seguro

Por favor, describa brevemente la limitación no documentada y cómo la identificó.

Clasifique los siguientes factores de limitación de mayor a menor importancia al seleccionar un modelo.

1. Precisión en datos fuera de distribución
2. Resultados sesgados para subgrupos específicos
3. Riesgo de privacidad o fuga de datos
4. Robustez ante ataques adversarios o de prompts
5. Deficiencias de interpretabilidad/trazabilidad

Cuando las limitaciones no están claras o faltan, ¿qué suele hacer? Seleccione todas las opciones que correspondan.

• Ejecuto pruebas o benchmarks específicos
• Busco en foros/issues o reportes de la comunidad
• Contacto al proveedor o abro un ticket
• Leo el artículo original o la documentación del repositorio
• Cambio a un modelo diferente
• Continúo con monitoreo/salvaguardas adicionales
• Aplazo o bloqueo la integración
• Otro (especifique)

¿Qué formato haría que las limitaciones del modelo fueran más accionables para usted?

• Resumen de una página con los datos clave
• Tabla con métricas por subgrupo
• Lista de verificación de riesgos con mitigaciones
• Etiquetado de riesgo tipo semáforo
• Ejemplos interactivos y casos de fallo
• Enlace a un artículo/apéndice detallado
• Otro (especifique)

En general, ¿cuánto confía en que las tarjetas de modelo representen con precisión las capacidades y limitaciones de un modelo?

Con base en sus respuestas en esta encuesta, ¿tiene alguna sugerencia para hacer que las tarjetas de modelo sean más claras o más accionables?

Nos gustaría explorar un poco más sus experiencias con las tarjetas de modelo. Nuestro moderador de IA le hará un par de preguntas de seguimiento basadas en sus respuestas anteriores.

¿Cuál es su función principal?

• Ingeniero de Backend/Full-stack
• Ingeniero de ML/IA
• Científico/Analista de Datos
• Investigador
• Product Manager
• SRE/DevOps
• Ingeniero de Seguridad/Privacidad
• Redactor Técnico
• Estudiante
• Otro

¿Cuántos años ha trabajado profesionalmente con ML/IA (en cualquier función)?

• 0–1
• 2–4
• 5–7
• 8–10
• 11+
• Prefiero no responder

¿Cuál es el tamaño aproximado de su organización (total de empleados)?

• 1–10
• 11–50
• 51–200
• 201–1.000
• 1.001–5.000
• 5.001+
• Prefiero no responder

¿En qué región reside principalmente?

• África
• Asia
• Europa
• América Latina y el Caribe
• Medio Oriente
• América del Norte
• Oceanía
• Prefiero no responder

¿Qué lenguajes de programación utiliza principalmente al trabajar con modelos de ML? Seleccione todas las opciones que correspondan.

• Python
• JavaScript/TypeScript
• Java
• C/C++
• Go
• Rust
• R
• Swift/Kotlin
• Otro
• Prefiero no responder

¿Qué industria describe mejor su contexto de trabajo?

• Tecnología
• Finanzas
• Salud
• Comercio minorista/Comercio electrónico
• Medios/Entretenimiento
• Educación
• Gobierno/Sin fines de lucro
• Otro
• Prefiero no responder

¡Gracias por su tiempo! Sus comentarios ayudarán a mejorar la forma en que las tarjetas de modelo comunican las limitaciones y respaldan mejores decisiones de integración.