Reproducibilidad en la Investigación Moderada por IA: Una Evaluación de Investigadores

Bienvenido a este estudio sobre la reproducibilidad en la investigación moderada por IA. Esta encuesta forma parte de un esfuerzo de investigación para comprender cómo los investigadores documentan, replican y evalúan los estudios moderados por IA. Su participación es completamente voluntaria y puede detenerse en cualquier momento. No hay respuestas correctas o incorrectas: nos interesan sus opiniones y experiencias profesionales sinceras. Sus respuestas se mantendrán confidenciales, se analizarán de forma agregada y se utilizarán únicamente con fines de investigación académica y metodológica. Tiempo estimado de finalización: 12–15 minutos.

¿Ha diseñado, realizado o evaluado personalmente investigación que utilice moderación por IA (por ejemplo, preguntas de seguimiento en entrevistas impulsadas por IA, debates cualitativos moderados por IA o lógica de encuestas asistida por IA)?

• Sí, tengo experiencia directa con la investigación moderada por IA
• No, pero estoy familiarizado con los métodos de investigación moderada por IA
• No, no estoy familiarizado con la investigación moderada por IA

¿Aproximadamente en cuántos proyectos de investigación moderados por IA ha participado en los últimos 24 meses?

• 1–2 proyectos
• 3–5 proyectos
• 6–10 proyectos
• Más de 10 proyectos

¿Qué plataformas o herramientas de investigación moderada por IA ha utilizado? (Seleccione todas las que correspondan)

• QuestionPunk
• Remesh
• Discuss.io (funciones de IA)
• Forsta / Confirmit (funciones de IA)
• Qualtrics (lógica asistida por IA)
• Herramientas de moderación por IA desarrolladas a medida
• Otra (especifique)

<p>A los efectos de este estudio, <strong>'investigación moderada por IA'</strong> se refiere a cualquier metodología de investigación en la que un sistema de IA lleva a cabo o adapta activamente las interacciones con los participantes en tiempo real. Esto incluye:</p><p>Entrevistas cualitativas impulsadas por IA (donde la IA formula preguntas de seguimiento)</p><p>Grupos focales o debates moderados por IA</p><p>Lógica de encuestas asistida por IA que adapta las preguntas según respuestas anteriores</p><p>Esto <strong>NO</strong> incluye:</p><p>El uso de IA únicamente para el análisis de datos tras la recopilación</p><p>El uso de IA para redactar preguntas de encuesta sin moderación en tiempo real</p><p>La recopilación de datos simple basada en chatbots con flujos totalmente predefinidos</p>

Cuando ha realizado o contribuido a un estudio moderado por IA, ¿con qué nivel de detalle documentó habitualmente los prompts e instrucciones del sistema de IA utilizados?

¿Con qué nivel de detalle documentó habitualmente la versión del modelo de IA y los parámetros de configuración (por ejemplo, temperature, nombre del modelo, límites de tokens)?

¿Con qué nivel de detalle documentó habitualmente el flujo lógico y las reglas de ramificación que rigen la moderación por IA?

¿Con qué nivel de detalle documentó habitualmente los criterios de muestreo y los procedimientos de reclutamiento de participantes?

¿Cuáles son las principales barreras que enfrenta al documentar los protocolos de estudios moderados por IA? (Seleccione todas las que correspondan)

• La plataforma no expone los detalles de configuración
• Las versiones del modelo de IA cambian sin previo aviso
• No existen estándares de documentación establecidos
• Limitaciones de tiempo durante la ejecución del proyecto
• Restricciones propietarias del proveedor de la plataforma
• Falta de requisitos institucionales para la documentación de IA
• Incertidumbre sobre qué elementos es necesario documentar
• Otra (especifique)

La siguiente sección presenta elementos que podrían divulgarse para respaldar la transparencia y la reproducibilidad en la investigación moderada por IA. Para cada elemento, indique si la plataforma de investigación con IA que ha utilizado más recientemente hace que esta información sea accesible para usted como investigador.

En la plataforma de investigación con IA que ha utilizado más recientemente, ¿tiene acceso al nombre y la versión específicos del modelo de IA (por ejemplo, GPT-4o, Claude 3.5)?

• Sí, totalmente accesible
• Parcialmente accesible (algunos detalles disponibles)
• No accesible
• No lo sé / Nunca lo he comprobado

¿Tiene acceso a los prompts del sistema y las instrucciones dadas a la IA?

• Sí, totalmente accesible
• Parcialmente accesible (algunos detalles disponibles)
• No accesible
• No lo sé / Nunca lo he comprobado

¿Tiene acceso a los parámetros de configuración de la IA (por ejemplo, temperature, max tokens, top-p)?

• Sí, totalmente accesible
• Parcialmente accesible (algunos detalles disponibles)
• No accesible
• No lo sé / Nunca lo he comprobado

¿Tiene acceso al flujo lógico y la estructura de ramificación de la moderación por IA?

• Sí, totalmente accesible
• Parcialmente accesible (algunos detalles disponibles)
• No accesible
• No lo sé / Nunca lo he comprobado

¿Tiene acceso a las transcripciones completas y sin procesar de las interacciones entre la IA y los participantes?

• Sí, totalmente accesible
• Parcialmente accesible (algunos detalles disponibles)
• No accesible
• No lo sé / Nunca lo he comprobado

¿Qué importancia tiene cada uno de los siguientes elementos para permitir la reproducibilidad de la investigación moderada por IA? — Divulgación del nombre y la versión del modelo de IA

— Divulgación de los prompts del sistema y las instrucciones

— Divulgación de los parámetros de configuración de la IA

— Divulgación del flujo lógico y las reglas de ramificación

— Acceso a las transcripciones completas y sin procesar de las interacciones

En comparación con la investigación cualitativa tradicional (moderada por humanos), ¿cómo calificaría la calidad general de los datos de la investigación moderada por IA?

En comparación con la investigación tradicional moderada por humanos, ¿cómo calificaría la investigación moderada por IA en cuanto a: profundidad de las respuestas de los participantes

En comparación con la investigación tradicional moderada por humanos, ¿cómo calificaría la investigación moderada por IA en cuanto a: consistencia de la moderación entre participantes

En comparación con la investigación tradicional moderada por humanos, ¿cómo calificaría la investigación moderada por IA en cuanto a: comodidad y franqueza de los participantes

En comparación con la investigación tradicional moderada por humanos, ¿cómo calificaría la investigación moderada por IA en cuanto a: capacidad para captar hallazgos inesperados

En comparación con la investigación tradicional moderada por humanos, ¿cómo calificaría la investigación moderada por IA en cuanto a: reproducibilidad de los hallazgos entre estudios

¿Alguna vez ha intentado replicar un estudio moderado por IA (ya sea propio o de otro investigador)?

• Sí, he replicado mi propio estudio moderado por IA
• Sí, he replicado el estudio moderado por IA de otro investigador
• Sí, tanto mis propios estudios como los de otros
• No, no he intentado una replicación

¿Qué nivel de confianza tiene en que un estudio moderado por IA que usted haya realizado pudiera ser replicado con éxito por otro investigador utilizando la misma plataforma y configuración?

Clasifique los siguientes desafíos para la reproducibilidad en la investigación moderada por IA, del más significativo (1) al menos significativo.

1. Las actualizaciones del modelo de IA cambian su comportamiento con el tiempo
2. Configuraciones de 'caja negra' específicas de la plataforma
3. Salidas no deterministas de la IA (aleatoriedad en las respuestas)
4. Falta de protocolos de documentación estandarizados
5. Acceso insuficiente a los prompts y parámetros del sistema
6. Variaciones en el comportamiento de los participantes entre muestras

¿En qué medida está de acuerdo o en desacuerdo con la siguiente afirmación: Las plataformas de investigación con IA que comparten abiertamente sus prompts, modelos y flujos lógicos producen investigación más reproducible que las plataformas que no divulgan estos elementos.

Describa una experiencia específica en la que se haya encontrado con un desafío de reproducibilidad en la investigación moderada por IA. ¿Qué ocurrió y cómo intentó abordarlo?

Según sus experiencias, ¿qué cambio único en las plataformas o prácticas de investigación moderada por IA mejoraría más la reproducibilidad de los estudios realizados en estas plataformas?

Según sus respuestas a lo largo de esta encuesta, comparta cualquier pensamiento u observación adicional sobre la reproducibilidad en la investigación moderada por IA.

¿Cuál de las siguientes opciones describe mejor su rol profesional principal?

• Investigador académico
• Profesional de investigación de mercados
• Investigador de UX / Diseño
• Científico de datos / Especialista en IA
• Gerente de operaciones de investigación / insights
• Consultor / Investigador independiente
• Estudiante (posgrado o máster/doctorado)
• Otro (especifique)

¿Cuántos años de experiencia tiene realizando investigación (cualquier metodología)?

• Menos de 2 años
• 2–5 años
• 6–10 años
• 11–20 años
• Más de 20 años

¿En qué sector realiza principalmente su investigación?

• Academia / Educación superior
• Tecnología / Software
• Salud / Farmacéutica
• Servicios financieros
• Bienes de consumo masivo
• Medios / Entretenimiento
• Gobierno / Sector público
• Sin fines de lucro / ONG
• Consultoría / Agencia
• Otro (especifique)