Evaluación de Calidad y Fundamentación de Sistemas RAG (Encuesta para Desarrolladores)

¡Bienvenido! Gracias por participar en esta encuesta sobre su experiencia con sistemas de Generación Aumentada por Recuperación (RAG). Esta encuesta toma aproximadamente 15 minutos. Sus respuestas son completamente anónimas, se reportan únicamente de forma agregada y se utilizan con fines de investigación interna. No hay respuestas correctas ni incorrectas: nos interesan sus opiniones y experiencias honestas. La participación es voluntaria y puede detenerse en cualquier momento.

¿Ha construido o mantenido un sistema RAG en los últimos 6 meses?

• Sí
• No
• No estoy seguro

¿Qué rol describe mejor su trabajo diario?

• Ingeniero de ML
• Ingeniero de backend
• Científico de datos
• MLOps/Plataforma
• Ingeniero de producto
• Investigador
• Arquitecto/Líder técnico
• Otro

¿Qué fuentes de contenido alimentan actualmente su retriever? Seleccione todas las que correspondan.

• Documentos propietarios
• Repositorios de código
• Base de conocimiento del producto
• Rastreo web
• Documentación de API de proveedores
• Registros de Slack/Chat
• Tickets de soporte
• Wiki/Confluence
• Base de datos/almacén de datos
• No aplica
• Otro

En los últimos 30 días, ¿qué tan bien cumplió el contexto recuperado con los requisitos de su tarea?

¿Cómo configura o ajusta el top-k y los parámetros de recuperación relacionados?

• Experimentación manual
• Búsqueda en cuadrícula/aleatoria
• Optimización bayesiana
• Autoajuste del proveedor
• Política de recuperación aprendida
• Sin ajuste
• Otro

En los últimos 30 días, ¿con qué frecuencia encontró pasajes irrelevantes o fuera de tema en los resultados de recuperación?

En los últimos 30 días, ¿con qué frecuencia encontró contexto faltante (información clave no recuperada)?

En los últimos 30 días, ¿con qué frecuencia encontró contenido obsoleto o desactualizado en los resultados de recuperación?

En los últimos 30 días, ¿con qué frecuencia encontró fragmentos duplicados o casi duplicados en los resultados de recuperación?

¿Cómo se fundamentan o citan las respuestas del modelo en su sistema RAG? Seleccione todas las que correspondan.

• Citas en línea con URLs
• Citas en línea con IDs de documentos
• Bloque de evidencia después de la respuesta
• Salidas de herramientas incluidas textualmente
• Lista de evidencia en JSON estructurado
• Sin fundamentación/citas
• Otro

Durante los últimos 30 días, ¿cuánto confía en la corrección de la evidencia citada en las salidas de su sistema RAG?

Clasifique sus 3 estilos preferidos de visualización de citas/fundamentación.

1. En línea por oración
2. Notas finales numeradas
3. Panel de evidencia contraíble
4. Top-k de fuentes con puntuaciones
5. Enlace a los pasajes completos
6. Mostrar solo bajo demanda

En los últimos 30 días, ¿con qué frecuencia observó alucinaciones en las salidas de su RAG a pesar de la fundamentación?

Describa una falla de fundamentación reciente que haya encontrado y su impacto en su trabajo.

Nos gustaría comprender mejor su experiencia con la calidad de la fundamentación y las citas. Un moderador de IA le hará un par de preguntas de seguimiento.

¿Qué herramientas o bibliotecas de evaluación utiliza para RAG? Seleccione todas las que correspondan.

• Ragas
• TruLens
• DeepEval
• Promptfoo
• Harness personalizado
• Evaluaciones de LlamaIndex
• Ninguna
• Otra

¿Qué métricas reflejan mejor la calidad actual de su RAG? Seleccione todas las que correspondan.

• Precision@k
• Recall@k
• MRR
• nDCG
• Fidelidad de la respuesta
• Precisión/recall del contexto
• Puntuación de fundamentación
• Valoraciones humanas
• Señales de uso en producción
• Métricas internas personalizadas

Si utiliza una métrica personalizada, describa brevemente en qué consiste y cómo la calcula.

¿Qué tan automatizado está su flujo de trabajo de evaluación?

• Ninguno (solo manual)
• Algunos scripts
• Comprobaciones integradas en CI
• Evaluación continua en producción

¿Con qué frecuencia ejecuta benchmarks de RAG?

• Antes de cada lanzamiento
• Semanalmente
• Quincenalmente
• Mensualmente
• Trimestralmente
• Solo de forma puntual

¿Cuál es el lenguaje de programación principal que utiliza para el desarrollo de RAG?

• Python
• JavaScript/TypeScript
• Java
• Go
• C
• Rust
• Otro

¿Cuál es su almacén de vectores o backend de retriever principal?

• Pinecone
• Weaviate
• Milvus
• FAISS
• Elasticsearch/OpenSearch
• pgvector
• Chroma
• Vespa
• No aplica
• Otro

¿Cuál es su modelo de embeddings principal?

• OpenAI text-embedding-3
• OpenAI small embedding
• Cohere Embed
• VoyageAI
• Jina embeddings
• Familia E5
• Instructor
• Familia BGE
• Modelo local
• Otro

¿Utiliza un reranker después de la recuperación inicial?

• Sí
• No
• Experimentando

¿Qué reranker utiliza con más frecuencia?

• Cohere Rerank
• Voyage Rerank
• Jina Reranker
• Cross-encoder (p. ej., MS MARCO)
• Reranker autoalojado
• Otro

¿Cuál es su objetivo de latencia RAG de extremo a extremo por consulta?

• < 200 ms
• 200–500 ms
• 500 ms–1 s
• 1–2 s
• 2–5 s
• > 5 s
• Sin objetivo específico

¿Qué tan crítica es la calidad de recuperación para el éxito general de su sistema RAG?

¿Qué tan satisfecho está actualmente con su sistema RAG en general?

Clasifique sus 3 prioridades principales para mejorar su sistema RAG en los próximos 3 meses.

1. Mejorar precision/recall de recuperación
2. Mejor fundamentación/citas
3. Reducir la latencia
4. Reducir el costo por consulta
5. Escalar a más fuentes de datos
6. Reforzar el pipeline de evaluación
7. Seguridad/cumplimiento
8. Ergonomía del desarrollador

Con base en sus respuestas en esta encuesta, comparta cualquier idea o experiencia adicional sobre sus desafíos de recuperación o fundamentación en RAG.

¿Cuántos años de experiencia profesional tiene en software, datos o ML?

• 0–1
• 2–4
• 5–9
• 10–14
• 15+
• Prefiero no responder

¿En qué región trabaja principalmente?

• África
• Asia
• Europa
• América del Norte
• Oceanía
• América del Sur
• Prefiero no responder

¿Cuál es el tamaño aproximado de su organización (número de empleados)?

• 1–10
• 11–50
• 51–200
• 201–1.000
• 1.001–5.000
• 5.001+
• Prefiero no responder

¿Cuál es la industria o el dominio principal de su trabajo con RAG?

• Tecnología
• Finanzas
• Salud/Ciencias de la vida
• Retail/Bienes de consumo
• Educación
• Gobierno/Sector público
• Manufactura
• Medios/Entretenimiento
• Otro
• Prefiero no responder

¡Gracias por completar esta encuesta! Su aporte es valioso y ayudará a mejorar los sistemas RAG y las herramientas para desarrolladores. Todos los resultados se reportarán únicamente de forma agregada.