Avaliação de Qualidade e Fundamentação de Sistemas RAG (Pesquisa com Desenvolvedores)

Bem-vindo! Obrigado por participar desta pesquisa sobre sua experiência com sistemas de Retrieval-Augmented Generation (RAG). Esta pesquisa leva aproximadamente 15 minutos. Suas respostas são completamente anônimas, reportadas apenas de forma agregada e utilizadas para fins de pesquisa interna. Não há respostas certas ou erradas — estamos interessados em suas opiniões e experiências sinceras. A participação é voluntária, e você pode parar a qualquer momento.

Você construiu ou manteve um sistema RAG nos últimos 6 meses?

• Sim
• Não
• Não tenho certeza

Qual função melhor descreve seu trabalho no dia a dia?

• Engenheiro de ML
• Engenheiro de backend
• Cientista de dados
• MLOps/Plataforma
• Engenheiro de produto
• Pesquisador
• Arquiteto/Líder técnico
• Outro

Quais fontes de conteúdo alimentam seu recuperador atualmente? Selecione todas as que se aplicam.

• Documentos proprietários
• Repositórios de código
• Base de conhecimento do produto
• Rastreamento web
• Documentação de API de fornecedores
• Logs do Slack/Chat
• Tickets de suporte
• Wiki/Confluence
• Banco de dados/data warehouse
• Não se aplica
• Outro

Nos últimos 30 dias, quão bem o contexto recuperado atendeu aos requisitos da sua tarefa?

Como você define ou ajusta o top-k e parâmetros de recuperação relacionados?

• Experimentação manual
• Busca em grade/aleatória
• Otimização bayesiana
• Ajuste automático do fornecedor
• Política de recuperação aprendida
• Não ajustado
• Outro

Nos últimos 30 dias, com que frequência você encontrou trechos irrelevantes ou fora do tópico nos resultados de recuperação?

Nos últimos 30 dias, com que frequência você encontrou contexto ausente (informação-chave não recuperada)?

Nos últimos 30 dias, com que frequência você encontrou conteúdo desatualizado ou obsoleto nos resultados de recuperação?

Nos últimos 30 dias, com que frequência você encontrou chunks duplicados ou quase duplicados nos resultados de recuperação?

Como as respostas do modelo são fundamentadas ou citadas em seu sistema RAG? Selecione todas as que se aplicam.

• Citações inline com URLs
• Citações inline com IDs de documentos
• Bloco de evidências após a resposta
• Saídas de ferramentas incluídas na íntegra
• Lista estruturada de evidências em JSON
• Sem fundamentação/citações
• Outro

Nos últimos 30 dias, quanto você confia na correção das evidências citadas nas saídas do seu sistema RAG?

Classifique seus 3 estilos preferidos de exibição de citação/fundamentação.

1. Inline por frase
2. Notas finais numeradas
3. Painel de evidências recolhível
4. Top-k fontes com pontuações
5. Link para os trechos completos
6. Exibir apenas sob demanda

Nos últimos 30 dias, com que frequência você observou alucinações nas saídas do seu RAG apesar da fundamentação?

Descreva uma falha de fundamentação recente que você encontrou e seu impacto no seu trabalho.

Gostaríamos de entender mais sobre sua experiência com a qualidade de fundamentação e citação. Um moderador de IA fará algumas perguntas de acompanhamento.

Quais ferramentas ou bibliotecas de avaliação você usa para RAG? Selecione todas as que se aplicam.

• Ragas
• TruLens
• DeepEval
• Promptfoo
• Harness personalizado
• Avaliações do LlamaIndex
• Nenhuma
• Outra

Quais métricas melhor refletem a qualidade do seu RAG atualmente? Selecione todas as que se aplicam.

• Precision@k
• Recall@k
• MRR
• nDCG
• Fidelidade da resposta
• Precisão/recall de contexto
• Pontuação de fundamentação
• Avaliações humanas
• Sinais de uso em produção
• Métricas internas personalizadas

Se você usa uma métrica personalizada, descreva-a brevemente e como você a calcula.

Quão automatizado é seu fluxo de trabalho de avaliação?

• Nenhum (apenas manual)
• Alguns scripts
• Verificações integradas ao CI
• Avaliação contínua em produção

Com que frequência você executa benchmarks de RAG?

• Antes de cada release
• Semanalmente
• Quinzenalmente
• Mensalmente
• Trimestralmente
• Apenas pontualmente

Qual é a principal linguagem de programação que você usa para desenvolvimento RAG?

• Python
• JavaScript/TypeScript
• Java
• Go
• C
• Rust
• Outra

Qual é o seu principal vector store ou backend de recuperação?

• Pinecone
• Weaviate
• Milvus
• FAISS
• Elasticsearch/OpenSearch
• pgvector
• Chroma
• Vespa
• Não se aplica
• Outro

Qual modelo de embedding é sua escolha principal?

• OpenAI text-embedding-3
• OpenAI small embedding
• Cohere Embed
• VoyageAI
• Jina embeddings
• Família E5
• Instructor
• Família BGE
• Modelo local
• Outro

Você usa um reranker após a recuperação inicial?

• Sim
• Não
• Em experimentação

Qual reranker você usa com mais frequência?

• Cohere Rerank
• Voyage Rerank
• Jina Reranker
• Cross-encoder (ex.: MS MARCO)
• Reranker auto-hospedado
• Outro

Qual é sua meta de latência ponta a ponta do RAG por consulta?

• < 200 ms
• 200–500 ms
• 500 ms–1 s
• 1–2 s
• 2–5 s
• > 5 s
• Sem meta específica

Quão crítica é a qualidade de recuperação para o sucesso geral do seu sistema RAG?

Quão satisfeito você está com seu sistema RAG no geral atualmente?

Classifique suas 3 principais prioridades para melhorar seu sistema RAG nos próximos 3 meses.

1. Melhorar precision/recall de recuperação
2. Melhorar fundamentação/citações
3. Reduzir latência
4. Reduzir custo por consulta
5. Escalar para mais fontes de dados
6. Fortalecer o pipeline de avaliação
7. Segurança/conformidade
8. Ergonomia para desenvolvedores

Com base em suas respostas nesta pesquisa, compartilhe quaisquer pensamentos ou experiências adicionais sobre seus desafios de recuperação ou fundamentação em RAG.

Quantos anos de experiência profissional você tem em software, dados ou ML?

• 0–1
• 2–4
• 5–9
• 10–14
• 15+
• Prefiro não informar

Em qual região você trabalha principalmente?

• África
• Ásia
• Europa
• América do Norte
• Oceania
• América do Sul
• Prefiro não informar

Qual é o tamanho aproximado da sua organização (número de funcionários)?

• 1–10
• 11–50
• 51–200
• 201–1.000
• 1.001–5.000
• 5.001+
• Prefiro não informar

Qual é o principal setor ou domínio do seu trabalho com RAG?

• Tecnologia
• Finanças
• Saúde/Ciências da vida
• Varejo/Bens de consumo
• Educação
• Governo/Setor público
• Manufatura
• Mídia/Entretenimento
• Outro
• Prefiro não informar

Obrigado por concluir esta pesquisa! Sua contribuição é valiosa e ajudará a melhorar os sistemas RAG e as ferramentas para desenvolvedores. Todos os resultados serão reportados apenas de forma agregada.