Reprodutibilidade em Pesquisas Moderadas por IA: Uma Avaliação de Pesquisadores

Bem-vindo a este estudo sobre reprodutibilidade em pesquisas moderadas por IA. Esta pesquisa faz parte de um esforço de investigação para entender como os pesquisadores documentam, replicam e avaliam estudos moderados por IA. Sua participação é totalmente voluntária, e você pode interromper a qualquer momento. Não há respostas certas ou erradas — estamos interessados em suas opiniões e experiências profissionais sinceras. Suas respostas serão mantidas em sigilo, analisadas de forma agregada e utilizadas apenas para fins de pesquisa acadêmica e metodológica. Tempo estimado de conclusão: 12 a 15 minutos.

Você já projetou, conduziu ou avaliou pessoalmente pesquisas que utilizam moderação por IA (por exemplo, perguntas de aprofundamento conduzidas por IA, discussões qualitativas moderadas por IA ou lógica de pesquisa assistida por IA)?

• Sim, tenho experiência direta com pesquisa moderada por IA
• Não, mas estou familiarizado com os métodos de pesquisa moderada por IA
• Não, não estou familiarizado com pesquisa moderada por IA

Aproximadamente em quantos projetos de pesquisa moderados por IA você esteve envolvido nos últimos 24 meses?

• 1 a 2 projetos
• 3 a 5 projetos
• 6 a 10 projetos
• Mais de 10 projetos

Quais plataformas ou ferramentas de pesquisa moderada por IA você já utilizou? (Selecione todas as que se aplicam)

• QuestionPunk
• Remesh
• Discuss.io (recursos de IA)
• Forsta / Confirmit (recursos de IA)
• Qualtrics (lógica assistida por IA)
• Ferramentas de moderação por IA desenvolvidas sob medida
• Outro (especifique)

<p>Para os fins deste estudo, <strong>'pesquisa moderada por IA'</strong> refere-se a qualquer metodologia de pesquisa em que um sistema de IA conduz ativamente ou adapta as interações com os participantes em tempo real. Isso inclui:</p><p>Entrevistas qualitativas conduzidas por IA (em que a IA faz perguntas de aprofundamento)</p><p>Grupos focais ou discussões moderados por IA</p><p>Lógica de pesquisa assistida por IA que adapta as perguntas com base em respostas anteriores</p><p>Isso <strong>NÃO</strong> inclui:</p><p>Uso da IA apenas para análise de dados após a coleta</p><p>Uso da IA para redigir perguntas de pesquisa sem moderação em tempo real</p><p>Coleta de dados simples baseada em chatbot com fluxos totalmente roteirizados</p>

Quando você conduziu ou contribuiu para um estudo moderado por IA, com que grau de detalhamento você costumava documentar os prompts e instruções do sistema de IA utilizados?

Com que grau de detalhamento você costumava documentar a versão do modelo de IA e os parâmetros de configuração (por exemplo, temperatura, nome do modelo, limites de tokens)?

Com que grau de detalhamento você costumava documentar o fluxo de lógica e as regras de ramificação que regem a moderação por IA?

Com que grau de detalhamento você costumava documentar os critérios de amostragem e os procedimentos de recrutamento de participantes?

Quais são as principais barreiras que você enfrenta ao documentar protocolos de estudo moderado por IA? (Selecione todas as que se aplicam)

• A plataforma não expõe os detalhes de configuração
• As versões do modelo de IA mudam sem aviso
• Não existem padrões de documentação estabelecidos
• Restrições de tempo durante a execução do projeto
• Restrições proprietárias do fornecedor da plataforma
• Falta de exigências institucionais para documentação de IA
• Incerteza sobre quais elementos é necessário documentar
• Outro (especifique)

A seção a seguir apresenta elementos que poderiam ser divulgados para apoiar a transparência e a reprodutibilidade em pesquisas moderadas por IA. Para cada elemento, indique se a plataforma de pesquisa por IA que você utilizou mais recentemente torna essa informação acessível a você como pesquisador.

Na plataforma de pesquisa por IA que você utilizou mais recentemente, o nome e a versão específicos do modelo de IA (por exemplo, GPT-4o, Claude 3.5) estão acessíveis a você?

• Sim, totalmente acessível
• Parcialmente acessível (alguns detalhes disponíveis)
• Não acessível
• Não sei / Nunca verifiquei

Os prompts e instruções do sistema fornecidos à IA estão acessíveis a você?

• Sim, totalmente acessível
• Parcialmente acessível (alguns detalhes disponíveis)
• Não acessível
• Não sei / Nunca verifiquei

Os parâmetros de configuração da IA (por exemplo, temperatura, máximo de tokens, top-p) estão acessíveis a você?

• Sim, totalmente acessível
• Parcialmente acessível (alguns detalhes disponíveis)
• Não acessível
• Não sei / Nunca verifiquei

O fluxo de lógica e a estrutura de ramificação da moderação por IA estão acessíveis a você?

• Sim, totalmente acessível
• Parcialmente acessível (alguns detalhes disponíveis)
• Não acessível
• Não sei / Nunca verifiquei

As transcrições brutas completas das interações entre IA e participantes estão acessíveis a você?

• Sim, totalmente acessível
• Parcialmente acessível (alguns detalhes disponíveis)
• Não acessível
• Não sei / Nunca verifiquei

Qual a importância de cada um dos itens a seguir para possibilitar a reprodutibilidade da pesquisa moderada por IA? — Divulgação do nome e da versão do modelo de IA

— Divulgação dos prompts e instruções do sistema

— Divulgação dos parâmetros de configuração da IA

— Divulgação do fluxo de lógica e das regras de ramificação

— Acesso às transcrições brutas completas das interações

Em comparação com a pesquisa qualitativa tradicional (moderada por humanos), como você avaliaria a qualidade geral dos dados da pesquisa moderada por IA?

Em comparação com a pesquisa tradicional moderada por humanos, como você avaliaria a pesquisa moderada por IA quanto a: profundidade das respostas dos participantes

Em comparação com a pesquisa tradicional moderada por humanos, como você avaliaria a pesquisa moderada por IA quanto a: consistência da moderação entre participantes

Em comparação com a pesquisa tradicional moderada por humanos, como você avaliaria a pesquisa moderada por IA quanto a: conforto e sinceridade dos participantes

Em comparação com a pesquisa tradicional moderada por humanos, como você avaliaria a pesquisa moderada por IA quanto a: capacidade de captar insights inesperados

Em comparação com a pesquisa tradicional moderada por humanos, como você avaliaria a pesquisa moderada por IA quanto a: reprodutibilidade dos resultados entre estudos

Você já tentou replicar um estudo moderado por IA (seu próprio ou de outro pesquisador)?

• Sim, repliquei meu próprio estudo moderado por IA
• Sim, repliquei o estudo moderado por IA de outro pesquisador
• Sim, tanto o meu quanto o de outros
• Não, não tentei fazer uma replicação

Qual é o seu grau de confiança de que um estudo moderado por IA que você conduziu poderia ser replicado com sucesso por outro pesquisador usando a mesma plataforma e configuração?

Classifique os seguintes desafios à reprodutibilidade em pesquisas moderadas por IA, do mais significativo (1) ao menos significativo.

1. Atualizações do modelo de IA alteram o comportamento ao longo do tempo
2. Configurações de 'caixa-preta' específicas da plataforma
3. Saídas não determinísticas da IA (aleatoriedade nas respostas)
4. Falta de protocolos de documentação padronizados
5. Acesso insuficiente aos prompts e parâmetros do sistema
6. Variações no comportamento dos participantes entre amostras

Em que medida você concorda ou discorda da seguinte afirmação: As plataformas de pesquisa por IA que compartilham abertamente seus prompts, modelos e fluxos de lógica produzem pesquisas mais reprodutíveis do que as plataformas que não divulgam esses elementos.

Descreva uma experiência específica em que você enfrentou um desafio de reprodutibilidade em pesquisa moderada por IA. O que aconteceu e como você tentou resolver a situação?

Com base em suas experiências, qual única mudança nas plataformas ou práticas de pesquisa moderada por IA mais melhoraria a reprodutibilidade dos estudos conduzidos nessas plataformas?

Com base em suas respostas ao longo desta pesquisa, compartilhe quaisquer pensamentos ou observações adicionais sobre a reprodutibilidade em pesquisas moderadas por IA.

Qual das opções a seguir melhor descreve sua principal função profissional?

• Pesquisador acadêmico
• Profissional de pesquisa de mercado
• Pesquisador de UX / Design
• Cientista de dados / Especialista em IA
• Gerente de operações de pesquisa / insights
• Consultor / Pesquisador independente
• Estudante (mestrado ou pós-graduação)
• Outro (especifique)

Quantos anos de experiência você tem conduzindo pesquisas (qualquer metodologia)?

• Menos de 2 anos
• 2 a 5 anos
• 6 a 10 anos
• 11 a 20 anos
• Mais de 20 anos

Em qual setor você conduz pesquisas principalmente?

• Academia / Ensino superior
• Tecnologia / Software
• Saúde / Farmacêutico
• Serviços financeiros
• Bens de consumo
• Mídia / Entretenimento
• Governo / Setor público
• Sem fins lucrativos / ONG
• Consultoria / Agência
• Outro (especifique)