Pesquisa sobre Carga de Revisão de Resultados de Agentes de IA e Calibração de Confiança

Obrigado por dedicar alguns minutos a isto! Estamos estudando quanto trabalho é necessário para revisar os resultados de agentes de IA antes de você confiar e utilizá-los. Suas respostas são totalmente confidenciais e anonimizadas. Respostas honestas nos ajudam a reduzir sua carga de revisão. Leva cerca de 5 a 6 minutos.

Qual agente ou ferramenta de IA você usa com mais frequência no seu trabalho?

• (Substituir por Agente A)
• (Substituir por Agente B)
• (Substituir por Agente C)
• Outro

Nos últimos 30 dias, com que frequência você usou os resultados deste agente?

• Várias vezes ao dia
• Uma vez por dia
• Algumas vezes por semana
• Uma vez por semana ou menos

Quando este agente lhe fornece um resultado, quanto você atualmente confia que ele esteja correto sem verificar?

Em média, quanto do resultado do agente você realmente revisa ou verifica antes de usá-lo?

Avalie o esforço que cada uma das seguintes atividades de revisão exige em uma tarefa típica.

Com que frequência cada uma destas situações ocorre com os resultados deste agente?

O que mais frequentemente faz você realizar uma revisão manual completa em vez de uma olhada rápida?

• A tarefa é de alto risco (financeira, jurídica, voltada ao cliente)
• O resultado parece incomum ou inconsistente com o que eu esperava
• Já fui prejudicado por um erro deste agente antes
• É um tipo de tarefa novo ou desconhecido
• Um colega ou uma política exige isso
• Sempre faço uma verificação completa, independentemente de tudo

Classifique estes fatores conforme o quanto eles atualmente aumentam sua carga de revisão, do maior ao menor.

1. O resultado é difícil de verificar em relação a uma fonte clara de verdade
2. O agente não explica seu raciocínio nem mostra seu trabalho
3. Erros no passado tiveram grande impacto quando ocorreram
4. O volume de tarefas é alto demais para verificar tudo com cuidado
5. Não fica claro quem é responsável se o resultado estiver errado

No geral, o nível atual de revisão que você faz nos resultados deste agente é demais, de menos ou o adequado?

Reconstrua a instância específica mais recente em que a confiança do respondente no resultado deste agente esteve errada em qualquer direção: uma ocasião em que um erro passou despercebido por falta de revisão, ou uma ocasião em que ele revisou demais algo que acabou estando correto. Obtenha detalhes concretos sobre qual era o resultado, que verificação ele fez ou deixou de fazer, o que aconteceu como consequência e como isso alterou seus hábitos de revisão depois. Se disserem que sempre verificam tudo completamente, investigue se isso é sustentável dado o volume de tarefas e o que permitiria que verificassem menos com segurança.

As últimas perguntas são sobre você, totalmente opcionais.

Há quanto tempo você usa ferramentas de agentes de IA no seu trabalho?

• Menos de 3 meses
• 3 a 12 meses
• 1 a 2 anos
• Mais de 2 anos
• Prefiro não responder

Qual opção descreve melhor o seu cargo?

• Colaborador individual
• Líder de equipe / gerente
• Diretor ou acima
• Outro
• Prefiro não responder

Tudo pronto — obrigado! Suas respostas alimentam diretamente um relatório sobre onde o esforço de revisão de agentes de IA pode ser reduzido com segurança e onde a confiança precisa de salvaguardas mais fortes.