Pesquisa sobre Usabilidade de Model Cards de IA e Confiança de Desenvolvedores

Bem-vindo(a)! Esta pesquisa explora a sua experiência com model cards e como as limitações de modelos influenciam o seu fluxo de trabalho. Sua participação é voluntária — você pode parar a qualquer momento. Não há respostas certas ou erradas; estamos interessados nas suas opiniões sinceras. Todas as respostas são anônimas e serão relatadas apenas de forma agregada. Tempo estimado: 8–10 minutos.

Nos últimos 6 meses, como você trabalhou com modelos de ML? Selecione todas as opções aplicáveis.

• Implementei ou ajustei (fine-tuning) modelos em código
• Consumi APIs/SDKs pré-construídos
• Avaliei o desempenho de modelos para um projeto
• Selecionei fornecedores ou modelos para implantação
• Escrevi ou mantive documentação
• Nenhuma das opções acima

Quão familiarizado(a) você está com model cards?

• Muito familiarizado — leio e aplico regularmente
• Um pouco familiarizado — já li alguns
• Já ouvi falar de model cards, mas não tenho certeza do que incluem
• Não familiarizado — nunca ouvi falar

Se um model card estiver disponível, qual a probabilidade de você lê-lo antes de usar o modelo?

Nos model cards que você utilizou, quão fácil foi localizar limitações e modos de falha?

Quando as limitações não estão claras ou estão ausentes, o que você normalmente faz? Selecione todas as opções aplicáveis.

• Executo testes ou benchmarks específicos
• Pesquiso em issues/fóruns ou relatos da comunidade
• Entro em contato com o provedor ou abro um chamado
• Leio o artigo original ou a documentação do repositório
• Mudo para um modelo diferente
• Prossigo com monitoramento/proteções adicionais
• Adio ou bloqueio a integração
• Outro (especifique)

Com base nas suas respostas nesta pesquisa, você tem sugestões para tornar os model cards mais claros ou mais acionáveis?

Qual é a sua função principal?

• Engenheiro(a) Backend/Full-stack
• Engenheiro(a) de ML/IA
• Cientista/Analista de Dados
• Pesquisador(a)
• Gerente de Produto
• SRE/DevOps
• Engenheiro(a) de Segurança/Privacidade
• Redator(a) Técnico(a)
• Estudante
• Outro

Obrigado pelo seu tempo! Seu feedback ajudará a melhorar como os model cards comunicam limitações e apoiam melhores decisões de integração.

Com base no que você sabe atualmente, quais informações você esperaria encontrar em um model card? Selecione todas as opções aplicáveis.

• Uso pretendido e usos fora do escopo
• Fontes dos dados de treinamento e métodos de coleta
• Métricas e metodologia de avaliação
• Desempenho entre subgrupos ou condições
• Limitações conhecidas e modos de falha
• Considerações de segurança/ética
• Versionamento e histórico de alterações
• Licenciamento e termos de uso
• Informações de contato/suporte
• Requisitos e restrições de implantação
• Não sei / não tenho certeza
• Outro (especifique)

Nos model cards que você analisou, quais elementos eram comumente incluídos? Selecione todas as opções aplicáveis.

• Uso pretendido e usos fora do escopo
• Fontes dos dados de treinamento e métodos de coleta
• Métricas e metodologia de avaliação
• Desempenho entre subgrupos ou condições
• Limitações conhecidas e modos de falha
• Considerações de segurança/ética
• Versionamento e histórico de alterações
• Licenciamento e termos de uso
• Informações de contato/suporte
• Requisitos e restrições de implantação

De modo geral, quão fácil você acha que seria encontrar as limitações de um modelo em um model card típico?

Qual formato tornaria as limitações do modelo mais acionáveis para você?

• Resumo de uma página com fatos-chave
• Tabela com métricas por subgrupo
• Checklist de riscos com mitigações
• Rotulagem de risco por semáforo
• Exemplos interativos e casos de falha
• Link para artigo/apêndice detalhado
• Outro (especifique)

Gostaríamos de explorar um pouco mais suas experiências com model cards. Nosso moderador de IA fará algumas perguntas de acompanhamento com base nas suas respostas anteriores.

Há quantos anos você trabalha profissionalmente com ML/IA (em qualquer função)?

• 0–1
• 2–4
• 5–7
• 8–10
• 11+
• Prefiro não responder

Introdução rápida: Um model card é um relatório conciso que descreve os usos pretendidos e fora do escopo de um modelo, a procedência dos dados, os métodos e resultados de avaliação (muitas vezes entre subgrupos), limitações conhecidas e modos de falha, e notas relevantes de segurança/ética. Ele ajuda você a avaliar a adequação e os riscos antes de integrar um modelo. Por favor, tenha esta definição em mente para as perguntas restantes.

Nos últimos 3 meses, com que frequência você consultou a documentação de modelos ao integrá-los?

• Em toda integração
• Na maioria das integrações
• Às vezes
• Raramente
• Nunca
• Não se aplica — não integrei modelos recentemente

Quão confiante você está em usar um model card para julgar a adequação de um modelo para uma implantação crítica de segurança (por exemplo, saúde, sistemas autônomos)?

No geral, o quanto você confia que os model cards representam com precisão as capacidades e limitações de um modelo?

Qual é o tamanho aproximado da sua organização (total de funcionários)?

• 1–10
• 11–50
• 51–200
• 201–1.000
• 1.001–5.000
• 5.001+
• Prefiro não responder

Quão confiante você está em usar um model card para julgar a adequação de um modelo para uma aplicação sensível à equidade (por exemplo, contratação, pontuação de crédito)?

Em qual região você está baseado(a) principalmente?

• África
• Ásia
• Europa
• América Latina e Caribe
• Oriente Médio
• América do Norte
• Oceania
• Prefiro não responder

Quão confiante você está em usar um model card para julgar a adequação de um modelo para um sistema de produção sensível à latência (por exemplo, inferência em tempo real)?

Quais linguagens de programação você utiliza principalmente ao trabalhar com modelos de ML? Selecione todas as opções aplicáveis.

• Python
• JavaScript/TypeScript
• Java
• C/C++
• Go
• Rust
• R
• Swift/Kotlin
• Outra
• Prefiro não responder

Você já descobriu uma limitação de modelo que não estava documentada em seu model card?

• Sim
• Não
• Não tenho certeza

Qual setor melhor descreve o seu contexto de trabalho?

• Tecnologia
• Finanças
• Saúde
• Varejo/E-commerce
• Mídia/Entretenimento
• Educação
• Governo/Sem fins lucrativos
• Outro
• Prefiro não responder

Descreva brevemente a limitação não documentada e como você a identificou.

Classifique os seguintes fatores de limitação do mais para o menos importante ao selecionar um modelo.

1. Precisão em dados fora da distribuição
2. Resultados enviesados para subgrupos específicos
3. Risco de privacidade ou vazamento de dados
4. Robustez a ataques adversariais ou de prompt
5. Lacunas de interpretabilidade/rastreabilidade