AI 모델 카드 사용성 및 개발자 신뢰도 설문

환영합니다! 이 설문은 모델 카드에 대한 귀하의 경험과 모델의 한계가 귀하의 업무 흐름에 어떻게 영향을 미치는지를 살펴봅니다. 참여는 자발적이며 언제든지 중단하실 수 있습니다. 정답이나 오답은 없으며, 저희는 귀하의 솔직한 의견에 관심이 있습니다. 모든 응답은 익명 처리되며 집계된 형태로만 보고됩니다. 예상 소요 시간: 8~10분.

지난 6개월 동안 귀하는 ML 모델을 어떻게 다루셨습니까? 해당하는 항목을 모두 선택해 주십시오.

• 코드로 모델을 구현하거나 파인튜닝함
• 기성 API/SDK를 이용함
• 프로젝트를 위해 모델 성능을 평가함
• 배포를 위해 벤더 또는 모델을 선정함
• 문서를 작성하거나 유지관리함
• 위 항목에 해당 없음

귀하는 모델 카드에 대해 얼마나 잘 알고 계십니까?

• 매우 잘 앎 — 정기적으로 읽고 적용함
• 다소 앎 — 몇 개 읽어봄
• 모델 카드에 대해 들어봤으나 무엇이 포함되는지는 잘 모름
• 잘 모름 — 들어본 적 없음

모델 카드가 제공되는 경우, 모델을 사용하기 전에 이를 읽으실 가능성은 얼마나 됩니까?

귀하가 사용해 보신 모델 카드에서 한계와 실패 모드를 찾기가 얼마나 쉬웠습니까?

한계가 불명확하거나 누락되어 있을 때, 귀하는 일반적으로 어떻게 하십니까? 해당하는 항목을 모두 선택해 주십시오.

• 표적 테스트 또는 벤치마크를 실행함
• 이슈/포럼 또는 커뮤니티 보고를 검색함
• 제공업체에 연락하거나 티켓을 등록함
• 원 논문 또는 저장소 문서를 읽음
• 다른 모델로 전환함
• 추가 모니터링/가드레일과 함께 진행함
• 통합을 미루거나 차단함
• 기타(직접 입력)

이 설문에 대한 응답을 바탕으로, 모델 카드를 더 명확하거나 실행 가능하게 만들기 위한 제안이 있으십니까?

귀하의 주된 직무는 무엇입니까?

• 백엔드/풀스택 엔지니어
• ML/AI 엔지니어
• 데이터 사이언티스트/분석가
• 연구원
• 프로덕트 매니저
• SRE/DevOps
• 보안/프라이버시 엔지니어
• 테크니컬 라이터
• 학생
• 기타

시간을 내어 주셔서 감사합니다! 귀하의 의견은 모델 카드가 한계를 전달하고 더 나은 통합 결정을 지원하는 방식을 개선하는 데 도움이 됩니다.

현재 알고 계신 내용을 바탕으로, 모델 카드에서 어떤 정보를 찾을 수 있을 것으로 기대하십니까? 해당하는 항목을 모두 선택해 주십시오.

• 의도된 용도 및 범위 외 용도
• 학습 데이터 출처 및 수집 방법
• 평가 지표 및 방법론
• 하위 그룹 또는 조건별 성능
• 알려진 한계 및 실패 모드
• 안전/윤리 고려사항
• 버전 관리 및 변경 이력
• 라이선스 및 이용 약관
• 연락처/지원 정보
• 배포 요건 및 제약사항
• 잘 모르겠습니다
• 기타(직접 입력)

귀하가 검토하신 모델 카드에서 흔히 포함되어 있던 요소는 무엇입니까? 해당하는 항목을 모두 선택해 주십시오.

• 의도된 용도 및 범위 외 용도
• 학습 데이터 출처 및 수집 방법
• 평가 지표 및 방법론
• 하위 그룹 또는 조건별 성능
• 알려진 한계 및 실패 모드
• 안전/윤리 고려사항
• 버전 관리 및 변경 이력
• 라이선스 및 이용 약관
• 연락처/지원 정보
• 배포 요건 및 제약사항

일반적으로, 전형적인 모델 카드에서 모델의 한계를 찾는 것이 얼마나 쉬울 것이라고 생각하십니까?

어떤 형식이 모델의 한계를 귀하에게 가장 실행 가능하게 만들 것 같습니까?

• 핵심 사실을 담은 한 페이지 요약
• 하위 그룹별 지표가 담긴 표
• 완화 방안이 포함된 리스크 체크리스트
• 신호등 방식의 리스크 라벨링
• 인터랙티브 예시 및 실패 사례
• 상세 논문/부록 링크
• 기타(직접 입력)

모델 카드에 대한 귀하의 경험을 조금 더 살펴보고자 합니다. 저희 AI 진행자가 귀하의 앞선 응답을 바탕으로 몇 가지 후속 질문을 드릴 것입니다.

귀하는 ML/AI 분야에서 (어떤 형태로든) 전문적으로 몇 년간 일해 오셨습니까?

• 0~1
• 2~4
• 5~7
• 8~10
• 11+
• 답변하지 않겠습니다

간단한 안내: 모델 카드는 모델의 의도된 용도 및 범위 외 용도, 데이터 출처, 평가 방법 및 결과(흔히 하위 그룹별로 제시), 알려진 한계 및 실패 모드, 관련 안전/윤리적 유의사항을 개괄하는 간결한 보고서입니다. 이는 모델을 통합하기 전에 적합성과 위험을 판단하는 데 도움이 됩니다. 남은 질문에 대해 이 정의를 염두에 두어 주십시오.

지난 3개월 동안 모델을 통합하실 때 얼마나 자주 모델 문서를 참조하셨습니까?

• 모든 통합 시
• 대부분의 통합 시
• 가끔
• 드물게
• 전혀
• 해당 없음 — 최근에 모델을 통합한 적 없음

안전이 중요한 배포(예: 의료, 자율 시스템)에 모델이 적합한지 판단하는 데 모델 카드를 사용하는 것에 대해 얼마나 확신하십니까?

전반적으로, 모델 카드가 모델의 역량과 한계를 정확하게 나타낸다고 얼마나 신뢰하십니까?

귀하 조직의 대략적인 규모(총 임직원 수)는 어떻게 되십니까?

• 1~10
• 11~50
• 51~200
• 201~1,000
• 1,001~5,000
• 5,001+
• 답변하지 않겠습니다

공정성이 민감한 응용(예: 채용, 신용 평가)에 모델이 적합한지 판단하는 데 모델 카드를 사용하는 것에 대해 얼마나 확신하십니까?

귀하는 주로 어느 지역에 기반을 두고 계십니까?

• 아프리카
• 아시아
• 유럽
• 라틴 아메리카 및 카리브해
• 중동
• 북미
• 오세아니아
• 답변하지 않겠습니다

지연 시간이 민감한 프로덕션 시스템(예: 실시간 추론)에 모델이 적합한지 판단하는 데 모델 카드를 사용하는 것에 대해 얼마나 확신하십니까?

ML 모델을 다루실 때 주로 사용하시는 프로그래밍 언어는 무엇입니까? 해당하는 항목을 모두 선택해 주십시오.

• Python
• JavaScript/TypeScript
• Java
• C/C++
• Go
• Rust
• R
• Swift/Kotlin
• 기타
• 답변하지 않겠습니다

모델 카드에 문서화되지 않은 모델의 한계를 발견하신 적이 있습니까?

• 예
• 아니요
• 잘 모르겠습니다

다음 중 귀하의 업무 맥락을 가장 잘 설명하는 산업은 무엇입니까?

• 기술
• 금융
• 의료
• 소매/이커머스
• 미디어/엔터테인먼트
• 교육
• 정부/비영리
• 기타
• 답변하지 않겠습니다

문서화되지 않았던 한계와 이를 어떻게 파악하셨는지 간략히 기술해 주십시오.

모델을 선정하실 때 다음 한계 요인을 가장 중요한 것부터 가장 덜 중요한 것 순으로 순위를 매겨 주십시오.

1. 분포 외 데이터에 대한 정확도
2. 특정 하위 그룹에 대한 편향된 결과
3. 프라이버시 또는 데이터 유출 위험
4. 적대적 또는 프롬프트 공격에 대한 견고성
5. 해석 가능성/추적성의 공백