AI 모델 카드 사용성 및 개발자 신뢰도 설문

환영합니다! 이 설문은 모델 카드에 대한 귀하의 경험과 모델의 한계가 귀하의 업무 흐름에 어떻게 영향을 미치는지를 살펴봅니다. 참여는 자발적이며 언제든지 중단하실 수 있습니다. 정답이나 오답은 없으며, 저희는 귀하의 솔직한 의견에 관심이 있습니다. 모든 응답은 익명 처리되며 집계된 형태로만 보고됩니다. 예상 소요 시간: 8~10분.

지난 6개월 동안 귀하는 ML 모델을 어떻게 다루셨습니까? 해당하는 항목을 모두 선택해 주십시오.

• 코드로 모델을 구현하거나 파인튜닝함
• 기성 API/SDK를 이용함
• 프로젝트를 위해 모델 성능을 평가함
• 배포를 위해 벤더 또는 모델을 선정함
• 문서를 작성하거나 유지관리함
• 위 항목에 해당 없음

귀하는 모델 카드에 대해 얼마나 잘 알고 계십니까?

• 매우 잘 앎 — 정기적으로 읽고 적용함
• 다소 앎 — 몇 개 읽어봄
• 모델 카드에 대해 들어봤으나 무엇이 포함되는지는 잘 모름
• 잘 모름 — 들어본 적 없음

현재 알고 계신 내용을 바탕으로, 모델 카드에서 어떤 정보를 찾을 수 있을 것으로 기대하십니까? 해당하는 항목을 모두 선택해 주십시오.

• 의도된 용도 및 범위 외 용도
• 학습 데이터 출처 및 수집 방법
• 평가 지표 및 방법론
• 하위 그룹 또는 조건별 성능
• 알려진 한계 및 실패 모드
• 안전/윤리 고려사항
• 버전 관리 및 변경 이력
• 라이선스 및 이용 약관
• 연락처/지원 정보
• 배포 요건 및 제약사항
• 잘 모르겠습니다
• 기타(직접 입력)

간단한 안내: 모델 카드는 모델의 의도된 용도 및 범위 외 용도, 데이터 출처, 평가 방법 및 결과(흔히 하위 그룹별로 제시), 알려진 한계 및 실패 모드, 관련 안전/윤리적 유의사항을 개괄하는 간결한 보고서입니다. 이는 모델을 통합하기 전에 적합성과 위험을 판단하는 데 도움이 됩니다. 남은 질문에 대해 이 정의를 염두에 두어 주십시오.

모델 카드가 제공되는 경우, 모델을 사용하기 전에 이를 읽으실 가능성은 얼마나 됩니까?

귀하가 검토하신 모델 카드에서 흔히 포함되어 있던 요소는 무엇입니까? 해당하는 항목을 모두 선택해 주십시오.

• 의도된 용도 및 범위 외 용도
• 학습 데이터 출처 및 수집 방법
• 평가 지표 및 방법론
• 하위 그룹 또는 조건별 성능
• 알려진 한계 및 실패 모드
• 안전/윤리 고려사항
• 버전 관리 및 변경 이력
• 라이선스 및 이용 약관
• 연락처/지원 정보
• 배포 요건 및 제약사항

지난 3개월 동안 모델을 통합하실 때 얼마나 자주 모델 문서를 참조하셨습니까?

• 모든 통합 시
• 대부분의 통합 시
• 가끔
• 드물게
• 전혀
• 해당 없음 — 최근에 모델을 통합한 적 없음

귀하가 사용해 보신 모델 카드에서 한계와 실패 모드를 찾기가 얼마나 쉬웠습니까?

일반적으로, 전형적인 모델 카드에서 모델의 한계를 찾는 것이 얼마나 쉬울 것이라고 생각하십니까?

안전이 중요한 배포(예: 의료, 자율 시스템)에 모델이 적합한지 판단하는 데 모델 카드를 사용하는 것에 대해 얼마나 확신하십니까?

공정성이 민감한 응용(예: 채용, 신용 평가)에 모델이 적합한지 판단하는 데 모델 카드를 사용하는 것에 대해 얼마나 확신하십니까?

지연 시간이 민감한 프로덕션 시스템(예: 실시간 추론)에 모델이 적합한지 판단하는 데 모델 카드를 사용하는 것에 대해 얼마나 확신하십니까?

모델 카드에 문서화되지 않은 모델의 한계를 발견하신 적이 있습니까?

• 예
• 아니요
• 잘 모르겠습니다

문서화되지 않았던 한계와 이를 어떻게 파악하셨는지 간략히 기술해 주십시오.

모델을 선정하실 때 다음 한계 요인을 가장 중요한 것부터 가장 덜 중요한 것 순으로 순위를 매겨 주십시오.

1. 분포 외 데이터에 대한 정확도
2. 특정 하위 그룹에 대한 편향된 결과
3. 프라이버시 또는 데이터 유출 위험
4. 적대적 또는 프롬프트 공격에 대한 견고성
5. 해석 가능성/추적성의 공백

한계가 불명확하거나 누락되어 있을 때, 귀하는 일반적으로 어떻게 하십니까? 해당하는 항목을 모두 선택해 주십시오.

• 표적 테스트 또는 벤치마크를 실행함
• 이슈/포럼 또는 커뮤니티 보고를 검색함
• 제공업체에 연락하거나 티켓을 등록함
• 원 논문 또는 저장소 문서를 읽음
• 다른 모델로 전환함
• 추가 모니터링/가드레일과 함께 진행함
• 통합을 미루거나 차단함
• 기타(직접 입력)

어떤 형식이 모델의 한계를 귀하에게 가장 실행 가능하게 만들 것 같습니까?

• 핵심 사실을 담은 한 페이지 요약
• 하위 그룹별 지표가 담긴 표
• 완화 방안이 포함된 리스크 체크리스트
• 신호등 방식의 리스크 라벨링
• 인터랙티브 예시 및 실패 사례
• 상세 논문/부록 링크
• 기타(직접 입력)

전반적으로, 모델 카드가 모델의 역량과 한계를 정확하게 나타낸다고 얼마나 신뢰하십니까?

이 설문에 대한 응답을 바탕으로, 모델 카드를 더 명확하거나 실행 가능하게 만들기 위한 제안이 있으십니까?

모델 카드에 대한 귀하의 경험을 조금 더 살펴보고자 합니다. 저희 AI 진행자가 귀하의 앞선 응답을 바탕으로 몇 가지 후속 질문을 드릴 것입니다.

귀하의 주된 직무는 무엇입니까?

• 백엔드/풀스택 엔지니어
• ML/AI 엔지니어
• 데이터 사이언티스트/분석가
• 연구원
• 프로덕트 매니저
• SRE/DevOps
• 보안/프라이버시 엔지니어
• 테크니컬 라이터
• 학생
• 기타

귀하는 ML/AI 분야에서 (어떤 형태로든) 전문적으로 몇 년간 일해 오셨습니까?

• 0~1
• 2~4
• 5~7
• 8~10
• 11+
• 답변하지 않겠습니다

귀하 조직의 대략적인 규모(총 임직원 수)는 어떻게 되십니까?

• 1~10
• 11~50
• 51~200
• 201~1,000
• 1,001~5,000
• 5,001+
• 답변하지 않겠습니다

귀하는 주로 어느 지역에 기반을 두고 계십니까?

• 아프리카
• 아시아
• 유럽
• 라틴 아메리카 및 카리브해
• 중동
• 북미
• 오세아니아
• 답변하지 않겠습니다

ML 모델을 다루실 때 주로 사용하시는 프로그래밍 언어는 무엇입니까? 해당하는 항목을 모두 선택해 주십시오.

• Python
• JavaScript/TypeScript
• Java
• C/C++
• Go
• Rust
• R
• Swift/Kotlin
• 기타
• 답변하지 않겠습니다

다음 중 귀하의 업무 맥락을 가장 잘 설명하는 산업은 무엇입니까?

• 기술
• 금융
• 의료
• 소매/이커머스
• 미디어/엔터테인먼트
• 교육
• 정부/비영리
• 기타
• 답변하지 않겠습니다

시간을 내어 주셔서 감사합니다! 귀하의 의견은 모델 카드가 한계를 전달하고 더 나은 통합 결정을 지원하는 방식을 개선하는 데 도움이 됩니다.