개발자 대상 평가 공정성 및 대표성 인식 설문

환영합니다! 이 설문은 소프트웨어 및 모델 평가에서의 공정성, 편향, 대표성에 관한 귀하의 경험과 관점을 살펴봅니다. 참여는 완전히 자발적이며 언제든지 중단하실 수 있습니다. 모든 응답은 익명으로 처리되며 오직 집계된 형태로만 보고됩니다. 정답이나 오답은 없으며, 저희는 귀하의 솔직한 의견에 관심이 있습니다. 예상 소요 시간: 8~10분.

귀하의 주된 개발 분야를 가장 잘 설명하는 것은 무엇입니까?

• 프론트엔드
• 백엔드
• ML/AI
• 데이터 엔지니어링/MLOps
• 모바일
• DevOps/SRE
• 보안
• 풀스택
• QA/테스트 자동화
• 기타 (직접 입력해 주십시오)

지난 12개월 동안 소프트웨어, 시스템 또는 모델을 평가하는 일에 참여하신 적이 있습니까?

• 예, 지난 6개월 이내
• 예, 6~12개월 전
• 예, 1년도 더 전에
• 아니요

일반적인 한 달 동안, 귀하의 시간 중 대략 얼마가 평가 활동에 사용됩니까?

• 0~10%
• 11~25%
• 26~50%
• 51~75%
• 76~100%
• 답변하지 않겠음

지난 6개월 동안 가장 많이 의존하신 평가 방법은 무엇입니까?

• 단위 테스트/어서션
• 오프라인 벤치마크
• 사람의 평가/주석 작업
• A/B 또는 카나리 릴리스
• 합성 데이터 테스트
• 레드팀/적대적 테스트
• 편향/공정성 감사
• 기타 (직접 입력해 주십시오)
• 없음/해당 없음

최근 평가에서 민감한 속성(예: 성별, 인종, 소득)을 고려하셨습니까?

• 예
• 아니요
• 해당 없음

평가에서 민감한 속성을 다룰 때 가장 중요했던 안전장치는 무엇입니까?

• IRB/윤리 심의
• 법률/개인정보 검토
• 데이터 최소화
• 집계/익명화
• 차등 프라이버시 또는 노이즈
• 접근 제한/승인
• 이해관계자 동의
• 편향 탐지/개선
• 기타 (직접 입력해 주십시오)
• 해당 없음

귀하의 평가 결정에서 공정성은 얼마나 중요합니까?

다음에 얼마나 동의하십니까: 우리의 평가 기준은 서로 다른 사용자 그룹에 걸쳐 일관되게 적용된다.

다음에 얼마나 동의하십니까: 나는 평가 결과에서 편향을 탐지할 적절한 도구와 방법을 갖추고 있다.

다음에 얼마나 동의하십니까: 다양한 배경의 이해관계자들이 우리의 평가 설계에 참여한다.

다음에 얼마나 동의하십니까: 공정성 고려사항은 때때로 속도나 비용 같은 다른 우선순위와 충돌한다.

한두 문장으로, "공정한" 평가를 어떻게 정의하십니까?

지난 12개월 동안 대표성이 낮은 표본이 귀하의 평가 결과에 영향을 미쳤을 수 있다는 점에 대해 얼마나 우려하십니까?

지난 12개월 동안 가장 자주 사용하신 표본 추출 전략은 무엇입니까?

• 무작위 표본 추출
• 층화 표본 추출
• 사용자 세그먼트 할당
• 합성 데이터 증강
• 편의/가용성 표본 추출
• 운영 트래픽 재현
• 텔레메트리 기반 표본 추출
• 기타 (직접 입력해 주십시오)
• 없음/해당 없음

다음 세그먼트를 귀하의 평가에서 커버리지 우선순위에 따라 순위를 매겨 주십시오(맨 위 = 최우선순위).

1. 신규 사용자
2. 파워 유저
3. 대표성이 낮은 지역/로케일
4. 저사양 기기
5. 위해에 민감한 맥락
6. 롱테일 쿼리

기능 수준의 평가 결정을 신뢰하기 위해 일반적으로 필요한 최소 표본 크기는 대략 얼마입니까?

• 100 미만
• 100~499
• 500~999
• 1,000~4,999
• 5,000~9,999
• 10,000 이상
• 특정 기준이 없음
• 답변하지 않겠음

귀하의 평가가 실제 사용 환경을 공정하게 대표한다고 얼마나 확신하십니까?

최근 평가에서 정확성, 속도, 공정성 사이의 트레이드오프에 직면하신 적이 있다면 간략히 서술해 주십시오.

이 설문에 대한 응답을 바탕으로, 귀하의 평가에서 공정성과 대표성을 가장 크게 개선할 수 있는 것은 무엇이겠습니까?

평가에서의 공정성과 대표성에 관한 귀하의 생각을 좀 더 살펴보고자 합니다. 귀하의 관점을 나눠 주시면 저희 AI 진행자가 몇 가지 후속 질문을 드리겠습니다.

귀하의 전문 개발 경력은 몇 년입니까?

• 1년 미만
• 1~3년
• 4~6년
• 7~10년
• 11~15년
• 16년 이상
• 답변하지 않겠음

귀하의 현재 직급 수준은 무엇입니까?

• 학생/인턴
• 주니어/어소시에이트
• 중간 경력
• 시니어
• 스태프/프린시펄
• 매니저/리드
• 기타
• 답변하지 않겠음

귀하는 주로 어느 지역에서 근무하십니까?

• 아프리카
• 아시아 태평양
• 유럽
• 라틴 아메리카
• 중동
• 북미
• 오세아니아
• 답변하지 않겠음

귀하의 조직에는 대략 몇 명의 직원이 있습니까?

• 1명
• 2~10명
• 11~50명
• 51~200명
• 201~1,000명
• 1,001~10,000명
• 10,001명 이상
• 답변하지 않겠음

귀하가 주로 함께 일하는 팀에는 몇 명이 있습니까?

• 1명
• 2~5명
• 6~10명
• 11~20명
• 21~50명
• 51명 이상
• 답변하지 않겠음

귀하의 주된 산업 또는 분야는 무엇입니까?

• 소비자 소프트웨어
• 엔터프라이즈/B2B
• 금융/핀테크
• 헬스케어
• 교육
• 이커머스
• 게임
• 정부/공공 부문
• 연구/학계
• 기타
• 답변하지 않겠음

설문을 완료해 주셔서 감사합니다! 귀하의 응답은 익명으로 처리되며 평가 관행을 개선하기 위해 집계된 형태로 사용됩니다. 시간을 내어 주셔서 감사합니다.