개발자 대상 평가 공정성 및 대표성 인식 설문

환영합니다! 이 설문은 소프트웨어 및 모델 평가에서의 공정성, 편향, 대표성에 관한 귀하의 경험과 관점을 살펴봅니다. 참여는 완전히 자발적이며 언제든지 중단하실 수 있습니다. 모든 응답은 익명으로 처리되며 오직 집계된 형태로만 보고됩니다. 정답이나 오답은 없으며, 저희는 귀하의 솔직한 의견에 관심이 있습니다. 예상 소요 시간: 8~10분.

귀하의 주된 개발 분야를 가장 잘 설명하는 것은 무엇입니까?

• 프론트엔드
• 백엔드
• ML/AI
• 데이터 엔지니어링/MLOps
• 모바일
• DevOps/SRE
• 보안
• 풀스택
• QA/테스트 자동화
• 기타 (직접 입력해 주십시오)

지난 6개월 동안 가장 많이 의존하신 평가 방법은 무엇입니까?

• 단위 테스트/어서션
• 오프라인 벤치마크
• 사람의 평가/주석 작업
• A/B 또는 카나리 릴리스
• 합성 데이터 테스트
• 레드팀/적대적 테스트
• 편향/공정성 감사
• 기타 (직접 입력해 주십시오)
• 없음/해당 없음

귀하의 평가 결정에서 공정성은 얼마나 중요합니까?

지난 12개월 동안 대표성이 낮은 표본이 귀하의 평가 결과에 영향을 미쳤을 수 있다는 점에 대해 얼마나 우려하십니까?

최근 평가에서 정확성, 속도, 공정성 사이의 트레이드오프에 직면하신 적이 있다면 간략히 서술해 주십시오.

귀하의 전문 개발 경력은 몇 년입니까?

• 1년 미만
• 1~3년
• 4~6년
• 7~10년
• 11~15년
• 16년 이상
• 답변하지 않겠음

설문을 완료해 주셔서 감사합니다! 귀하의 응답은 익명으로 처리되며 평가 관행을 개선하기 위해 집계된 형태로 사용됩니다. 시간을 내어 주셔서 감사합니다.

지난 12개월 동안 소프트웨어, 시스템 또는 모델을 평가하는 일에 참여하신 적이 있습니까?

• 예, 지난 6개월 이내
• 예, 6~12개월 전
• 예, 1년도 더 전에
• 아니요

최근 평가에서 민감한 속성(예: 성별, 인종, 소득)을 고려하셨습니까?

• 예
• 아니요
• 해당 없음

다음에 얼마나 동의하십니까: 우리의 평가 기준은 서로 다른 사용자 그룹에 걸쳐 일관되게 적용된다.

지난 12개월 동안 가장 자주 사용하신 표본 추출 전략은 무엇입니까?

• 무작위 표본 추출
• 층화 표본 추출
• 사용자 세그먼트 할당
• 합성 데이터 증강
• 편의/가용성 표본 추출
• 운영 트래픽 재현
• 텔레메트리 기반 표본 추출
• 기타 (직접 입력해 주십시오)
• 없음/해당 없음

이 설문에 대한 응답을 바탕으로, 귀하의 평가에서 공정성과 대표성을 가장 크게 개선할 수 있는 것은 무엇이겠습니까?

귀하의 현재 직급 수준은 무엇입니까?

• 학생/인턴
• 주니어/어소시에이트
• 중간 경력
• 시니어
• 스태프/프린시펄
• 매니저/리드
• 기타
• 답변하지 않겠음

일반적인 한 달 동안, 귀하의 시간 중 대략 얼마가 평가 활동에 사용됩니까?

• 0~10%
• 11~25%
• 26~50%
• 51~75%
• 76~100%
• 답변하지 않겠음

평가에서 민감한 속성을 다룰 때 가장 중요했던 안전장치는 무엇입니까?

• IRB/윤리 심의
• 법률/개인정보 검토
• 데이터 최소화
• 집계/익명화
• 차등 프라이버시 또는 노이즈
• 접근 제한/승인
• 이해관계자 동의
• 편향 탐지/개선
• 기타 (직접 입력해 주십시오)
• 해당 없음

다음에 얼마나 동의하십니까: 나는 평가 결과에서 편향을 탐지할 적절한 도구와 방법을 갖추고 있다.

다음 세그먼트를 귀하의 평가에서 커버리지 우선순위에 따라 순위를 매겨 주십시오(맨 위 = 최우선순위).

1. 신규 사용자
2. 파워 유저
3. 대표성이 낮은 지역/로케일
4. 저사양 기기
5. 위해에 민감한 맥락
6. 롱테일 쿼리

평가에서의 공정성과 대표성에 관한 귀하의 생각을 좀 더 살펴보고자 합니다. 귀하의 관점을 나눠 주시면 저희 AI 진행자가 몇 가지 후속 질문을 드리겠습니다.

귀하는 주로 어느 지역에서 근무하십니까?

• 아프리카
• 아시아 태평양
• 유럽
• 라틴 아메리카
• 중동
• 북미
• 오세아니아
• 답변하지 않겠음

다음에 얼마나 동의하십니까: 다양한 배경의 이해관계자들이 우리의 평가 설계에 참여한다.

기능 수준의 평가 결정을 신뢰하기 위해 일반적으로 필요한 최소 표본 크기는 대략 얼마입니까?

• 100 미만
• 100~499
• 500~999
• 1,000~4,999
• 5,000~9,999
• 10,000 이상
• 특정 기준이 없음
• 답변하지 않겠음

귀하의 조직에는 대략 몇 명의 직원이 있습니까?

• 1명
• 2~10명
• 11~50명
• 51~200명
• 201~1,000명
• 1,001~10,000명
• 10,001명 이상
• 답변하지 않겠음

다음에 얼마나 동의하십니까: 공정성 고려사항은 때때로 속도나 비용 같은 다른 우선순위와 충돌한다.

귀하의 평가가 실제 사용 환경을 공정하게 대표한다고 얼마나 확신하십니까?

귀하가 주로 함께 일하는 팀에는 몇 명이 있습니까?

• 1명
• 2~5명
• 6~10명
• 11~20명
• 21~50명
• 51명 이상
• 답변하지 않겠음

한두 문장으로, "공정한" 평가를 어떻게 정의하십니까?

귀하의 주된 산업 또는 분야는 무엇입니까?

• 소비자 소프트웨어
• 엔터프라이즈/B2B
• 금융/핀테크
• 헬스케어
• 교육
• 이커머스
• 게임
• 정부/공공 부문
• 연구/학계
• 기타
• 답변하지 않겠음