데이터 라벨링 QA, 편향성 및 지침 명확성 감사

환영합니다! 이 설문은 약 11분이 소요되며, 지난 30일간의 데이터 라벨링 업무에 대해 질문합니다. 참여는 전적으로 자발적이며 언제든지 중단하실 수 있습니다. 정답이나 오답은 없으며, 저희는 여러분의 솔직한 경험에 관심이 있습니다. 모든 응답은 기밀로 유지되며 라벨링 운영 개선을 위해 집계된 형태로만 보고됩니다. 계속 진행하시면 참여에 동의하시는 것입니다.

지난 30일 동안 다음 중 어떤 작업을 수행하셨습니까? 해당하는 항목을 모두 선택해 주십시오.

• 라벨링 / 주석 작업
• 리뷰 / QA
• 라벨링과 리뷰 모두
• 기타 (직접 입력해 주십시오)

전반적으로, 지난 30일 동안 받으신 작업 지침은 얼마나 명확했습니까?

현재 라벨링 지침에는 다음 편향 주제 중 어떤 것이 포함되어 있습니까? 해당하는 항목을 모두 선택해 주십시오.

• 인구통계학적 편향 (예: 성별, 인종, 연령)
• 도메인 또는 전문 용어 편향
• 지리적 / 방언 변이
• 라벨 누출 또는 대리 신호
• 유해한 고정관념 및 유해성
• 맥락 / 번역 편향
• 위에 해당 없음
• 기타 (직접 입력해 주십시오)

라벨링된 작업을 리뷰할 때 사용되는 수락 기준은 얼마나 명확합니까?

지난 30일 동안 라벨링한 항목 중 재작업을 위해 반환된 비율은 대략 몇 퍼센트입니까?

• 0%
• 1–5%
• 6–10%
• 11–20%
• 21–30%
• 31–50%
• 50% 초과
• 잘 모르겠음

라벨링 업무의 명확성, 공정성 또는 품질 보증을 개선하기 위해 한 가지를 바꿀 수 있다면 무엇을 바꾸시겠습니까?

주로 근무하시는 지역은 어디입니까?

• 북미
• 라틴 아메리카
• 유럽
• 중동
• 아프리카
• 남아시아
• 동아시아
• 동남아시아
• 오세아니아
• 답변하지 않음

설문을 완료해 주셔서 감사합니다. 여러분의 피드백은 지침 명확성, 편향 완화 및 품질 보증 프로세스 개선에 직접 반영됩니다.

이 라벨링 프로그램에서 얼마나 오래 일하셨습니까?

• 1개월 미만
• 1–3개월
• 4–6개월
• 7–12개월
• 1–2년
• 2년 초과

지난 30일 동안 프로젝트 진행 중에 작업 지침이 얼마나 자주 변경되었습니까?

지난 30일 동안 편향된 것으로 보이는 입력값이나 라벨을 얼마나 자주 접하셨습니까?

현재 프로그램에서 가장 자주 사용되는 리뷰 방식은 무엇입니까?

• 판정을 포함한 블라인드 이중 리뷰
• 스팟 체크 (고정 비율)
• 휴리스틱 기반 리뷰 (규칙 기반)
• 팀 내 동료 리뷰
• 제출 전 자체 리뷰
• 잘 모르겠음
• 기타 (직접 입력해 주십시오)

아래 목록에서, 지난 30일 동안 관찰하신 재작업의 주요 원인을 가장 흔한 것부터 가장 드문 것 순으로 순위를 매겨 주십시오.

1. 불명확하거나 변경되는 지침
2. 리뷰어-라벨러 간 불일치
3. 다루어지지 않은 예외 사례
4. 도구 또는 플랫폼 문제
5. 시간 압박 또는 할당량
6. 불충분한 교육 또는 맥락

응답하신 내용을 바탕으로, 몇 가지 경험을 좀 더 깊이 살펴보고자 합니다. AI 모더레이터가 귀하의 라벨링 운영에 관해 1~2개의 후속 질문을 드릴 것입니다.

주로 사용하시는 언어는 무엇입니까?

• 영어
• 스페인어
• 포르투갈어
• 프랑스어
• 독일어
• 중국어
• 일본어
• 한국어
• 힌디어
• 아랍어
• 기타 (직접 입력해 주십시오)
• 답변하지 않음

지난 30일 동안 불명확하거나 상충되는 지침을 접하신 적이 있다면, 한 가지 예를 간단히 설명해 주십시오. 없으시면 이 질문을 건너뛰셔도 됩니다.

편향이 의심될 때, 해당 문제를 에스컬레이션하는 프로세스는 얼마나 명확합니까?

지난 30일 동안 받으신 리뷰 피드백은 라벨링 정확도 향상에 얼마나 유용했습니까?

이 프로그램에서 일반적인 근무 주간에 가장 많은 비중을 차지하는 활동은 다음 중 무엇입니까?

• 라벨링 / 주석 작업
• 리뷰 / QA
• 지침 읽기 / 업데이트
• 회의 / 싱크
• 교육 / 온보딩
• 에스컬레이션 또는 질문
• 기타 (직접 입력해 주십시오)

데이터 라벨링 또는 주석 작업 경험은 총 얼마나 되십니까?

• 6개월 미만
• 6–12개월
• 1–2년
• 3–5년
• 6년 이상

최근 편향 가능성이 있는 입력값이나 라벨을 접하신 적이 있다면, 그 예와 이를 어떻게 처리하셨는지 간단히 설명해 주십시오. 없으시면 이 질문을 건너뛰셔도 됩니다.

지난 30일 동안 받으신 리뷰 피드백은 얼마나 시의적절했습니까?

지난 30일 동안 다음 도구 관련 문제 중 어떤 것이 품질이나 속도를 가장 많이 저하시켰습니까? 해당하는 항목을 모두 선택해 주십시오.

• 느린 로딩 또는 지연
• 제한된 단축키 또는 템플릿
• 불량한 diff / 비교 뷰
• 불명확한 오류 메시지
• 편향 또는 예외 사례를 플래그하기 어려움
• 제한된 감사 추적 / 메타데이터
• 위에 해당 없음
• 기타 (직접 입력해 주십시오)

이 프로그램에서의 고용 형태는 무엇입니까?

• 정규직
• 시간제
• 계약직 / 프리랜서
• 답변하지 않음