데이터 라벨링 QA, 편향성 및 지침 명확성 감사

환영합니다! 이 설문은 약 11분이 소요되며, 지난 30일간의 데이터 라벨링 업무에 대해 질문합니다. 참여는 전적으로 자발적이며 언제든지 중단하실 수 있습니다. 정답이나 오답은 없으며, 저희는 여러분의 솔직한 경험에 관심이 있습니다. 모든 응답은 기밀로 유지되며 라벨링 운영 개선을 위해 집계된 형태로만 보고됩니다. 계속 진행하시면 참여에 동의하시는 것입니다.

지난 30일 동안 다음 중 어떤 작업을 수행하셨습니까? 해당하는 항목을 모두 선택해 주십시오.

• 라벨링 / 주석 작업
• 리뷰 / QA
• 라벨링과 리뷰 모두
• 기타 (직접 입력해 주십시오)

이 라벨링 프로그램에서 얼마나 오래 일하셨습니까?

• 1개월 미만
• 1–3개월
• 4–6개월
• 7–12개월
• 1–2년
• 2년 초과

전반적으로, 지난 30일 동안 받으신 작업 지침은 얼마나 명확했습니까?

지난 30일 동안 프로젝트 진행 중에 작업 지침이 얼마나 자주 변경되었습니까?

지난 30일 동안 불명확하거나 상충되는 지침을 접하신 적이 있다면, 한 가지 예를 간단히 설명해 주십시오. 없으시면 이 질문을 건너뛰셔도 됩니다.

현재 라벨링 지침에는 다음 편향 주제 중 어떤 것이 포함되어 있습니까? 해당하는 항목을 모두 선택해 주십시오.

• 인구통계학적 편향 (예: 성별, 인종, 연령)
• 도메인 또는 전문 용어 편향
• 지리적 / 방언 변이
• 라벨 누출 또는 대리 신호
• 유해한 고정관념 및 유해성
• 맥락 / 번역 편향
• 위에 해당 없음
• 기타 (직접 입력해 주십시오)

지난 30일 동안 편향된 것으로 보이는 입력값이나 라벨을 얼마나 자주 접하셨습니까?

편향이 의심될 때, 해당 문제를 에스컬레이션하는 프로세스는 얼마나 명확합니까?

최근 편향 가능성이 있는 입력값이나 라벨을 접하신 적이 있다면, 그 예와 이를 어떻게 처리하셨는지 간단히 설명해 주십시오. 없으시면 이 질문을 건너뛰셔도 됩니다.

라벨링된 작업을 리뷰할 때 사용되는 수락 기준은 얼마나 명확합니까?

현재 프로그램에서 가장 자주 사용되는 리뷰 방식은 무엇입니까?

• 판정을 포함한 블라인드 이중 리뷰
• 스팟 체크 (고정 비율)
• 휴리스틱 기반 리뷰 (규칙 기반)
• 팀 내 동료 리뷰
• 제출 전 자체 리뷰
• 잘 모르겠음
• 기타 (직접 입력해 주십시오)

지난 30일 동안 받으신 리뷰 피드백은 라벨링 정확도 향상에 얼마나 유용했습니까?

지난 30일 동안 받으신 리뷰 피드백은 얼마나 시의적절했습니까?

지난 30일 동안 라벨링한 항목 중 재작업을 위해 반환된 비율은 대략 몇 퍼센트입니까?

• 0%
• 1–5%
• 6–10%
• 11–20%
• 21–30%
• 31–50%
• 50% 초과
• 잘 모르겠음

아래 목록에서, 지난 30일 동안 관찰하신 재작업의 주요 원인을 가장 흔한 것부터 가장 드문 것 순으로 순위를 매겨 주십시오.

1. 불명확하거나 변경되는 지침
2. 리뷰어-라벨러 간 불일치
3. 다루어지지 않은 예외 사례
4. 도구 또는 플랫폼 문제
5. 시간 압박 또는 할당량
6. 불충분한 교육 또는 맥락

이 프로그램에서 일반적인 근무 주간에 가장 많은 비중을 차지하는 활동은 다음 중 무엇입니까?

• 라벨링 / 주석 작업
• 리뷰 / QA
• 지침 읽기 / 업데이트
• 회의 / 싱크
• 교육 / 온보딩
• 에스컬레이션 또는 질문
• 기타 (직접 입력해 주십시오)

지난 30일 동안 다음 도구 관련 문제 중 어떤 것이 품질이나 속도를 가장 많이 저하시켰습니까? 해당하는 항목을 모두 선택해 주십시오.

• 느린 로딩 또는 지연
• 제한된 단축키 또는 템플릿
• 불량한 diff / 비교 뷰
• 불명확한 오류 메시지
• 편향 또는 예외 사례를 플래그하기 어려움
• 제한된 감사 추적 / 메타데이터
• 위에 해당 없음
• 기타 (직접 입력해 주십시오)

라벨링 업무의 명확성, 공정성 또는 품질 보증을 개선하기 위해 한 가지를 바꿀 수 있다면 무엇을 바꾸시겠습니까?

응답하신 내용을 바탕으로, 몇 가지 경험을 좀 더 깊이 살펴보고자 합니다. AI 모더레이터가 귀하의 라벨링 운영에 관해 1~2개의 후속 질문을 드릴 것입니다.

주로 근무하시는 지역은 어디입니까?

• 북미
• 라틴 아메리카
• 유럽
• 중동
• 아프리카
• 남아시아
• 동아시아
• 동남아시아
• 오세아니아
• 답변하지 않음

주로 사용하시는 언어는 무엇입니까?

• 영어
• 스페인어
• 포르투갈어
• 프랑스어
• 독일어
• 중국어
• 일본어
• 한국어
• 힌디어
• 아랍어
• 기타 (직접 입력해 주십시오)
• 답변하지 않음

데이터 라벨링 또는 주석 작업 경험은 총 얼마나 되십니까?

• 6개월 미만
• 6–12개월
• 1–2년
• 3–5년
• 6년 이상

이 프로그램에서의 고용 형태는 무엇입니까?

• 정규직
• 시간제
• 계약직 / 프리랜서
• 답변하지 않음

설문을 완료해 주셔서 감사합니다. 여러분의 피드백은 지침 명확성, 편향 완화 및 품질 보증 프로세스 개선에 직접 반영됩니다.