AI 진행 연구의 재현성: 연구자 평가

AI 진행 연구의 재현성에 관한 이 연구에 오신 것을 환영합니다. 이 설문은 연구자들이 AI 진행 연구를 어떻게 문서화하고, 복제하고, 평가하는지 이해하기 위한 연구 활동의 일부입니다. 귀하의 참여는 완전히 자발적이며 언제든지 중단하실 수 있습니다. 정답이나 오답은 없으며, 저희는 귀하의 솔직한 전문가적 의견과 경험에 관심이 있습니다. 귀하의 응답은 비밀로 유지되고 집계된 형태로 분석되며 학술 및 방법론 연구 목적으로만 사용됩니다. 예상 완료 시간: 12~15분.

AI 진행(예: AI 주도 인터뷰 심층 질문, AI 진행 질적 토론, 또는 AI 지원 설문 로직)을 사용하는 연구를 직접 설계하거나, 수행하거나, 평가해 보신 적이 있습니까?

• 예, AI 진행 연구에 대한 직접적인 경험이 있습니다
• 아니오, 하지만 AI 진행 연구 방법에 대해 잘 알고 있습니다
• 아니오, AI 진행 연구에 대해 잘 알지 못합니다

지난 24개월 동안 대략 몇 건의 AI 진행 연구 프로젝트에 참여하셨습니까?

• 1~2건
• 3~5건
• 6~10건
• 10건 초과

어떤 AI 진행 연구 플랫폼이나 도구를 사용해 보셨습니까? (해당하는 것을 모두 선택하십시오)

• QuestionPunk
• Remesh
• Discuss.io (AI 기능)
• Forsta / Confirmit (AI 기능)
• Qualtrics (AI 지원 로직)
• 자체 제작 AI 진행 도구
• 기타 (구체적으로 적어 주십시오)

<p>이 연구의 목적상, <strong>'AI 진행 연구'</strong>는 AI 시스템이 참여자 상호작용을 실시간으로 능동적으로 수행하거나 조정하는 모든 연구 방법론을 가리킵니다. 여기에는 다음이 포함됩니다:</p><p>AI 주도 질적 인터뷰 (AI가 후속 심층 질문을 하는 경우)</p><p>AI 진행 포커스 그룹 또는 토론</p><p>이전 응답을 바탕으로 질문을 조정하는 AI 지원 설문 로직</p><p>여기에는 다음이 <strong>포함되지 않습니다</strong>:</p><p>수집 후 자료 분석에만 AI를 사용하는 경우</p><p>실시간 진행 없이 설문 질문을 작성하는 데 AI를 사용하는 경우</p><p>완전히 스크립트화된 흐름의 단순 챗봇 기반 자료 수집</p>

AI 진행 연구를 수행하거나 기여했을 때, 사용된 AI 시스템 프롬프트와 지시 사항을 일반적으로 얼마나 철저히 문서화하셨습니까?

AI 모델 버전과 구성 매개변수(예: temperature, 모델명, 토큰 한도)를 일반적으로 얼마나 철저히 문서화하셨습니까?

AI 진행을 지배하는 로직 흐름과 분기 규칙을 일반적으로 얼마나 철저히 문서화하셨습니까?

표집 기준과 참여자 모집 절차를 일반적으로 얼마나 철저히 문서화하셨습니까?

AI 진행 연구 프로토콜을 문서화할 때 직면하는 주요 장애 요인은 무엇입니까? (해당하는 것을 모두 선택하십시오)

• 플랫폼이 구성 세부 정보를 공개하지 않음
• AI 모델 버전이 통지 없이 변경됨
• 확립된 문서화 표준이 존재하지 않음
• 프로젝트 실행 중의 시간 제약
• 플랫폼 공급업체의 독점적 제한
• AI 문서화에 대한 기관의 요구 사항 부재
• 어떤 요소를 문서화해야 하는지에 대한 불확실성
• 기타 (구체적으로 적어 주십시오)

다음 섹션에서는 AI 진행 연구의 투명성과 재현성을 뒷받침하기 위해 공개될 수 있는 요소들을 제시합니다. 각 요소에 대해, 귀하가 가장 최근에 사용한 AI 연구 플랫폼이 연구자인 귀하에게 이 정보를 접근 가능하게 제공하는지 표시해 주십시오.

가장 최근에 사용하신 AI 연구 플랫폼에서, 구체적인 AI 모델명과 버전(예: GPT-4o, Claude 3.5)에 접근하실 수 있습니까?

• 예, 완전히 접근 가능함
• 부분적으로 접근 가능함 (일부 세부 정보 이용 가능)
• 접근 불가능함
• 모르겠음 / 확인해 본 적 없음

AI에게 주어진 시스템 프롬프트와 지시 사항에 접근하실 수 있습니까?

• 예, 완전히 접근 가능함
• 부분적으로 접근 가능함 (일부 세부 정보 이용 가능)
• 접근 불가능함
• 모르겠음 / 확인해 본 적 없음

AI 구성 매개변수(예: temperature, max tokens, top-p)에 접근하실 수 있습니까?

• 예, 완전히 접근 가능함
• 부분적으로 접근 가능함 (일부 세부 정보 이용 가능)
• 접근 불가능함
• 모르겠음 / 확인해 본 적 없음

AI 진행의 로직 흐름과 분기 구조에 접근하실 수 있습니까?

• 예, 완전히 접근 가능함
• 부분적으로 접근 가능함 (일부 세부 정보 이용 가능)
• 접근 불가능함
• 모르겠음 / 확인해 본 적 없음

AI와 참여자 간 상호작용의 완전한 원본 대화록에 접근하실 수 있습니까?

• 예, 완전히 접근 가능함
• 부분적으로 접근 가능함 (일부 세부 정보 이용 가능)
• 접근 불가능함
• 모르겠음 / 확인해 본 적 없음

AI 진행 연구의 재현성을 가능하게 하는 데 다음 각 항목이 얼마나 중요합니까? — AI 모델명과 버전의 공개

— 시스템 프롬프트와 지시 사항의 공개

— AI 구성 매개변수의 공개

— 로직 흐름과 분기 규칙의 공개

— 완전한 원본 상호작용 대화록에 대한 접근

전통적인 (사람이 진행하는) 질적 연구와 비교할 때, AI 진행 연구의 전반적인 자료 품질을 어떻게 평가하시겠습니까?

전통적인 사람 진행 연구와 비교할 때, AI 진행 연구를 다음 항목에서 어떻게 평가하시겠습니까: 참여자 응답의 깊이

전통적인 사람 진행 연구와 비교할 때, AI 진행 연구를 다음 항목에서 어떻게 평가하시겠습니까: 참여자 전반에 걸친 진행의 일관성

전통적인 사람 진행 연구와 비교할 때, AI 진행 연구를 다음 항목에서 어떻게 평가하시겠습니까: 참여자의 편안함과 솔직함

전통적인 사람 진행 연구와 비교할 때, AI 진행 연구를 다음 항목에서 어떻게 평가하시겠습니까: 예상치 못한 통찰을 포착하는 능력

전통적인 사람 진행 연구와 비교할 때, AI 진행 연구를 다음 항목에서 어떻게 평가하시겠습니까: 연구 간 결과의 재현성

AI 진행 연구(귀하 자신의 것이든 다른 연구자의 것이든)를 복제하려고 시도하신 적이 있습니까?

• 예, 제 자신의 AI 진행 연구를 복제한 적이 있습니다
• 예, 다른 연구자의 AI 진행 연구를 복제한 적이 있습니다
• 예, 제 자신의 연구와 다른 사람의 연구 모두를 복제했습니다
• 아니오, 복제를 시도한 적이 없습니다

귀하가 수행한 AI 진행 연구를 다른 연구자가 동일한 플랫폼과 구성을 사용하여 성공적으로 복제할 수 있다는 것에 대해 얼마나 자신 있으십니까?

AI 진행 연구의 재현성에 대한 다음 과제들을 가장 중대한 것(1)부터 가장 덜 중대한 것까지 순위를 매겨 주십시오.

1. AI 모델 업데이트가 시간이 지나면서 동작을 변화시킴
2. 플랫폼별 '블랙박스' 구성
3. 비결정론적 AI 출력 (응답의 무작위성)
4. 표준화된 문서화 프로토콜의 부재
5. 시스템 프롬프트와 매개변수에 대한 불충분한 접근
6. 표본 간 참여자 행동의 편차

다음 문장에 어느 정도 동의하거나 동의하지 않으십니까: 프롬프트, 모델, 로직 흐름을 공개적으로 공유하는 AI 연구 플랫폼은 이러한 요소를 공개하지 않는 플랫폼보다 더 재현 가능한 연구를 만들어낸다.

AI 진행 연구에서 재현성 문제에 부딪혔던 구체적인 경험을 기술해 주십시오. 무슨 일이 있었으며, 그것을 어떻게 해결하려고 시도하셨습니까?

귀하의 경험을 바탕으로, AI 진행 연구 플랫폼이나 관행에 어떤 단 하나의 변화가 이러한 플랫폼에서 수행되는 연구의 재현성을 가장 크게 향상시키겠습니까?

이 설문 전반에 걸친 답변을 바탕으로, AI 진행 연구의 재현성에 관한 추가적인 생각이나 관찰한 점을 공유해 주십시오.

다음 중 귀하의 주요 직업적 역할을 가장 잘 설명하는 것은 무엇입니까?

• 학계 연구자
• 시장 조사 전문가
• UX / 디자인 연구자
• 데이터 과학자 / AI 전문가
• 리서치 운영 / 인사이트 관리자
• 컨설턴트 / 독립 연구자
• 학생 (대학원 또는 박사과정)
• 기타 (구체적으로 적어 주십시오)

연구(방법론 무관)를 수행한 경력이 몇 년이나 되십니까?

• 2년 미만
• 2~5년
• 6~10년
• 11~20년
• 20년 초과

귀하는 주로 어느 분야에서 연구를 수행하십니까?

• 학계 / 고등교육
• 기술 / 소프트웨어
• 의료 / 제약
• 금융 서비스
• 소비재
• 미디어 / 엔터테인먼트
• 정부 / 공공 부문
• 비영리 / NGO
• 컨설팅 / 에이전시
• 기타 (구체적으로 적어 주십시오)