사전 분석 계획 동료 검토 평가

환영합니다. 이 사전 분석 계획 동료 검토에 참여해 주셔서 감사합니다. 이 설문은 연구 계획의 명확성, 완결성, 사전 명세에 대한 귀하의 전문가 의견을 요청합니다. 정답이나 오답은 없으며, 귀하의 솔직한 전문적 판단을 소중히 여깁니다. 귀하의 응답은 기밀로 유지되며 연구팀에 집계된 형태로만 보고됩니다. 참여는 자발적이며, 언제든지 중단하실 수 있습니다. 이 설문은 완료하는 데 약 15~20분 정도 소요됩니다. 오늘 제공된 자료만을 바탕으로 응답해 주십시오.

이 평가를 위해 어떤 자료를 검토하셨습니까? 해당하는 것을 모두 선택하십시오.

• 연구 질문 개요서
• 전체 PAP/사전 등록 초안
• 가설 섹션
• 결과 변수 정의
• 분석 계획
• 검정력 분석
• 데이터 사전 / 변수 목록
• 포함/제외 규칙
• 모의 표/그림
• 기타

계획된 연구 설계를 가장 잘 설명하는 것은 무엇입니까?

• 무작위 대조 시험
• 준실험(예: DiD, IV, RD)
• 관찰적 횡단 연구
• 종단 / 패널 연구
• 실험실 / 온라인 실험
• 질적 또는 혼합 방법
• 기타

귀하의 표현으로, 연구 질문을 한두 문장으로 요약해 주십시오.

각 가설이 명확하게 라벨링되어 있고(예: H1, H2) 식별하기 쉽다.

각 가설이 예상되는 효과의 방향을 명시하고 있다.

주요 가설과 이차/탐색적 가설이 명확하게 구분되어 있다.

계획된 통계 검정이 명시된 가설과 얼마나 잘 부합합니까?

모호하거나, 이중 질문(double-barreled)이거나, 명세가 부족해 보이는 가설이 있다면 기재하고, 그 이유를 간단히 설명해 주십시오.

주요 결과 변수가 조작적으로 정의되어 있다(즉, 정확한 변수, 측정 방법, 측정 시점이 명시되어 있다).

측정 도구 또는 척도가 재현 가능할 만큼 충분히 상세하게 기술되어 있다.

이차 결과 변수와 지수/합성 변수 구성 규칙이 명확하게 명시되어 있다.

어떤 유형의 결과 변수가 계획되어 있습니까? 해당하는 것을 모두 선택하십시오.

• 행동 / 행정 데이터
• 설문 척도 또는 지수
• 생리적 / 바이오마커
• 파생된 합성 변수/지수
• 이진 사건
• 사건 발생까지의 시간(time-to-event)
• 기타

주요 추정량 또는 모형이 명확하게 명시되어 있다(예: OLS, 로지스틱 회귀, ANCOVA).

선택된 모형의 핵심 가정이 명시되고 정당화되어 있다.

강건성 검정 또는 민감도 분석이 사전에 명시되어 있다.

추정 대상(estimand)(예: ATE, ITT, CACE)이 명시적으로 정의되어 있습니까?

• 예, 명확하게 정의됨
• 부분적으로 정의됨
• 정의되지 않음
• 해당 없음

검정력 분석 또는 표본 크기 정당화가 포함되어 있습니까?

• 예, 계산 과정과 입력값이 포함됨
• 예, 하지만 세부 내용이 최소한임
• 아니요
• 해당 없음

계획된 검정을 고려할 때, 통계적 검정력 정당화가 얼마나 적절합니까?

해당하는 경우, 최소 탐지 가능 효과(MDE), 핵심 입력값, 또는 검정력 정당화에 대한 우려 사항을 기재해 주십시오.

이 연구의 해석 가능성에 대한 다음의 잠재적 위협을 가장 우려되는 것부터 덜 우려되는 것 순으로 순위를 매겨 주십시오.

1. 측정 오차 / 도구 타당성
2. 교란 / 선택 편향
3. 불응 / 탈락
4. 선택적 보고 / 연구자의 자의성(researcher degrees of freedom)
5. 모형 오설정
6. 다중성 / p-해킹

분석 선택에 영향을 미칠 수 있는 윤리적 고려 사항이 있습니까? 해당하는 것을 모두 선택하십시오.

• 특별히 없음
• 프라이버시 또는 데이터 보안 위험
• 참여자에 대한 잠재적 피해
• 형평성/공정성 편향 우려
• 데이터 거버넌스/동의 관련 제약
• 기타

데이터 수집 전에 재현성을 가장 크게 향상시킬 추가 사항은 무엇입니까? 최대 3개까지 선택하십시오.

• 모의 등록 항목(최종 문구)
• 코드 템플릿 또는 골격 분석 스크립트
• 데이터 스키마 / 변수 명명 계획
• 버전이 명시된 패키지/의존성 목록
• README가 포함된 정의된 파일/폴더 구조
• 자료 공유 위치에 대한 계획
• 기타

전반적으로, 현재 작성된 사전 분석 계획이 얼마나 명확합니까?

검토를 바탕으로, 이 계획이 데이터 수집으로 진행할 준비가 되어 있습니까?

• 예, 계획대로 진행 가능
• 대체로 준비됨; 사소한 수정 권장
• 보류; 실질적인 수정 필요
• 확실하지 않음

이 계획의 명확성, 사전 명세 또는 재현성을 개선하기 위한 가장 실행 가능한 제안은 무엇입니까?

귀하의 응답을 바탕으로, 핵심 권장 사항을 좀 더 심층적으로 살펴보고자 합니다. AI 진행자와 함께 생각을 공유해 주십시오.

오늘 자료를 검토하는 데 대략 얼마의 시간이 걸렸습니까?

• 15분 미만
• 15~30분
• 31~60분
• 1~2시간
• 2시간 이상

귀하의 주요 직무는 무엇입니까?

• 학계 연구자
• 대학원생
• 데이터 과학자 / 분석가
• 정책 연구자 / 평가자
• 실무자 / NGO
• 기타

사전 등록 또는 사전 분석 계획과 관련한 경험은 몇 년입니까?

• 1년 미만
• 1~3년
• 4~6년
• 7~10년
• 10년 이상

귀하의 주요 분야 또는 영역은 무엇입니까?

• 경제학
• 정치학
• 공중보건
• 교육학
• 심리학
• 사회학
• 컴퓨터 과학 / 데이터 과학
• 기타

이전에 사전 등록 또는 사전 분석 계획을 직접 작성하신 적이 있습니까?

• 예
• 아니요

이 연구의 주제 영역에 대해 얼마나 잘 알고 계십니까?

• 초급
• 중급
• 고급
• 전문가

사려 깊은 검토에 감사드립니다. 귀하의 의견은 데이터 수집을 시작하기 전에 이 계획의 명확성과 사전 명세를 개선하는 데 사용됩니다.