RAG 시스템 품질 및 근거성 평가 (개발자 설문)

환영합니다! 검색 증강 생성(RAG) 시스템 사용 경험에 관한 본 설문에 참여해 주셔서 감사합니다. 본 설문은 약 15분이 소요됩니다. 귀하의 응답은 완전히 익명으로 처리되며, 집계된 형태로만 보고되고, 내부 연구 목적으로만 사용됩니다. 정답이나 오답은 없으며, 저희는 귀하의 솔직한 의견과 경험에 관심이 있습니다. 참여는 자발적이며 언제든지 중단하실 수 있습니다.

지난 6개월 동안 RAG 시스템을 구축하거나 유지 관리하신 적이 있습니까?

• 예
• 아니요
• 잘 모르겠습니다

귀하의 일상 업무를 가장 잘 설명하는 역할은 무엇입니까?

• ML 엔지니어
• 백엔드 엔지니어
• 데이터 사이언티스트
• MLOps/플랫폼
• 프로덕트 엔지니어
• 리서처
• 아키텍트/기술 리드
• 기타

현재 귀하의 검색기(retriever)에 공급되는 콘텐츠 소스는 무엇입니까? 해당하는 항목을 모두 선택해 주십시오.

• 독점 문서
• 코드 리포지토리
• 제품 지식 베이스
• 웹 크롤링
• 벤더 API 문서
• Slack/채팅 로그
• 지원 티켓
• 위키/Confluence
• 데이터베이스/웨어하우스
• 해당 없음
• 기타

지난 30일 동안 검색된 컨텍스트가 귀하의 작업 요구 사항을 얼마나 잘 충족했습니까?

top-k 및 관련 검색 파라미터를 어떻게 설정하거나 튜닝하십니까?

• 수동 실험
• 그리드/랜덤 서치
• 베이지안 최적화
• 벤더 자동 튜닝
• 학습된 검색 정책
• 튜닝하지 않음
• 기타

지난 30일 동안, 검색 결과에서 관련성이 없거나 주제에서 벗어난 지문을 얼마나 자주 접하셨습니까?

지난 30일 동안, 누락된 컨텍스트(핵심 정보가 검색되지 않음)를 얼마나 자주 접하셨습니까?

지난 30일 동안, 검색 결과에서 오래되었거나 최신이 아닌 콘텐츠를 얼마나 자주 접하셨습니까?

지난 30일 동안, 검색 결과에서 중복되거나 거의 중복되는 청크를 얼마나 자주 접하셨습니까?

귀하의 RAG 시스템에서 모델 답변은 어떻게 근거를 제시하거나 인용됩니까? 해당하는 항목을 모두 선택해 주십시오.

• URL이 포함된 인라인 인용
• 문서 ID가 포함된 인라인 인용
• 답변 뒤의 증거 블록
• 도구 출력을 원문 그대로 포함
• 구조화된 JSON 증거 목록
• 근거/인용 없음
• 기타

지난 30일 동안 귀하의 RAG 시스템 출력에서 인용된 증거의 정확성을 얼마나 신뢰하십니까?

선호하는 인용/근거 표시 방식 상위 3개를 순위대로 매겨 주십시오.

1. 문장별 인라인
2. 번호가 매겨진 미주
3. 접을 수 있는 증거 패널
4. 점수가 있는 상위 k개 출처
5. 전체 지문으로 연결
6. 요청 시에만 표시

지난 30일 동안, 근거를 제시했음에도 불구하고 RAG 출력에서 환각(hallucination)을 얼마나 자주 관찰하셨습니까?

최근 겪으신 근거성 실패 사례와 그것이 귀하의 업무에 미친 영향을 설명해 주십시오.

근거성 및 인용 품질에 대한 귀하의 경험을 더 자세히 이해하고자 합니다. AI 진행자가 몇 가지 후속 질문을 드리겠습니다.

RAG를 위해 어떤 평가 도구나 라이브러리를 사용하십니까? 해당하는 항목을 모두 선택해 주십시오.

• Ragas
• TruLens
• DeepEval
• Promptfoo
• 자체 제작 하네스
• LlamaIndex evals
• 없음
• 기타

현재 귀하의 RAG 품질을 가장 잘 반영하는 지표는 무엇입니까? 해당하는 항목을 모두 선택해 주십시오.

• Precision@k
• Recall@k
• MRR
• nDCG
• 답변 충실도
• 컨텍스트 정밀도/재현율
• 근거성 점수
• 사람 평가
• 프로덕션 사용 신호
• 자체 내부 지표

자체 지표를 사용하신다면, 그 지표와 계산 방식을 간략히 설명해 주십시오.

귀하의 평가 워크플로는 얼마나 자동화되어 있습니까?

• 없음 (수동만)
• 일부 스크립트
• CI 통합 검사
• 프로덕션에서 지속적 평가

RAG 벤치마크를 얼마나 자주 실행하십니까?

• 매 릴리스 전
• 매주
• 격주
• 매월
• 분기별
• 임시로만

RAG 개발에 주로 사용하는 프로그래밍 언어는 무엇입니까?

• Python
• JavaScript/TypeScript
• Java
• Go
• C
• Rust
• 기타

귀하의 주요 벡터 스토어 또는 검색기 백엔드는 무엇입니까?

• Pinecone
• Weaviate
• Milvus
• FAISS
• Elasticsearch/OpenSearch
• pgvector
• Chroma
• Vespa
• 해당 없음
• 기타

귀하가 주로 선택하는 임베딩 모델은 무엇입니까?

• OpenAI text-embedding-3
• OpenAI small embedding
• Cohere Embed
• VoyageAI
• Jina embeddings
• E5 계열
• Instructor
• BGE 계열
• 로컬 모델
• 기타

초기 검색 이후에 리랭커(reranker)를 사용하십니까?

• 예
• 아니요
• 실험 중

가장 자주 사용하는 리랭커는 무엇입니까?

• Cohere Rerank
• Voyage Rerank
• Jina Reranker
• 크로스 인코더 (예: MS MARCO)
• 자체 호스팅 리랭커
• 기타

쿼리당 종단 간(end-to-end) RAG 지연 시간 목표는 어느 정도입니까?

• < 200 ms
• 200–500 ms
• 500 ms–1 s
• 1–2 s
• 2–5 s
• > 5 s
• 특정 목표 없음

귀하의 RAG 시스템의 전반적인 성공에 검색 품질은 얼마나 중요합니까?

현재 귀하의 RAG 시스템에 전반적으로 얼마나 만족하십니까?

향후 3개월 동안 RAG 시스템을 개선하기 위한 우선순위 상위 3개를 순위대로 매겨 주십시오.

1. 검색 정밀도/재현율 개선
2. 근거/인용 개선
3. 지연 시간 단축
4. 쿼리당 비용 절감
5. 더 많은 데이터 소스로 확장
6. 평가 파이프라인 강화
7. 보안/규정 준수
8. 개발자 편의성

본 설문에서의 응답을 바탕으로, RAG 검색 또는 근거성 관련 어려움에 대한 추가적인 생각이나 경험을 공유해 주십시오.

소프트웨어, 데이터 또는 ML 분야에서 몇 년의 실무 경력을 보유하고 계십니까?

• 0–1
• 2–4
• 5–9
• 10–14
• 15+
• 답변하지 않음

주로 어느 지역에서 근무하십니까?

• 아프리카
• 아시아
• 유럽
• 북미
• 오세아니아
• 남미
• 답변하지 않음

귀하 조직의 대략적인 규모(직원 수)는 어느 정도입니까?

• 1–10
• 11–50
• 51–200
• 201–1,000
• 1,001–5,000
• 5,001+
• 답변하지 않음

귀하의 RAG 작업이 이루어지는 주요 산업 또는 도메인은 무엇입니까?

• 기술
• 금융
• 헬스케어/생명과학
• 소매/소비재
• 교육
• 정부/공공 부문
• 제조
• 미디어/엔터테인먼트
• 기타
• 답변하지 않음

본 설문에 참여해 주셔서 감사합니다! 귀하의 의견은 소중하며 RAG 시스템과 개발자 도구를 개선하는 데 도움이 됩니다. 모든 결과는 집계된 형태로만 보고됩니다.