베이징대와 상하이 AI 연구소가 만든 CiteVQA는 답과 인용 위치를 함께 평가해요

AI가 PDF 질문에 정답을 말해도, 근거 출처는 엉뚱할 수 있다는 결과가 나왔어요.

베이징대와 상하이 AI 연구소가 만든 CiteVQA는 답과 인용 위치를 함께 평가해요. 문단·표·그림까지 정확히 짚어야 하고, 페이지 번호만 맞추면 0점이거든요. 핵심 지표는 Strict Attributed Accuracy(SAA)예요.

데이터셋은 711개 PDF, 1,897개 질문(영어 451·중국어 260)으로 구성됐고 문서 길이는 평균 40.6페이지예요. 20개 최신 모델을 테스트했는데, 정답률과 출처 정확도 사이 격차가 확인됐어요.

법률·감사·의료처럼 추적 가능성이 중요한 영역에선 이제 정답률만으로는 AI 신뢰를 판단하기 어렵다는 신호예요.