뉴스 - 원문 기반 요약 필요

제목(한글): 정답 맞춰도 출처 틀리는 AI 한계 원문 제목(영문): AI models often give the right answers but point to the wrong sources 원문: AI models often give the right answers but point to the wrong sources 소스: the-decoder MD 파일: content/2026-05-26/the-decoder-ai-models-often-give-the-right-answers-but-point-t.md

핵심 내용

AI가 PDF 질문에 정답을 맞혀도, 근거를 엉뚱한 곳에 달 수 있다는 결과가 나왔어요.

베이징대와 상하이 AI 연구진이 만든 CiteVQA는 답변 정확도뿐 아니라 인용 위치까지 함께 채점해요. 문단·표·그림의 정확한 지점을 맞혀야 하고, 페이지 번호만 제시하면 인정되지 않거든요.

데이터셋은 711개 PDF, 1,897개 질문, 7개 분야로 구성됐고 문서 평균 길이는 40.6페이지예요. 20개 최신 모델을 평가했으며, 정답+정확 인용을 동시에 만족할 때만 Strict Attributed Accuracy 점수를 받아요.

핵심은 이제 AI 성능을 정답률만으로 볼 수 없다는 점이에요. 법률·감사·의료처럼 추적 가능성이 중요한 영역에선 특히 더 그렇거든요.

잡돌쌤의 한마디

정답이어도 인용이 틀리면 점수 0점이에요. 법률·의료·감사처럼 근거 추적이 필수인 분야에선 신뢰성의 핵심이거든요.

---

출처: AI models often give the right answers but point to the wrong sources