코사인 유사도 0.86짜리 문서들이 검색됐어요

RAG 시스템이 올바른 문서를 가져왔는데도 틀린 답을 내놓는 이유가 밝혀졌어요.

코사인 유사도 0.86짜리 문서들이 검색됐어요. 리트리벌 지표는 완벽했거든요. 그런데 결과는 틀렸어요. 초기 실적 수치와 나중에 수정된 감사 수치, 두 문서가 동시에 컨텍스트 창에 들어왔고, 모델은 80% 확신으로 하나를 골랐어요. 물론 아무 말도 없이요.

이 실패는 할루시네이션 감지기에도 안 걸리고, 검색 지표에도 안 잡혀요. 문서 검색과 답변 생성 사이, 컨텍스트 조립 단계에 숨어 있거든요. 대부분의 RAG 파이프라인 평가가 이 단계를 그냥 건너뛰어요.

올바른 문서를 가져오는 것과 올바른 답을 내놓는 것은 다른 문제예요.