검색 단계가 잘못된 문서를 넘겨준 거거든요

RAG가 틀린 답을 내놓을 때, 대부분 LLM 문제가 아니에요. 검색 단계가 잘못된 문서를 넘겨준 거거든요.

실제 사례가 있어요. 지원봇이 실존하는 내부 문서를 인용하면서 청구서 질문에 틀린 답을 했어요. 문서는 진짜, 답은 오답. 문제는 그 문서의 '다른 섹션'이 검색됐고, 정작 정답이 담긴 섹션은 아예 불러오지 않았던 거예요.

모델은 받은 컨텍스트를 충실히 요약했을 뿐이에요. 거짓말한 건 검색이고, 모델은 그 거짓말을 성실하게 반복한 거예요. 프롬프트 수정이 아니라 청크 분할·임베딩 모델·검색 로그 점검이 먼저예요.