AI가 만든 답변, 진짜 맞는 건지 어떻게 확인하세요

AI가 만든 답변, 진짜 맞는 건지 어떻게 확인하세요?

TruLens라는 오픈소스 도구가 있어요. LLM 앱이 답변을 만드는 과정을 통째로 추적하고, 3가지 기준으로 점수를 매겨주거든요.

1. 근거성 - 답변이 원본 자료에 기반했는지
2. 답변 관련성 - 질문에 제대로 답했는지
3. 문맥 관련성 - 검색한 정보가 적절한지

특히 RAG 시스템(검색 기반 AI)에 붙이면 "어디서 가져온 정보로 답변했는지"까지 추적할 수 있어요. 블랙박스였던 AI를 투명하게 만들어주는 거예요.

같은 질문을 다른 프롬프트 전략으로 돌려보고, 리더보드에서 어떤 버전이 더 좋은지 비교도 가능하고요.

AI 앱 만드는 분들, 감으로 품질 판단하지 말고 이런 도구 써보시는 건 어때요?