이 벤치마크는 LLM이 상호작용 기록에서 관심사를 얼마나 근거 있게 뽑는지 평가해요

추천 정확도보다 “유저를 제대로 이해했는지”를 묻는 GISTBench가 나왔어요.

이 벤치마크는 LLM이 상호작용 기록에서 관심사를 얼마나 근거 있게 뽑는지 평가해요. 핵심 지표도 새로 제안했는데, Interest Groundedness(정밀도·재현율 분해)와 Interest Specificity로 환각 관심사와 커버리지를 따로 본 거예요.

데이터셋은 글로벌 숏폼 비디오 플랫폼의 실제 상호작용을 바탕으로 만든 합성 데이터고, 암묵·명시 신호와 텍스트 설명을 함께 담았어요. 또 유저 설문으로 데이터 충실도를 검증했고, 7B~120B 오픈웨이트 LLM 8종을 비교했어요.

결과적으로 지금 LLM은 서로 다른 상호작용 타입에서 참여 신호를 정확히 세고 귀속하는 능력이 병목이란 점이 드러났어요. 앞으로 추천 AI 평가는 “맞췄냐”보다 “왜 그렇게 이해했냐”가 기준이 될 가능성이 커요.