MMLU, HumanEval, GSM8K 등 주요 벤치마크는 추론·코딩·수학 능력을 측정하지만, 특정 사실 주장이 실제로 근거가 있는지는 거의 검사하지 않거든요

AI 벤치마크 1~2점 차이가 신뢰도를 의미하지 않는다는 분석이 나왔어요. MMLU, HumanEval, GSM8K 등 주요 벤치마크는 추론·코딩·수학 능력을 측정하지만, 특정 사실 주장이 실제로 근거가 있는지는 거의 검사하지 않거든요.

실제로 MMLU 95점짜리 모델이 대화 중간에 그럴듯한 저자명과 저널명을 붙여 없는 논문을 인용하는 경우가 있어요. 벤치마크가 그 실패 유형을 애초에 잡도록 설계되지 않았으니까요.

상위 모델들은 이미 대부분의 벤치마크 천장 근처에 몰려 있어서 1~2점 격차는 실사용에서 거의 느껴지지 않아요. 점수 경쟁보다 '이 모델이 실제 팩트를 얼마나 신뢰할 수 있게 다루는가'를 측정하는 새로운 기준이 필요한 시점이에요.