UAE 기술혁신연구소(TII)가 공개한 QIMMA(아랍어로 '정상')는 기존 아랍어 LLM 리더보드와 접근법이 달라요

아랍어 AI 평가 기준 자체가 잘못됐다는 걸 발견한 연구가 나왔어요.

UAE 기술혁신연구소(TII)가 공개한 QIMMA(아랍어로 '정상')는 기존 아랍어 LLM 리더보드와 접근법이 달라요. 모델을 먼저 평가하는 게 아니라, 벤치마크 자체를 먼저 검증하거든요. 아랍어 사용 인구는 4억 명이 넘는데, 그동안 쓰던 평가 데이터셋에 체계적인 품질 문제가 있었다는 거예요.

기존 리더보드들은 잘 알려진 아랍어 벤치마크를 그대로 가져다 모델 점수를 매겼어요. QIMMA는 이 과정 전에 품질 검증 파이프라인을 먼저 돌렸고, 그 결과 널리 쓰이던 벤치마크에서도 문제가 발견됐어요. 오염된 데이터로 측정한 점수는 실제 아랍어 능력을 반영하지 못한다는 결론이에요.

"무엇을 측정하는지"보다 "제대로 측정하고 있는지"를 먼저 묻는 방식, 아랍어뿐 아니라 다른 언어 벤치마크에도 시사하는 바가 있어요.