연구진 18명은 자동채점·저비용·단기 과제 중심 벤치마크가 실제 배포 성능을 과대평가하거나 과소평가할 수 있다고 봤고, 대신 장기·현실 과제를 소표본 정성분석으로 보는 오픈월드 평가를 제안했어요

새 arXiv 논문이 기존 벤치마크만으로는 프런티어 AI 역량을 제대로 못 본다고 지적했어요.

연구진 18명은 자동채점·저비용·단기 과제 중심 벤치마크가 실제 배포 성능을 과대평가하거나 과소평가할 수 있다고 봤고, 대신 장기·현실 과제를 소표본 정성분석으로 보는 오픈월드 평가를 제안했어요.

첫 사례로 AI 에이전트에게 iOS 앱을 개발해 Apple App Store에 출시시키는 과제를 줬는데, 피할 수 있었던 수동 개입 1회만으로 완료됐어요. 논문은 이를 CRUX라는 정기 평가 프로젝트로 확장하자고 제시했어요.

핵심은 점수 높은 모델보다 실제 업무를 끝내는 모델을 더 일찍 포착해야 한다는 메시지예요.