기존 테스트는 최신 AI 모델들이 90% 이상 맞히는 수준이라 변별력이 없었거든요

AI의 진짜 수학 실력을 재는 벤치마크 FrontierMath가 공개됐어요. 기존 테스트는 최신 AI 모델들이 90% 이상 맞히는 수준이라 변별력이 없었거든요.

FrontierMath는 현직 수학자들이 만든 문제들로 구성돼 있어요. 단순 계산이나 패턴 암기가 아니라, 추론의 여러 단계를 거쳐야 하는 연구 수준의 문제들이에요. 현재 최고 성능 AI 모델도 정답률이 2% 미만이라는 게 포인트예요.

수학은 AI 능력을 객관적으로 측정하기 좋은 분야예요. 풀이 과정을 속일 수 없고, 정답이 명확하니까요. FrontierMath는 앞으로 AI 추론 능력 발전의 기준선이 될 것 같아요.