기존 HumanEval, MBPP 같은 코딩 벤치마크는 로직과 문법만 테스트하는데, 수학 교육용 시각화 코드엔 그게 부족하거든요

AI가 수학 애니메이션 코드를 얼마나 잘 짜는지 측정하는 벤치마크 'ManiBench'가 공개됐어요.

기존 HumanEval, MBPP 같은 코딩 벤치마크는 로직과 문법만 테스트하는데, 수학 교육용 시각화 코드엔 그게 부족하거든요. ManiBench는 AI가 Manim으로 코드를 생성할 때 발생하는 두 가지 실패 패턴에 집중해요. 존재하지 않거나 deprecated된 API를 호출하는 '구문 환각'과, 타이밍 오류나 인과관계 누락으로 수학적 의도와 다른 결과물이 나오는 '시각-논리 이탈'이에요.

벤치마크는 3Blue1Brown의 ManimGL 소스 코드 5만 3천 줄, 143개 씬 클래스 분석을 기반으로 설계됐고요. 미적분, 선형대수, 확률, 위상수학, AI 분야에 걸친 150~200개 문제를 5단계 난이도로 구성했어요. 실행 가능성, 버전 충돌 오류율, 정렬 점수, 커버리지 점수 등 4가지 지표로 평가해요.

텍스트 코드 생성을 넘어 "보이는 결과물이 의도한 수학적 의미를 담고 있는가"를 묻기 시작했다는 점에서, AI 코딩 평가의 기준이 점점 까다로워지고 있다는 걸 보여줘요.