이번 벤치마크는 MMLU·HumanEval·ARC-AGI-2처럼 “문제-정답”을 맞히는 방식이 아니라, 에이전트가 실시간 경험으로 얼마나 빨리 새 스킬을 익히는지 보거든요

ARC-AGI-3가 공개되면서, 정적 AI 벤치마크 시대가 사실상 끝났어요.

이번 벤치마크는 MMLU·HumanEval·ARC-AGI-2처럼 “문제-정답”을 맞히는 방식이 아니라, 에이전트가 실시간 경험으로 얼마나 빨리 새 스킬을 익히는지 보거든요. 장기 계획, 희소한 피드백, 환경 변화 시 신념 업데이트까지 평가해요.

설계도 꽤 강해요. 100% 인간이 풀 수 있는 환경만 쓰고, 사전 지식 의존을 막고, 매번 새로운 환경을 내서 암기형 우회를 차단해요. 기준점은 100%를 인간 수준 효율로 전 게임 클리어하는 거예요. 현재 최상위 모델들은 아직 거리가 멀다고 해요.

이제 경쟁 포인트는 “질문 잘 푸는 모델”이 아니라 “배우고 적응하는 에이전트”로 이동했어요.