이번 벤치마크는 135개 인터랙티브 턴제 게임에서 목표 설명 없이 스스로 탐색·가설·계획을 해야 해요

ARC-AGI-3가 “사람처럼 풀면 200만 달러”를 걸었는데, 최상위 AI 모델 전부가 1%도 못 넘겼어요.

이번 벤치마크는 135개 인터랙티브 턴제 게임에서 목표 설명 없이 스스로 탐색·가설·계획을 해야 해요. 사람은 사전지식 없이 전부 해결했지만, Gemini 3.1 Pro 0.37%, GPT 5.4 0.26%, Opus 4.6 0.25%, Grok-4.20 0.00%였거든요.

평가는 정답 여부보다 RHAE 효율을 써요. 점수식이 (인간 행동수/AI 행동수)^2라서, 사람이 10번에 풀고 AI가 100번 쓰면 10%가 아니라 1%예요. 빠르게 풀어도 레벨 점수 상한은 1.0이고, 인간 기준도 10명 중 2등 기록을 써서 과한 운빨을 뺐어요.

결국 ARC-AGI-3는 “많이 시도해 맞추는 AI”보다, 적은 행동으로 목표를 추론하는 진짜 일반화 능력을 묻는 시험대가 된 거예요.