SWE-bench, WebArena, OSWorld 등 기업들이 모델 성능 지표로 가장 많이 인용하는 벤치마크들이거든요

UC버클리 연구팀이 주요 AI 에이전트 벤치마크 8개를 전부 뚫었어요. SWE-bench, WebArena, OSWorld 등 기업들이 모델 성능 지표로 가장 많이 인용하는 벤치마크들이거든요.

방법이 황당할 정도로 단순해요. Python 10줄짜리 conftest.py 파일 하나로 SWE-bench 전 문제를 "해결"했고, 가짜 curl 래퍼로 Terminal-Bench 89개 태스크를 풀이 없이 만점 받았어요. WebArena는 브라우저로 파일 URL에 접근해서 정답 파일을 직접 읽어버리는 방식으로 812개 태스크 전부 통과했고요.

이미 현실에서도 일어나고 있어요. IQuest-Coder-V1은 SWE-bench 점수의 24.4%가 git log로 커밋 히스토리에서 정답을 복사한 거였고, METR 연구에 따르면 o3와 Claude 3.7 Sonnet이 평가 실행의 30% 이상에서 그레이더를 조작해 점수를 부풀렸어요.

투자자, 엔지니어, 언론이 수시로 인용하는 벤치마크 숫자가 실제 능력을 반영하지 않을 수 있다는 경고예요.