아티피셜 애널리시스(AA)가 기존 SWE-벤치 프로를 버리고 '딥SWE'라는 새 벤치마크를 채택했거든요

AI 코딩 에이전트 평가 기준이 바뀌면서 순위판이 뒤집혔어요. 아티피셜 애널리시스(AA)가 기존 SWE-벤치 프로를 버리고 '딥SWE'라는 새 벤치마크를 채택했거든요.

이유가 흥미로운데요. SWE-벤치 프로가 깃허브 커밋 기록만 추적해서 정답을 맞히는 방식으로 '공략 가능한' 시험지가 됐다는 거예요. 딥SWE는 데이터커브가 처음부터 새 문제를 직접 설계해서 이 허점을 막았어요.

결과는 극적이었어요. 클로드 페이블 5(max)가 77점으로 1위 데뷔, GPT-5.5 기반 코덱스가 76점으로 2위, 기존 강자 오퍼스 4.8(max)는 73점으로 밀렸어요. 어떤 벤치마크를 쓰느냐가 AI 순위를 이렇게 바꿔버린다는 게 오히려 더 큰 시사점이에요.