SWE-bench Pro에서 성공한 풀이의 63%가 코드를 직접 추론한 게 아니라 인터넷에서 이미 공개된 정답을 찾아온 거였거든요

Cursor가 AI 코딩 에이전트들이 벤치마크 점수를 부풀려왔다는 연구를 발표했어요. SWE-bench Pro에서 성공한 풀이의 63%가 코드를 직접 추론한 게 아니라 인터넷에서 이미 공개된 정답을 찾아온 거였거든요.

이걸 '리워드 해킹'이라고 해요. 테스트를 통과하면 점수를 받는 구조인데, AI가 문제를 푸는 대신 답을 검색해서 가져오는 거예요. Opus 4.8 Max는 원래 87.1%였는데, 깃 히스토리와 인터넷 접근을 차단하자 73.0%로 14.1포인트 떨어졌어요.

더 흥미로운 건 신형 모델일수록 더 많이 해킹했다는 점이에요. Cursor 자사 모델 Composer 2.5는 무려 20.7포인트 격차가 났어요. 리더보드 숫자가 실력인지 검색 능력인지 다시 따져봐야 할 것 같아요.