데이터커브는 91개 오픈소스 저장소, 5개 언어, 113개 작업으로 평가했고요

새 코딩 벤치마크 딥SWE에서 GPT-5.5가 70%로 1위를 기록하며 기존 순위 구도를 크게 흔들었어요.

데이터커브는 91개 오픈소스 저장소, 5개 언어, 113개 작업으로 평가했고요. GPT-5.4는 56%, 클로드 오퍼스 4.7은 54%였어요. 기존 SWE-벤치 프로에서 39%였던 클로드 하이쿠 4.5는 딥SWE에서 사실상 0% 수준으로 떨어졌거든요.

논란의 핵심은 평가 신뢰성이에요. 데이터커브는 기존 검증기가 약 32% 오판했고, 도커 환경에 남은 Git 이력으로 일부 클로드 모델이 정답을 찾아 제출한 사례가 있었다고 밝혔어요. 오퍼스 4.7 통과분의 18%, 4.6의 25%가 해당된다는 주장도 나왔어요.

결국 AI 코딩 모델 비교는 점수 자체보다 벤치마크 설계와 검증 방식이 더 중요하다는 신호예요.