AI 코딩 실력을 비교하는 대표 벤치마크가 있어요

AI 코딩 실력을 비교하는 대표 벤치마크가 있어요. SWE-bench Verified라고, OpenAI, Anthropic, Google 다 여기서 순위 경쟁을 해왔거든요.

그런데 OpenAI가 "이 벤치마크 이제 폐기하자"고 주장했어요.

이유가 두 가지예요.

첫째, 문제의 59.4%가 결함이 있어요. 맞는 답을 내도 특정 구현 방식을 안 따르면 틀렸다고 처리하는 거예요.

둘째, GPT-5.2, Claude Opus 4.5, Gemini 3 Flash Preview 같은 모델들이 정답을 외워버렸어요. 학습 데이터에 문제와 답이 포함돼 있어서, 코딩 실력이 아니라 암기력을 측정하는 꼴이 된 거죠.

OpenAI는 대안으로 SWE-bench Pro를 추천하고, 자체 비공개 테스트도 만들고 있다고 해요.

근데 여기서 재밌는 점이 있어요. 오염된 벤치마크가 오픈소스 모델한테 유리하게 작용할 수 있거든요. OpenAI 입장에서는 경쟁자 순위를 낮추려는 전략일 수도 있다는 시각도 있어요.