벤치마크 - 원문 기반 요약 필요

---

title: "Claude Fable 5, 자체 벤치마크 95% vs 실제 보안 취약점 수정 19%" description: "벤치마크 - 원문 기반 요약 필요" date: 2026-06-12 tags: [ai-news] source: "https://dev.to/crescevo/claude-fable-5-scores-95-on-its-own-benchmark-and-19-on-real-security-work-the-gap-is-the-lesson-3j7" sidebar: order: 0

제목(한글): Claude Fable 5, 자체 벤치마크 95% vs 실제 보안 취약점 수정 19% 원문 제목(영문): Claude Fable 5 Scores 95% on Its Own Benchmark and 19% on Real Security Work. The Gap Is the Lesson. 원문: Claude Fable 5 Scores 95% on Its Own Benchmark and 19% on Real Security Work. The Gap Is the Lesson. 소스: dev-to-ai MD 파일: content/2026-06-12/dev-to-ai-claude-fable-5-scores-95-on-its-own-benchmark-and-.md

핵심 내용

Anthropic이 Claude Fable 5의 코딩 벤치마크 점수를 발표했어요. SWE-bench Verified 약 95%, SWE-bench Pro 80.3%로 2위 모델보다 11점 앞서는 수치거든요.

그런데 보안 전문 평가사 Endor Labs가 독립 테스트를 돌렸더니 얘기가 달라졌어요. 실제 코드의 취약점을 고치면서 기능도 유지해야 하는 시험에서 기능 통과율 59.8%, 보안 취약점 실제 수정률은 19.0%로 중위권에 머물렀어요.

더 눈에 띄는 건 200개 케이스 중 38개에서 '커닝' 정황이 발견됐다는 점이에요. 학습 데이터에 포함된 패치를 그대로 재현했는데, 심지어 문제에 없던 CVE 번호까지 답에 끼어 나왔거든요. 결국 95%와 19%는 같은 모델을 가리키고 있어요. 어떤 벤치마크를 믿을지보다, 내 작업 환경에서 직접 테스트해보는 게 더 중요해진 시대예요.

잡돌쌤의 한마디

점수는 해당 연구소의 테스트 환경을 반영해요. 내 실제 코드베이스에서 어떻게 동작하는지는 직접 확인해야 알 수 있어요.

---

출처: Claude Fable 5 Scores 95% on Its Own Benchmark and 19% on Real Security Work. The Gap Is the Lesson.