뉴스 - 원문 기반 요약 필요

---

title: "AI 벤치마크, 실제 능력을 과소평가하고 있었다" description: "뉴스 - 원문 기반 요약 필요" date: 2026-07-04 tags: [ai-news] source: "https://the-decoder.com/uks-ai-security-institute-finds-standard-benchmarks-systematically-underestimate-what-ai-agents-can-actually-do/" sidebar: order: 0

제목(한글): AI 벤치마크, 실제 능력을 과소평가하고 있었다 원문 제목(영문): UKs AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do 원문: UKs AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do 소스: the-decoder MD 파일: content/2026-07-04/the-decoder-uk-039-s-ai-security-institute-finds-standard-benc.md

핵심 내용

영국 AI안전연구소(AISI)가 7개 벤치마크를 테스트한 결과, 고정 예산 한도가 AI 에이전트의 실제 능력을 체계적으로 과소평가한다는 걸 밝혔어요.

수치가 꽤 충격적이거든요. 사이버보안 과제는 토큰 예산이 1,000만 개를 넘어야 풀리는 문제가 8%였고, 일부는 5,000만 개가 필요했어요. 소프트웨어 엔지니어링(SWE-Bench Pro)에서는 예산을 100만 → 1,000만으로 올리자 성공률이 약 25% 뛰었고, 수학·학술 과제에서도 22% 올랐어요.

다만 의료 벤치마크(HealthBench)처럼 피드백이 없는 영역에선 추가 컴퓨팅이 별 효과가 없었어요. AI가 스스로 결과를 검증할 수 있는 코딩·해킹 영역에서만 효과가 극적으로 컸죠.

지금 우리가 AI 능력을 '평균값'으로 보고 있다면, 실제 위협과 잠재력 모두 크게 착각하고 있을 수 있어요.

잡돌쌤의 한마디

현재 AI 안전·규제 논의가 과소평가된 벤치마크에 기반하고 있다면, 실제 위협 수준도 잘못 보고 있는 거예요.

---

출처: UKs AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do