수치가 꽤 충격적이거든요

영국 AI안전연구소(AISI)가 7개 벤치마크를 테스트한 결과, 고정 예산 한도가 AI 에이전트의 실제 능력을 체계적으로 과소평가한다는 걸 밝혔어요.

수치가 꽤 충격적이거든요. 사이버보안 과제는 토큰 예산이 1,000만 개를 넘어야 풀리는 문제가 8%였고, 일부는 5,000만 개가 필요했어요. 소프트웨어 엔지니어링(SWE-Bench Pro)에서는 예산을 100만 → 1,000만으로 올리자 성공률이 약 25% 뛰었고, 수학·학술 과제에서도 22% 올랐어요.

다만 의료 벤치마크(HealthBench)처럼 피드백이 없는 영역에선 추가 컴퓨팅이 별 효과가 없었어요. AI가 스스로 결과를 검증할 수 있는 코딩·해킹 영역에서만 효과가 극적으로 컸죠.

지금 우리가 AI 능력을 '평균값'으로 보고 있다면, 실제 위협과 잠재력 모두 크게 착각하고 있을 수 있어요.