기존 벤치마크와 달리 VAKRA는 8,000개 이상의 실제 API와 62개 도메인 데이터베이스를 연결해, 에이전트가 3~7단계 추론을 거쳐 멀티스텝 작업을 완수할 수 있는지 평가해요

IBM 리서치가 AI 에이전트의 실전 능력을 측정하는 벤치마크 'VAKRA'를 공개했어요.

기존 벤치마크와 달리 VAKRA는 8,000개 이상의 실제 API와 62개 도메인 데이터베이스를 연결해, 에이전트가 3~7단계 추론을 거쳐 멀티스텝 작업을 완수할 수 있는지 평가해요. API 호출과 비정형 문서 검색을 동시에 처리해야 하는 기업 환경에 가까운 조건이거든요.

결과는 냉정해요. 현재 주요 모델들이 VAKRA에서 낮은 성능을 보이고 있고, IBM은 어디서 왜 실패하는지 오류 패턴 분석까지 함께 공개했어요.

"벤치마크 점수는 높은데 실무에서 못 쓰겠다"는 불만이 많았는데, VAKRA는 그 간격을 좁히려는 시도예요. 에이전트가 실제로 엔터프라이즈 워크플로우를 감당할 수 있는지 검증하는 기준이 생긴 거예요.