|잡돌쌤•2026-04-15•2분 소요

기존 벤치마크와 달리 VAKRA는 8,000개 이상의 실제 API와 62개 도메인 데이터베이스를 연결해, 에이전트가 3~7단계 추론을 거쳐 멀티스텝 작업을 완수할 수 있는지 평가해요

💡 한줄 요약|기존 벤치마크와 달리 VAKRA는 8,000개 이상의 실제 API와 62개 도메인 데이터베이스를 연결해, 에이전트가 3~7단계 추론을 거쳐 멀티스텝 작업을 완수할 수 있는지 평가해요.

IBM 리서치가 AI 에이전트의 실전 능력을 측정하는 벤치마크 'VAKRA'를 공개했어요.

기존 벤치마크와 달리 VAKRA는 8,000개 이상의 실제 API와 62개 도메인 데이터베이스를 연결해, 에이전트가 3~7단계 추론을 거쳐 멀티스텝 작업을 완수할 수 있는지 평가해요. API 호출과 비정형 문서 검색을 동시에 처리해야 하는 기업 환경에 가까운 조건이거든요.

결과는 냉정해요. 현재 주요 모델들이 VAKRA에서 낮은 성능을 보이고 있고, IBM은 어디서 왜 실패하는지 오류 패턴 분석까지 함께 공개했어요.

"벤치마크 점수는 높은데 실무에서 못 쓰겠다"는 불만이 많았는데, VAKRA는 그 간격을 좁히려는 시도예요. 에이전트가 실제로 엔터프라이즈 워크플로우를 감당할 수 있는지 검증하는 기준이 생긴 거예요.

이 글이 어땠나요?

MS가 직접 "최고의 텍스트-이미지 모델"이라고 부르는 이 모델은 사진 수준의 사실적인 이미지를 생성하고, 이미지 안 텍스트도 안정적으로 렌더링해요

MS가 직접 "최고의 텍스트-이미지 모델"이라고 부르는 이 모델은 사진 수준의 사실적인 이미지를 생성하고, 이미지 안 텍스트도 안정적으로 렌더링해요.

잡돌쌤2분 소요

의사결정이나 텍스트 생성 같은 화려한 기능에 집중하다 보면 상태 관리는 뒷전이 되기 쉬운데, 그게 치명적인 실수거든요

의사결정이나 텍스트 생성 같은 화려한 기능에 집중하다 보면 상태 관리는 뒷전이 되기 쉬운데, 그게 치명적인 실수거든요.

잡돌쌤2분 소요

Claude Code로 초기 코드를 생성했는데 main.go가 2,282줄짜리 모놀리스가 됐거든요

Claude Code로 초기 코드를 생성했는데 main.go가 2,282줄짜리 모놀리스가 됐거든요.

잡돌쌤2분 소요

관련 글

MS가 직접 "최고의 텍스트-이미지 모델"이라고 부르는 이 모델은 사진 수준의 사실적인 이미지를 생성하고, 이미지 안 텍스트도 안정적으로 렌더링해요

의사결정이나 텍스트 생성 같은 화려한 기능에 집중하다 보면 상태 관리는 뒷전이 되기 쉬운데, 그게 치명적인 실수거든요

Claude Code로 초기 코드를 생성했는데 main.go가 2,282줄짜리 모놀리스가 됐거든요