이 벤치마크는 실제 위험 관리 파이프라인에서 추출한 1,513개 과제로 구성되어 있고, 8개 핵심 도메인을 다루거든요

이커머스 위험관리에 특화된 AI 에이전트 벤치마크 'RiskWebWorld'가 공개됐어요.

이 벤치마크는 실제 위험 관리 파이프라인에서 추출한 1,513개 과제로 구성되어 있고, 8개 핵심 도메인을 다루거든요. 비협조적인 웹사이트나 부분적 환경 조작 같은 실전 조건을 그대로 재현한 게 특징이에요.

결과가 꽤 충격적인데요, 최상급 범용 모델은 성공률 49.1%를 기록한 반면, GUI 특화 오픈소스 모델들은 거의 0에 가까운 실패율을 보였어요. 강화학습을 적용했을 때는 오픈소스 모델 성능이 16.2% 향상됐거든요.

이 결과는 장기적인 전문 과제에서는 인터페이스 특화보다 기반 모델의 규모가 훨씬 중요하다는 점을 보여줘요.