v1의 369개에서 1,500개로 태스크를 4배 늘리고, macOS·Windows·Ubuntu 세 플랫폼을 모두 커버해요

Epoch AI가 AI 에이전트 벤치마크 OSWorld 2.0을 공개했어요. v1의 369개에서 1,500개로 태스크를 4배 늘리고, macOS·Windows·Ubuntu 세 플랫폼을 모두 커버해요.

특히 이번 버전의 핵심은 '의도적 방해' 테스트예요. 파일명 오타, 버튼 라벨 변경, 창 크기 조절 같은 훼방 요소를 심어서 AI가 진짜로 내용을 이해하는지, 아니면 화면 패턴만 외운 건지 가려내거든요. 전체 태스크의 30%는 여러 앱을 넘나드는 복합 작업이에요.

참고로 Google Gemini 3.5 Flash는 v1에서 78.4점을 기록했는데, v2가 얼마나 장벽을 높였는지가 앞으로 주요 모델들의 진짜 실력을 판가름할 거예요.