OpenAI Operator 성공률이 87%에서 68.6%로 내려갔거든요

웹 에이전트 성능, 평가 방식 바꾸니 숫자가 확 달라졌어요. OpenAI Operator 성공률이 87%에서 68.6%로 내려갔거든요.

새 논문은 기존 WebVoyager의 문제로 과제 해석 모호함과 운영 변수 차이를 짚었어요. 그래서 과제 생성, 실패 처리, 어노테이션, 리포팅 기준을 표준화한 Emergence WebVoyager를 제안했어요.

핵심 지표도 나왔어요. 평가자 간 합의도(inter-annotator agreement)가 95.9%로, 같은 작업을 더 일관되고 재현 가능하게 비교할 수 있게 됐어요. 특히 도메인·태스크 유형별 성능 편차가 크다는 점도 확인됐어요.

결국 에이전트 성능 경쟁의 승부처는 모델 자체만이 아니라, 얼마나 투명하고 엄격하게 평가하느냐에 달려 있다는 신호예요.