인기 에이전트 13개를 실제 작동 환경에서 돌려보니, 최고 성능 모델도 안전 제약을 지키며 끝낸 과제가 40% 미만이었거든요

BeSafe-Bench 결과가 충격적이에요. 인기 에이전트 13개를 실제 작동 환경에서 돌려보니, 최고 성능 모델도 안전 제약을 지키며 끝낸 과제가 40% 미만이었거든요.

연구팀은 웹, 모바일, Embodied VLM, Embodied VLA까지 4개 도메인에서 벤치마크를 만들었어요. 기존처럼 저충실도 시뮬레이션이 아니라 기능하는 환경을 쓰고, 안전 치명 리스크 9개 카테고리를 과제에 주입했어요.

평가도 규칙 기반 체크에 LLM 심판 방식을 결합해 실제 환경 영향까지 봤어요. 그 결과, 작업 성능이 높을수록 심각한 안전 위반이 함께 나타나는 경향이 확인됐어요.

이제 에이전트 경쟁의 핵심은 “더 잘함”이 아니라 “위험 없이 잘함”으로 옮겨가야 한다는 신호예요.