arXiv 2603.23749 연구는 8개 벤치마크, 33개 에이전트 스캐폴드, 70개+ 모델 설정을 분석했거든요

AI 에이전트 벤치마크, 전부 돌리지 않아도 순위는 정확하게 유지할 수 있다는 결과가 나왔어요.

arXiv 2603.23749 연구는 8개 벤치마크, 33개 에이전트 스캐폴드, 70개+ 모델 설정을 분석했거든요. 스캐폴드와 시간 변화가 생기면 절대 점수 예측은 흔들리지만, 모델 간 순위 예측은 꽤 안정적이었어요.

해법은 단순해요. 과거 통과율이 3070%인 ‘중간 난이도’ 과제만 평가하는 방식이에요. 이 프로토콜은 최적화 없이도 평가 과제 수를 4470% 줄이면서 순위 충실도를 높였고, 랜덤 샘플링보다 분산이 낮고 그리디 선택보다 분포 이동에 강했어요.

결국 리더보드 신뢰도를 지키면서 평가 비용을 크게 줄일 수 있어서, 에이전트 평가의 속도와 표준이 함께 바뀔 가능성이 커 보이네요.