UC 샌타바버라, MIT CSAIL, MIT-IBM 왓슨 AI 연구소 팀이 3만 4천 개의 실제 스킬을 테스트했는데요

AI 에이전트가 벤치마크에서 보여주는 '스킬' 성능이 실제 환경에서는 대부분 사라진다는 연구 결과가 나왔어요.

UC 샌타바버라, MIT CSAIL, MIT-IBM 왓슨 AI 연구소 팀이 3만 4천 개의 실제 스킬을 테스트했는데요. 기존 벤치마크가 에이전트에게 딱 맞는 스킬을 직접 건네주는 방식이었다면, 실제 환경에서는 에이전트가 수천 개 중에서 직접 골라야 해요. 이 조건에서 성능 향상은 거의 기준선(스킬 없음)과 차이가 없었어요.

더 흥미로운 건 약한 모델에선 스킬이 오히려 성능을 떨어뜨렸다는 점이에요. 스킬을 검색하고 적용하는 과정 자체가 추론 부담이 되거든요.

스킬 기반 에이전트가 본격 확산되기 전에, 평가 방식부터 다시 설계해야 한다는 신호예요.