하얼빈공대·샤오홍슈 연구진이 GPT-5.4, Gemini 3.1 Pro, Claude Sonnet 4.6 등 11개 모델을 분석했는데, BrowseComp 고득점이 실제 탐색력보다 내부 지식 의존(IKD)을 반영하는

최신 AI 검색 에이전트가 웹을 조사하기보다 원래 아는 답을 확인하는 데 치우친다는 연구가 나왔어요.

하얼빈공대·샤오홍슈 연구진이 GPT-5.4, Gemini 3.1 Pro, Claude Sonnet 4.6 등 11개 모델을 분석했는데, BrowseComp 고득점이 실제 탐색력보다 내부 지식 의존(IKD)을 반영하는 경우가 많았거든요.

검색 도구를 아예 제거해도 MiniMax M2.5는 BrowseComp 44.5%, Kimi K2.6은 BrowseComp-ZH 62%를 맞혔어요. 반대로 모델이 기존 지식을 넘어가야 하는 상황에선 검색 성능이 급격히 무너졌어요.

결국 벤치마크 점수만으로 에이전트 리서치 능력을 판단하면 과대평가될 수 있다는 신호예요.