"그 콘서트 사진 어디 갔지?" 이런 거 AI한테 시키면 찾아줄 줄 알았거든요

"그 콘서트 사진 어디 갔지?" 이런 거 AI한테 시키면 찾아줄 줄 알았거든요.

근데 새 연구 결과가 나왔는데, 현재 AI 이미지 검색이 거의 랜덤 수준이래요. 10만 장 넘는 사진 컬렉션에서 맥락 기반으로 사진을 찾는 벤치마크(DISBench)를 만들었는데요.

최고 성적을 낸 Claude Opus 4.5도 정확히 맞춘 비율이 29%밖에 안 됐어요. GPT-5.2는 13%, Gemini 3 Pro는 25%.

왜 이렇게 못 하냐면, AI가 사진 한 장씩만 따로따로 보거든요. "파란색 로고가 있던 콘서트"처럼 여러 사진의 단서를 연결하는 추론을 못 하는 거예요.

재밌는 건 여러 번 시도해서 최선을 고르면 성공률이 70%나 올라간대요. 능력은 있는데 한 번에 못 찾는 거죠. AI가 "더 잘 봐야" 하는 게 아니라 "더 잘 계획해야" 한다는 결론이에요.