AI 에이전트가 창의적으로 도구를 활용하는 능력을 측정하는 새 벤치마크 'CreativityBench'가 공개됐어요

AI 에이전트가 창의적으로 도구를 활용하는 능력을 측정하는 새 벤치마크 'CreativityBench'가 공개됐어요.

연구팀은 4,000개 사물과 15만 개 이상의 어포던스(affordance, 사물이 어떤 용도로 쓰일 수 있는지에 대한 속성) 주석으로 구성된 지식 베이스를 구축했어요. 이를 토대로 사물을 정해진 용도가 아닌 창의적인 방식으로 활용해야 하는 1만 4,000개 문제를 만들어 최신 LLM 10종을 평가했거든요.

결과는 꽤 충격적이에요. 모델들은 "어떤 사물을 고를지"는 어느 정도 맞히지만, 그 사물의 어떤 부분을, 어떤 메커니즘으로 써야 하는지를 정확히 파악하는 데서 성능이 크게 떨어졌어요. 모델 크기를 키워도 금방 한계에 달했고, Chain-of-Thought 같은 추론 기법도 큰 도움이 안 됐거든요.

현재 AI가 논리적 추론은 잘해도 "없는 곳에서 해법을 만드는" 창의적 사고는 여전히 취약하다는 걸 이번 연구가 수치로 보여준 셈이에요.