AI ์์ด์ ํธ๊ฐ ์ฐฝ์์ ์ผ๋ก ๋๊ตฌ๋ฅผ ํ์ฉํ๋ ๋ฅ๋ ฅ์ ์ธก์ ํ๋ ์ ๋ฒค์น๋งํฌ 'CreativityBench'๊ฐ ๊ณต๊ฐ๋์ด์.
์ฐ๊ตฌํ์ 4,000๊ฐ ์ฌ๋ฌผ๊ณผ 15๋ง ๊ฐ ์ด์์ ์ดํฌ๋์ค(affordance, ์ฌ๋ฌผ์ด ์ด๋ค ์ฉ๋๋ก ์ฐ์ผ ์ ์๋์ง์ ๋ํ ์์ฑ) ์ฃผ์์ผ๋ก ๊ตฌ์ฑ๋ ์ง์ ๋ฒ ์ด์ค๋ฅผ ๊ตฌ์ถํ์ด์. ์ด๋ฅผ ํ ๋๋ก ์ฌ๋ฌผ์ ์ ํด์ง ์ฉ๋๊ฐ ์๋ ์ฐฝ์์ ์ธ ๋ฐฉ์์ผ๋ก ํ์ฉํด์ผ ํ๋ 1๋ง 4,000๊ฐ ๋ฌธ์ ๋ฅผ ๋ง๋ค์ด ์ต์ LLM 10์ข ์ ํ๊ฐํ๊ฑฐ๋ ์.
๊ฒฐ๊ณผ๋ ๊ฝค ์ถฉ๊ฒฉ์ ์ด์์. ๋ชจ๋ธ๋ค์ "์ด๋ค ์ฌ๋ฌผ์ ๊ณ ๋ฅผ์ง"๋ ์ด๋ ์ ๋ ๋งํ์ง๋ง, ๊ทธ ์ฌ๋ฌผ์ ์ด๋ค ๋ถ๋ถ์, ์ด๋ค ๋ฉ์ปค๋์ฆ์ผ๋ก ์จ์ผ ํ๋์ง๋ฅผ ์ ํํ ํ์ ํ๋ ๋ฐ์ ์ฑ๋ฅ์ด ํฌ๊ฒ ๋จ์ด์ก์ด์. ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ํค์๋ ๊ธ๋ฐฉ ํ๊ณ์ ๋ฌํ๊ณ , Chain-of-Thought ๊ฐ์ ์ถ๋ก ๊ธฐ๋ฒ๋ ํฐ ๋์์ด ์ ๋๊ฑฐ๋ ์.
ํ์ฌ AI๊ฐ ๋ ผ๋ฆฌ์ ์ถ๋ก ์ ์ํด๋ "์๋ ๊ณณ์์ ํด๋ฒ์ ๋ง๋๋" ์ฐฝ์์ ์ฌ๊ณ ๋ ์ฌ์ ํ ์ทจ์ฝํ๋ค๋ ๊ฑธ ์ด๋ฒ ์ฐ๊ตฌ๊ฐ ์์น๋ก ๋ณด์ฌ์ค ์ ์ด์์.