LLM์ โ๊ณํ ๋ฅ๋ ฅโ์ด ์๊ฐ๋ณด๋ค ์ฝํ๋ค๋ ๊ฒฐ๊ณผ๊ฐ ๋์์ด์. ์ ๋ฒค์น๋งํฌ ItinBench์์ ์ฌ๋ฌ ์ธ์ง ๊ณผ์ ๋ฅผ ๋์์ ์ฃผ๋ฉด ์ฑ๋ฅ ์ผ๊ด์ฑ์ด ํฌ๊ฒ ํ๋ค๋ ธ๊ฑฐ๋ ์.
ItinBench๋ ๊ธฐ์กด ์ฌํ ์ผ์ ๊ณํ ํ๊ฐ์ ์ธ์ด ์ถ๋ก ๋ง ๋ฃ์ง ์๊ณ , ๊ณต๊ฐ ์ถ๋ก ์ธ ๊ฒฝ๋ก ์ต์ ํ 1๊ฐ ๊ณผ์ ๋ฅผ ํจ๊ป ๋ฌถ์ด ์ค์ ์ํฉ์ ๋ ๊ฐ๊น๊ฒ ์ค๊ณํ์ด์. ์ฆ โ๋ง์ ์ํ๋๋โ์ โ๋์ ์ ์ ์ง๋๋โ๋ฅผ ๊ฐ์ด ๋ณธ ๊ฑฐ์์.
ํ๊ฐ์๋ Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro, GPT ๊ณ์ด ๋ฑ ์ฃผ์ ๋ชจ๋ธ์ด ํฌํจ๋๊ณ , ๋ ผ๋ฌธ์ ๋ค์ค ์ธ์ง ์ฐจ์์ ๋์์ ์ฒ๋ฆฌํ ๋ ๋์ ์ฑ๋ฅ์ ์์ ์ ์ผ๋ก ์ ์งํ์ง ๋ชปํ๋ค๊ณ ๋ฐํ์ด์. ์ฝ๋๋ ๋ฐ์ดํฐ์ ๊ณผ ํจ๊ป ๊ณต๊ฐ๋์ด์.
๊ฒฐ๊ตญ ๋ค์ ๊ฒฝ์๋ ฅ์ ๋จ์ผ ๋ฒค์น ์ ์๋ณด๋ค, ์๋ก ๋ค๋ฅธ ์ฌ๊ณ ์ ํ์ ํ ๋ฒ์ ๋ฒํฐ๋ โ๋ณตํฉ ์ถ๋ก ์์ ์ฑโ์ด ๋ ๊ฐ๋ฅ์ฑ์ด ์ปค ๋ณด์ด๋ ํ๋ฆ์ด์์.