GUI ์์ด์ ํธ์ ๋๋ฉ์ธ ํธํฅ์, ๋ชจ๋ธ ์ฌํ์ต ์์ด ์น ํํ ๋ฆฌ์ผ ์์๋ง์ผ๋ก ์ค์ด๋ GUIDE๊ฐ ๋์์ด์.
์ด ๋ ผ๋ฌธ์ arXiv:2603.26266(v1)๋ก ๊ณต๊ฐ๋๊ณ , ํต์ฌ์ ์๋ง ๊ธฐ๋ฐ Video-RAG์์. ๋๋ฉ์ธ ๋ถ๋ฅโํ ํฝ ์ถ์ถโ๊ด๋ จ๋ ๋งค์นญ์ 3๋จ๊ณ ๊ฒ์์ผ๋ก ์์ ์ ๋ง๋ ์์์ ๊ณจ๋ผ๋ด๊ฑฐ๋ ์.
๊ทธ๋ค์ ์ฐ์ ํคํ๋ ์๊ณผ UI ์์ ๊ฒ์ถ ์ ๋ณด๋ฅผ VLM์ ๋ฃ์ด, ์ญ๋์ญํ ๋ฐฉ์์ผ๋ก ๊ณํ(planning)ยท๊ทธ๋ผ์ด๋ฉ ์ง์์ ์๋ ์ฃผ์ํํด ์์ด์ ํธ ๋ชจ๋์ ์ฃผ์ ํด์. ํ์ต ์์ด ๋ถ์๋ค ๋ ์ ์๋ ํ๋ฌ๊ทธ์คํ๋ ์ด ๊ตฌ์กฐ์์.
OSWorld ์คํ์์ ๋จ์ผ ๋ชจ๋ธยท๋ฉํฐ์์ด์ ํธ ๋ชจ๋ 5% ์ด์ ์ฑ๋ฅ ํฅ์๊ณผ ์คํ ์คํ ๊ฐ์๋ฅผ ๋ณด์์ด์. ์ํคํ ์ฒ๋ฅผ ์ ๋ฐ๊พธ๊ณ ๋ ์ค์ฌ์ฉ ์ ์๋ ฅ์ ์ฌ๋ฆด ์ ์๋ค๋ ์ ์ด ๊ฝค ํฐ ์์ฌ์ ์ด์์.