2026-03-12

Hybrid Self-evolving Structured Memory for GUI Agents

GUI ์—์ด์ „ํŠธ ๋ฉ”๋ชจ๋ฆฌ ๊ตฌ์กฐ๋ฅผ ๋ฐ”๊พผ HyMEM์ด ๊ณต๊ฐœ๋๊ณ , 7B/8B๊ธ‰ ์˜คํ”ˆ ๋ชจ๋ธ ์„ฑ๋Šฅ์ด ํด๋กœ์ฆˆ๋“œ ๋ชจ๋ธ๊ธ‰์œผ๋กœ ๋›ฐ์—ˆ์–ด์š”.

arXiv 2603.10291(2026๋…„ 3์›” 11์ผ) ๋…ผ๋ฌธ์ธ๋ฐ์š”. ํ•ต์‹ฌ์€ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๋ฉ”๋ชจ๋ฆฌ์˜ˆ์š”. ๊ณ ์ˆ˜์ค€ ๊ธฐํ˜ธ ๋…ธ๋“œ(์ด์‚ฐ)์™€ ๊ถค์  ์ž„๋ฒ ๋”ฉ(์—ฐ์†)์„ ํ•จ๊ป˜ ์จ์„œ, ๊ธฐ์กด์˜ ํ‰๋ฉด ๊ฒ€์ƒ‰ ํ•œ๊ณ„๋ฅผ ์ค„์˜€๊ฑฐ๋“ ์š”.

HyMEM์€ ๋ฉ€ํ‹ฐํ™‰ ๊ฒ€์ƒ‰, ๋…ธ๋“œ ์—…๋ฐ์ดํŠธ๋ฅผ ํ†ตํ•œ ์ž๊ธฐ ์ง„ํ™”, ์ถ”๋ก  ์ค‘ ์›Œํ‚น๋ฉ”๋ชจ๋ฆฌ ์‹ค์‹œ๊ฐ„ ๊ฐฑ์‹ ์„ ์ง€์›ํ•ด์š”. ๊ธด ์ž‘์—… ๋‹จ๊ณ„, UI ๋‹ค์–‘์„ฑ, ์ค‘๊ฐ„ ์˜ค๋ฅ˜๊ฐ€ ๋งŽ์€ ์‹ค์ œ ์ปดํ“จํ„ฐ ์‚ฌ์šฉ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๊ฒจ๋ƒฅํ•œ ์„ค๊ณ„์˜ˆ์š”.

์ˆ˜์น˜๋„ ๊ฐ•ํ•ด์š”. Qwen2.5-VL-7B ์„ฑ๋Šฅ์„ +22.5% ๋Œ์–ด์˜ฌ๋ ธ๊ณ , Gemini 2.5 Pro Vision๊ณผ GPT-4o๋ณด๋‹ค๋„ ์•ž์„ฐ๋‹ค๊ณ  ๋ณด๊ณ ํ–ˆ์–ด์š”. ๊ฒฐ๊ตญ GUI ์ž๋™ํ™” ๊ฒฝ์Ÿ๋ ฅ์˜ ์Šน๋ถ€์ฒ˜๊ฐ€ ๋ชจ๋ธ ํฌ๊ธฐ๋ณด๋‹ค ๋ฉ”๋ชจ๋ฆฌ ์•„ํ‚คํ…์ฒ˜๋กœ ์ด๋™ํ•˜๋Š” ์‹ ํ˜ธ์˜ˆ์š”.

์ด ๊ธ€์ด ์–ด๋• ๋‚˜์š”?

๊ด€๋ จ ๊ธ€

์ด ๋…ผ๋ฌธ์€ ๋Œ€ํšŒํ˜• ์ˆ˜ํ•™์ด๋‚˜ ์ •ํ˜• ์ •๋ฆฌ์ฆ๋ช… ๋Œ€์‹ , ์žฅ๊ธฐ ์ถ”๋ก ยท๋ฌธํ—Œ ๊ทผ๊ฑฐยท๋ฐ˜๋ณต์  ์ฆ๋ช… ์ˆ˜์ •์ด ํ•„์š”ํ•œ ์—ฐ๊ตฌ ๋ฌธ์ œ๋ฅผ ๊ฒจ๋ƒฅํ–ˆ์–ด์š”

์ด ๋…ผ๋ฌธ์€ ๋Œ€ํšŒํ˜• ์ˆ˜ํ•™์ด๋‚˜ ์ •ํ˜• ์ •๋ฆฌ์ฆ๋ช… ๋Œ€์‹ , ์žฅ๊ธฐ ์ถ”๋ก ยท๋ฌธํ—Œ ๊ทผ๊ฑฐยท๋ฐ˜๋ณต์  ์ฆ๋ช… ์ˆ˜์ •์ด ํ•„์š”ํ•œ ์—ฐ๊ตฌ ๋ฌธ์ œ๋ฅผ ๊ฒจ๋ƒฅํ–ˆ์–ด์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

๊ธฐ์กด SHAP์€ ์ปดํฌ๋„ŒํŠธ ์กฐํ•ฉ์„ ๊ณ„์† ํ‰๊ฐ€ํ•ด์•ผ ํ•ด์„œ, ์„œ๋“œํŒŒํ‹ฐ APIยท๋ถˆํˆฌ๋ช… ์—”๋“œํฌ์ธํŠธ ํ™˜๊ฒฝ์—์„  ํ•œ๊ณ„๊ฐ€ ์ปธ๊ฑฐ๋“ ์š”

๊ธฐ์กด SHAP์€ ์ปดํฌ๋„ŒํŠธ ์กฐํ•ฉ์„ ๊ณ„์† ํ‰๊ฐ€ํ•ด์•ผ ํ•ด์„œ, ์„œ๋“œํŒŒํ‹ฐ APIยท๋ถˆํˆฌ๋ช… ์—”๋“œํฌ์ธํŠธ ํ™˜๊ฒฝ์—์„  ํ•œ๊ณ„๊ฐ€ ์ปธ๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

arXiv 2605.22883์€ A-LEMS๋ผ๋Š” ์ธก์ • ํ”„๋ ˆ์ž„์›Œํฌ๋กœ EpG(Energy per Successful Goal)๋ฅผ ์ œ์•ˆํ–ˆ์–ด์š”

arXiv 2605.22883์€ A-LEMS๋ผ๋Š” ์ธก์ • ํ”„๋ ˆ์ž„์›Œํฌ๋กœ EpG(Energy per Successful Goal)๋ฅผ ์ œ์•ˆํ–ˆ์–ด์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”