2026-03-12

Hybrid Self-evolving Structured Memory for GUI Agents

GUI ์—์ด์ „ํŠธ ๋ฉ”๋ชจ๋ฆฌ ๊ตฌ์กฐ๋ฅผ ๋ฐ”๊พผ HyMEM์ด ๊ณต๊ฐœ๋๊ณ , 7B/8B๊ธ‰ ์˜คํ”ˆ ๋ชจ๋ธ ์„ฑ๋Šฅ์ด ํด๋กœ์ฆˆ๋“œ ๋ชจ๋ธ๊ธ‰์œผ๋กœ ๋›ฐ์—ˆ์–ด์š”.

arXiv 2603.10291(2026๋…„ 3์›” 11์ผ) ๋…ผ๋ฌธ์ธ๋ฐ์š”. ํ•ต์‹ฌ์€ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๋ฉ”๋ชจ๋ฆฌ์˜ˆ์š”. ๊ณ ์ˆ˜์ค€ ๊ธฐํ˜ธ ๋…ธ๋“œ(์ด์‚ฐ)์™€ ๊ถค์  ์ž„๋ฒ ๋”ฉ(์—ฐ์†)์„ ํ•จ๊ป˜ ์จ์„œ, ๊ธฐ์กด์˜ ํ‰๋ฉด ๊ฒ€์ƒ‰ ํ•œ๊ณ„๋ฅผ ์ค„์˜€๊ฑฐ๋“ ์š”.

HyMEM์€ ๋ฉ€ํ‹ฐํ™‰ ๊ฒ€์ƒ‰, ๋…ธ๋“œ ์—…๋ฐ์ดํŠธ๋ฅผ ํ†ตํ•œ ์ž๊ธฐ ์ง„ํ™”, ์ถ”๋ก  ์ค‘ ์›Œํ‚น๋ฉ”๋ชจ๋ฆฌ ์‹ค์‹œ๊ฐ„ ๊ฐฑ์‹ ์„ ์ง€์›ํ•ด์š”. ๊ธด ์ž‘์—… ๋‹จ๊ณ„, UI ๋‹ค์–‘์„ฑ, ์ค‘๊ฐ„ ์˜ค๋ฅ˜๊ฐ€ ๋งŽ์€ ์‹ค์ œ ์ปดํ“จํ„ฐ ์‚ฌ์šฉ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๊ฒจ๋ƒฅํ•œ ์„ค๊ณ„์˜ˆ์š”.

์ˆ˜์น˜๋„ ๊ฐ•ํ•ด์š”. Qwen2.5-VL-7B ์„ฑ๋Šฅ์„ +22.5% ๋Œ์–ด์˜ฌ๋ ธ๊ณ , Gemini 2.5 Pro Vision๊ณผ GPT-4o๋ณด๋‹ค๋„ ์•ž์„ฐ๋‹ค๊ณ  ๋ณด๊ณ ํ–ˆ์–ด์š”. ๊ฒฐ๊ตญ GUI ์ž๋™ํ™” ๊ฒฝ์Ÿ๋ ฅ์˜ ์Šน๋ถ€์ฒ˜๊ฐ€ ๋ชจ๋ธ ํฌ๊ธฐ๋ณด๋‹ค ๋ฉ”๋ชจ๋ฆฌ ์•„ํ‚คํ…์ฒ˜๋กœ ์ด๋™ํ•˜๋Š” ์‹ ํ˜ธ์˜ˆ์š”.

์ด ๊ธ€์ด ์–ด๋• ๋‚˜์š”?

๊ด€๋ จ ๊ธ€

arXiv 2603.12813์—์„œ LLM ๊ธฐ๋ฐ˜ ๋ฉ€ํ‹ฐ์—์ด์ „ํŠธ๋กœ ํ”Œ๋กœ์šฐ์‹œํŠธ ์„ค๊ณ„๋ฅผ ์ž๋™ํ™”ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ณต๊ฐœํ–ˆ๊ฑฐ๋“ ์š”

arXiv 2603.12813์—์„œ LLM ๊ธฐ๋ฐ˜ ๋ฉ€ํ‹ฐ์—์ด์ „ํŠธ๋กœ ํ”Œ๋กœ์šฐ์‹œํŠธ ์„ค๊ณ„๋ฅผ ์ž๋™ํ™”ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ณต๊ฐœํ–ˆ๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

์งง์€ ํˆด ํ˜ธ์ถœ์€ ์ž˜ํ•˜์ง€๋งŒ ์ƒํƒœยท์‚ฐ์ถœ๋ฌผ์ด ์Œ“์ด๋Š” ์ž‘์—…์—์„œ ๋ฌด๋„ˆ์ง€๋Š” ํ•œ๊ณ„๋ฅผ ๊ฒจ๋ƒฅํ•œ ๊ตฌ์กฐ์˜ˆ์š”

์งง์€ ํˆด ํ˜ธ์ถœ์€ ์ž˜ํ•˜์ง€๋งŒ ์ƒํƒœยท์‚ฐ์ถœ๋ฌผ์ด ์Œ“์ด๋Š” ์ž‘์—…์—์„œ ๋ฌด๋„ˆ์ง€๋Š” ํ•œ๊ณ„๋ฅผ ๊ฒจ๋ƒฅํ•œ ๊ตฌ์กฐ์˜ˆ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

๊ธฐํšยท๋ฆฌ๋ทฐยท๋ฐฐํฌยทQA๋ฅผ 8๊ฐœ ๋ชจ๋“œ๋กœ ๋ถ„๋ฆฌํ•ด ๊ฐœ๋ฐœ ์‹ ๋ขฐ๋„๋ฅผ ๋†’์ด๋ ค๋Š” ์ ‘๊ทผ์ด๊ฑฐ๋“ ์š”

๊ธฐํšยท๋ฆฌ๋ทฐยท๋ฐฐํฌยทQA๋ฅผ 8๊ฐœ ๋ชจ๋“œ๋กœ ๋ถ„๋ฆฌํ•ด ๊ฐœ๋ฐœ ์‹ ๋ขฐ๋„๋ฅผ ๋†’์ด๋ ค๋Š” ์ ‘๊ทผ์ด๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”