2026-03-12

Hybrid Self-evolving Structured Memory for GUI Agents

GUI ์—์ด์ „ํŠธ ๋ฉ”๋ชจ๋ฆฌ ๊ตฌ์กฐ๋ฅผ ๋ฐ”๊พผ HyMEM์ด ๊ณต๊ฐœ๋๊ณ , 7B/8B๊ธ‰ ์˜คํ”ˆ ๋ชจ๋ธ ์„ฑ๋Šฅ์ด ํด๋กœ์ฆˆ๋“œ ๋ชจ๋ธ๊ธ‰์œผ๋กœ ๋›ฐ์—ˆ์–ด์š”.

arXiv 2603.10291(2026๋…„ 3์›” 11์ผ) ๋…ผ๋ฌธ์ธ๋ฐ์š”. ํ•ต์‹ฌ์€ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๋ฉ”๋ชจ๋ฆฌ์˜ˆ์š”. ๊ณ ์ˆ˜์ค€ ๊ธฐํ˜ธ ๋…ธ๋“œ(์ด์‚ฐ)์™€ ๊ถค์  ์ž„๋ฒ ๋”ฉ(์—ฐ์†)์„ ํ•จ๊ป˜ ์จ์„œ, ๊ธฐ์กด์˜ ํ‰๋ฉด ๊ฒ€์ƒ‰ ํ•œ๊ณ„๋ฅผ ์ค„์˜€๊ฑฐ๋“ ์š”.

HyMEM์€ ๋ฉ€ํ‹ฐํ™‰ ๊ฒ€์ƒ‰, ๋…ธ๋“œ ์—…๋ฐ์ดํŠธ๋ฅผ ํ†ตํ•œ ์ž๊ธฐ ์ง„ํ™”, ์ถ”๋ก  ์ค‘ ์›Œํ‚น๋ฉ”๋ชจ๋ฆฌ ์‹ค์‹œ๊ฐ„ ๊ฐฑ์‹ ์„ ์ง€์›ํ•ด์š”. ๊ธด ์ž‘์—… ๋‹จ๊ณ„, UI ๋‹ค์–‘์„ฑ, ์ค‘๊ฐ„ ์˜ค๋ฅ˜๊ฐ€ ๋งŽ์€ ์‹ค์ œ ์ปดํ“จํ„ฐ ์‚ฌ์šฉ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๊ฒจ๋ƒฅํ•œ ์„ค๊ณ„์˜ˆ์š”.

์ˆ˜์น˜๋„ ๊ฐ•ํ•ด์š”. Qwen2.5-VL-7B ์„ฑ๋Šฅ์„ +22.5% ๋Œ์–ด์˜ฌ๋ ธ๊ณ , Gemini 2.5 Pro Vision๊ณผ GPT-4o๋ณด๋‹ค๋„ ์•ž์„ฐ๋‹ค๊ณ  ๋ณด๊ณ ํ–ˆ์–ด์š”. ๊ฒฐ๊ตญ GUI ์ž๋™ํ™” ๊ฒฝ์Ÿ๋ ฅ์˜ ์Šน๋ถ€์ฒ˜๊ฐ€ ๋ชจ๋ธ ํฌ๊ธฐ๋ณด๋‹ค ๋ฉ”๋ชจ๋ฆฌ ์•„ํ‚คํ…์ฒ˜๋กœ ์ด๋™ํ•˜๋Š” ์‹ ํ˜ธ์˜ˆ์š”.

์ด ๊ธ€์ด ์–ด๋• ๋‚˜์š”?

๊ด€๋ จ ๊ธ€

AI๊ฐ€ ์šฐ์šธ์ฆยท๋ถˆ์•ˆ ์‹ฌ๊ฐ๋„๋ฅผ ์ž๋™์œผ๋กœ ํ‰๊ฐ€ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ ADAPTS๊ฐ€ ๊ณต๊ฐœ๋์–ด์š”

AI๊ฐ€ ์šฐ์šธ์ฆยท๋ถˆ์•ˆ ์‹ฌ๊ฐ๋„๋ฅผ ์ž๋™์œผ๋กœ ํ‰๊ฐ€ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ ADAPTS๊ฐ€ ๊ณต๊ฐœ๋์–ด์š”. ํ•ต์‹ฌ์€ ๊ธด ์ž„์ƒ ์ธํ„ฐ๋ทฐ๋ฅผ ์ฆ์ƒ๋ณ„ ์ถ”๋ก  ๊ณผ์ œ๋กœ ๋ถ„ํ•ดํ•˜๋Š” ๋ฐฉ์‹์ด์—์š”. LLM ์—ฌ๋Ÿฌ ๊ฐœ๋ฅผ ํ˜ผํ•ฉํ•œ ์•„ํ‚คํ…์ฒ˜(mixture-of-agent

์žก๋Œ์Œค1๋ถ„ ์†Œ์š”

ํŒ€ ๋Œ€ํ™”์—์„œ "๋ฉ˜ํƒˆ ๋ชจ๋ธ ๋ถˆ์ผ์น˜"๋ฅผ ์ž๋™ ๊ฐ์ง€ํ•˜๋Š” AI ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ๋‚˜์™”์–ด์š”

ํŒ€ ๋Œ€ํ™”์—์„œ "๋ฉ˜ํƒˆ ๋ชจ๋ธ ๋ถˆ์ผ์น˜"๋ฅผ ์ž๋™ ๊ฐ์ง€ํ•˜๋Š” AI ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ๋‚˜์™”์–ด์š”. ํŒ€์›๋ผ๋ฆฌ ์ผํ•˜๋‹ค ๋ณด๋ฉด ์„œ๋กœ ๋‹ค๋ฅธ ์ •๋ณด๋ฅผ ๊ฐ–๊ฒŒ ๋˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์€๋ฐ, ์ด ๋ถˆ์ผ์น˜๋ฅผ ๋Œ€ํ™” ์†์—์„œ ์‹ค์‹œ๊ฐ„์œผ๋กœ ํฌ์ฐฉํ•˜๋Š” ๋ฐฉ๋ฒ•๋ก ์ด์—์š”. ์—ฐ๊ตฌํŒ€์€

์žก๋Œ์Œค1๋ถ„ ์†Œ์š”

AI ์—์ด์ „ํŠธ๊ฐ€ ์ฐฝ์˜์ ์œผ๋กœ ๋„๊ตฌ๋ฅผ ํ™œ์šฉํ•˜๋Š” ๋Šฅ๋ ฅ์„ ์ธก์ •ํ•˜๋Š” ์ƒˆ ๋ฒค์น˜๋งˆํฌ 'CreativityBench'๊ฐ€ ๊ณต๊ฐœ๋์–ด์š”

AI ์—์ด์ „ํŠธ๊ฐ€ ์ฐฝ์˜์ ์œผ๋กœ ๋„๊ตฌ๋ฅผ ํ™œ์šฉํ•˜๋Š” ๋Šฅ๋ ฅ์„ ์ธก์ •ํ•˜๋Š” ์ƒˆ ๋ฒค์น˜๋งˆํฌ 'CreativityBench'๊ฐ€ ๊ณต๊ฐœ๋์–ด์š”. ์—ฐ๊ตฌํŒ€์€ 4,000๊ฐœ ์‚ฌ๋ฌผ๊ณผ 15๋งŒ ๊ฐœ ์ด์ƒ์˜ ์–ดํฌ๋˜์Šค(affordance, ์‚ฌ๋ฌผ์ด ์–ด๋–ค ์šฉ๋„๋กœ

์žก๋Œ์Œค1๋ถ„ ์†Œ์š”