GUI μμ΄μ νΈμ λλ©μΈ νΈν₯μ, λͺ¨λΈ μ¬νμ΅ μμ΄ μΉ νν λ¦¬μΌ μμλ§μΌλ‘ μ€μ΄λ GUIDEκ° λμμ΄μ.
μ΄ λ Όλ¬Έμ arXiv:2603.26266(v1)λ‘ κ³΅κ°λκ³ , ν΅μ¬μ μλ§ κΈ°λ° Video-RAGμμ. λλ©μΈ λΆλ₯βν ν½ μΆμΆβκ΄λ ¨λ λ§€μΉμ 3λ¨κ³ κ²μμΌλ‘ μμ μ λ§λ μμμ 골λΌλ΄κ±°λ μ.
κ·Έλ€μ μ°μ ν€νλ μκ³Ό UI μμ κ²μΆ μ 보λ₯Ό VLMμ λ£μ΄, μλμν λ°©μμΌλ‘ κ³ν(planning)Β·κ·ΈλΌμ΄λ© μ§μμ μλ μ£Όμνν΄ μμ΄μ νΈ λͺ¨λμ μ£Όμ ν΄μ. νμ΅ μμ΄ λΆμλ€ λ μ μλ νλ¬κ·Έμ€νλ μ΄ κ΅¬μ‘°μμ.
OSWorld μ€νμμ λ¨μΌ λͺ¨λΈΒ·λ©ν°μμ΄μ νΈ λͺ¨λ 5% μ΄μ μ±λ₯ ν₯μκ³Ό μ€ν μ€ν κ°μλ₯Ό 보μμ΄μ. μν€ν μ²λ₯Ό μ λ°κΎΈκ³ λ μ€μ¬μ© μ μλ ₯μ μ¬λ¦΄ μ μλ€λ μ μ΄ κ½€ ν° μμ¬μ μ΄μμ.