튜토리얼은 Colab에서 전체 환경을 구성하고, 모델을 4-bit NF4 양자화로 로드해 약 6GB VRAM에서도 구동되게 했거든요

Ai2가 공개한 MolmoWeb-4B는 HTML/DOM 없이 스크린샷만 보고 웹을 이해하고 브라우저 액션까지 예측하는 오픈 멀티모달 에이전트예요.

튜토리얼은 Colab에서 전체 환경을 구성하고, 모델을 4-bit NF4 양자화로 로드해 약 6GB VRAM에서도 구동되게 했거든요. transformers 4.48.0 이상, bitsandbytes, accelerate 등 핵심 패키지로 바로 재현 가능해요.

체크포인트는 allenai/MolmoWeb-4B를 쓰고, 프롬프트 워크플로로 웹 과제를 단계적으로 추론한 뒤 클릭·입력 같은 행동을 예측해요. 빈 페이지, 합성 웹 스크린샷, 멀티스텝 브라우징 테스트로 문맥 유지 능력까지 검증했어요.

의미는 분명해요. 앞으로 웹 자동화가 구조화된 DOM 파싱 중심에서 시각 기반 추론 중심으로 빠르게 이동할 가능성이 크다는 점이에요.