7B 파라미터 규모의 MolmoAct-7B-D-0812 모델은 여러 시점의 이미지를 입력받아 깊이 인식 공간 추론, 시각적 궤적 추적, 로봇 행동 예측을 동시에 수행할 수 있어요

Allen AI가 공개한 MolmoAct, 로봇이 눈으로 보고 행동을 예측하는 모델이에요.

7B 파라미터 규모의 MolmoAct-7B-D-0812 모델은 여러 시점의 이미지를 입력받아 깊이 인식 공간 추론, 시각적 궤적 추적, 로봇 행동 예측을 동시에 수행할 수 있어요. 자연어 명령 한 줄로 "어디를 집어야 하는지"를 3D 공간에서 계산해내거든요.

Google Colab에서 transformers 4.52와 accelerate만 설치하면 바로 돌려볼 수 있을 정도로 진입 장벽이 낮아요. 멀티뷰 이미지를 넣고 추론을 실행하면 모델이 행동 경로를 파싱하고 시각화까지 자동으로 해줘요.

로봇 팔 제어나 자율 조작 연구에서 "보는 것"과 "행동하는 것"을 하나의 모델로 연결하는 시도가 점점 실용화 단계로 접어들고 있어요.