핵심 아이디어는 '액션 인터페이스'를 코드로 바꾸는 거예요

NVIDIA Research가 비전-언어 모델(VLM)의 고질적 약점인 3D 공간 추론을 재학습 없이 해결하는 에이전트 프레임워크 SpatialClaw를 공개했어요.

핵심 아이디어는 '액션 인터페이스'를 코드로 바꾸는 거예요. 기존 방식은 JSON 스키마로 도구를 호출하거나 프로그램을 한 번에 작성해서 실행했는데, SpatialClaw는 파이썬 커널 위에서 마스크·깊이 맵·카메라 좌표를 변수처럼 자유롭게 조합할 수 있거든요. Depth Anything 3와 SAM 3가 핵심 지각 도구로 탑재돼 있어요.

20개 벤치마크 평균 정확도 59.9%로, 최근 공간 에이전트 SpaceTools보다 11.2포인트 앞섰어요. 모델 가중치를 전혀 건드리지 않고도 이 성능이 나온다는 게 포인트예요. VLM을 갈아엎는 대신 '어떻게 도구를 쓰게 하느냐'가 병목이라는 걸 실험으로 보여준 거예요.