arXiv 2603.23840에서 VehicleMemBench를 공개했거든요

차량 AI의 장기기억 성능을 제대로 재는 벤치마크가 나왔어요. arXiv 2603.23840에서 VehicleMemBench를 공개했거든요.

이 벤치마크는 단일 사용자 Q&A가 아니라, 여러 탑승자의 선호 충돌과 시간에 따른 취향 변화를 반영해요. 실행 가능한 차량 시뮬레이션에서 도구 사용 후 환경 상태를 목표 상태와 비교해, 사람이나 LLM 채점 없이 객관적으로 평가해요.

구성도 꽤 빡빡해요. 23개 툴 모듈을 포함하고, 샘플마다 80개가 넘는 과거 메모리 이벤트가 들어가요. 실험에선 강한 모델도 직접 지시 과제는 잘하지만, 선호가 동적으로 바뀌는 메모리 진화 시나리오에서 성능이 크게 흔들렸어요.

결국 차량 에이전트는 “기억을 오래하는 것”보다 “변하는 사람별 맥락을 안정적으로 관리하는 것”이 핵심이라는 점을 보여준 연구에요.