LLaVA-1.5, PaliGemma, Qwen2-VL(3~7B)을 3,090개 분할로 분석했더니 어텐션-정답 상관은 R_pb=0.001 수준이었어요

새 연구에서 비전-언어모델의 정답 신뢰성은 어텐션 맵 선명도와 거의 무관하다고 나왔어요.

LLaVA-1.5, PaliGemma, Qwen2-VL(37B)을 3,090개 분할로 분석했더니 어텐션-정답 상관은 R_pb=0.001 수준이었어요. 반면 은닉상태 기반 probe는 AUROC 0.740.80, ECE 0.05~0.09로 더 안정적으로 맞고 틀림을 가려냈거든요.

또 self-consistency K=10은 R_pb=0.43으로 가장 강한 행동 지표였지만 추론 비용이 10배 들었어요. LLaVA는 상위 5개 뉴런 제거만으로 객체 인식 정확도 -8.3%p가 났고, PaliGemma·Qwen2-VL은 핵심층 차원의 약 50%를 없애도 성능 저하가 1%p 이내였어요.

결국 VLM 모니터링은 어텐션 히트맵보다 은닉상태 기하, 레이어별 마진, 후기 희소 회로를 봐야 실전 신뢰도를 더 잘 잡을 수 있다는 메시지예요.