기존 RAG 방식은 텍스트 외에 이미지·영상이 들어오면 급격히 성능이 떨어지거든요

알리바바 통이랩이 멀티모달 RAG 프레임워크 'VimRAG'를 공개했어요.

기존 RAG 방식은 텍스트 외에 이미지·영상이 들어오면 급격히 성능이 떨어지거든요. 추론 단계가 길어질수록 핵심 정보 밀도가 0에 가까워지고, 이미 검색한 내용을 반복 조회하는 문제도 생겨요.

VimRAG는 메모리 그래프 구조로 이걸 해결했어요. 원시 시각 토큰을 그대로 쌓는 방식은 15.8k 토큰을 쓰면서 정확도 45.6%에 그쳤는데, VimRAG의 의미 연관 시각 메모리 방식은 2.7k 토큰만으로 58.2%를 달성했어요. 토큰은 6분의 1, 성능은 더 높은 거예요.

텍스트 중심으로 설계된 RAG 기술이 멀티모달 환경에 실질적으로 확장되는 분기점이 될 수 있는 연구예요.