영상·오디오·텍스트 자극을 함께 넣어 사람의 고해상도 fMRI 반응을 예측하는 삼중모달 뇌 인코딩 모델이거든요

메타 FAIR가 TRIBE v2를 공개했어요. 영상·오디오·텍스트 자극을 함께 넣어 사람의 고해상도 fMRI 반응을 예측하는 삼중모달 뇌 인코딩 모델이거든요.

핵심은 처음부터 학습하는 대신, 기존 파운데이션 모델 3개를 고정 특성추출기로 묶었다는 점이에요. 텍스트는 LLaMA 3.2-3B(이전 1,024단어 문맥), 영상은 V-JEPA2-Giant(이전 4초·64프레임), 오디오는 Wav2Vec-BERT 2.0을 써서 모두 2Hz로 정렬해요.

세 모달 임베딩은 각 D=384로 압축되고, 합쳐서 Dmodel=1152 시계열이 돼요. 이후 8층·8헤드 Transformer가 100초 윈도우에서 시간 통합을 수행하고, 출력을 1Hz fMRI 주파수로 내려 피험자별 예측 블록에 전달해 뇌 반응을 맞춰요.

의미는 분명해요. 영역별 ‘조각 연구’에서 벗어나, 멀티센서리 뇌 처리 과정을 하나의 통합 모델로 설명하려는 전환점이 되고 있어요.