AF-Next는 세 가지 버전으로 나뉘어요

NVIDIA와 메릴랜드대학교 연구팀이 오픈소스 대형 오디오-언어 모델 'AF-Next'를 공개했어요.

AF-Next는 세 가지 버전으로 나뉘어요. 일반 질의응답용 AF-Next-Instruct, 다단계 추론용 AF-Next-Think, 오디오 캡셔닝용 AF-Next-Captioner예요. 음성·환경음·음악을 단일 모델에서 동시에 처리할 수 있거든요.

구조는 커스텀 Whisper 기반 인코더 + 2레이어 MLP 어댑터 + Qwen-2.5-7B 언어 모델로 이뤄져 있어요. 특히 컨텍스트 길이를 32k에서 128k 토큰으로 늘려 긴 오디오도 끊김 없이 처리할 수 있어요.

비전-언어 모델이 GPT-4V 같은 강력한 오픈소스를 얻었듯, 오디오 이해도 드디어 본격적인 오픈 경쟁이 시작된 거예요.