핵심은 어텐션을 두 단계로 분리하는 거예요

MiniMax가 긴 문맥의 연산 병목을 해결하는 희소 어텐션 기법 MSA(MiniMax Sparse Attention)를 공개했어요.

핵심은 어텐션을 두 단계로 분리하는 거예요. '인덱스 브랜치'가 먼저 128토큰 단위 블록 중 쿼리와 관련된 16개를 골라내고, '메인 브랜치'가 그 2,048개 토큰에만 정확한 소프트맥스 어텐션을 적용해요. 문맥이 길어져도 연산량이 고정되는 구조거든요.

기존 Dense GQA는 전체 문맥 N에 비례해 연산이 늘어나지만, MSA는 O(kBk)로 고정돼요. 1090억 파라미터 MoE 모델과 3조 토큰 학습 데이터로 검증했고, 실제 프로덕션 모델 MiniMax-M3에도 적용됐어요. 추론 커널도 오픈소스로 공개됐어요.