뉴스 - 원문 기반 요약 필요

---

title: "MiniMax, 1090억 파라미터 MoE에 희소 어텐션 적용" description: "뉴스 - 원문 기반 요약 필요" date: 2026-06-18 tags: [ai-news] source: "https://www.marktechpost.com/2026/06/17/minimax-sparse-attention-msa-a-two-branch-block-sparse-attention-trained-on-a-109b-parameter-moe-with-a-3t-token-budget/" sidebar: order: 0

제목(한글): MiniMax, 1090억 파라미터 MoE에 희소 어텐션 적용 원문 제목(영문): MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget 원문: MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget 소스: marktechpost MD 파일: content/2026-06-18/marktechpost-minimax-sparse-attention-msa-a-two-branch-block-sp.md

핵심 내용

MiniMax가 긴 문맥의 연산 병목을 해결하는 희소 어텐션 기법 MSA(MiniMax Sparse Attention)를 공개했어요.

핵심은 어텐션을 두 단계로 분리하는 거예요. '인덱스 브랜치'가 먼저 128토큰 단위 블록 중 쿼리와 관련된 16개를 골라내고, '메인 브랜치'가 그 2,048개 토큰에만 정확한 소프트맥스 어텐션을 적용해요. 문맥이 길어져도 연산량이 고정되는 구조거든요.

기존 Dense GQA는 전체 문맥 N에 비례해 연산이 늘어나지만, MSA는 O(kBk)로 고정돼요. 1090억 파라미터 MoE 모델과 3조 토큰 학습 데이터로 검증했고, 실제 프로덕션 모델 MiniMax-M3에도 적용됐어요. 추론 커널도 오픈소스로 공개됐어요.

잡돌쌤의 한마디

1090억 파라미터 MoE·3조 토큰으로 검증, 프로덕션 모델 MiniMax-M3에 실제 적용됐어요. 추론 커널까지 오픈소스로 공개됐어요.

---

출처: MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget