총 5500억 파라미터 규모의 오픈 MoE 모델인데, 토큰당 실제로 활성화되는 파라미터는 550억 개예요

NVIDIA가 Nemotron 3 Ultra를 공개했어요. 총 5500억 파라미터 규모의 오픈 MoE 모델인데, 토큰당 실제로 활성화되는 파라미터는 550억 개예요.

핵심은 '긴 대화에서도 저렴하고 빠르게'예요. 순수 트랜스포머 대신 Mamba-Attention 하이브리드 구조를 써서, 시퀀스가 길어져도 추론 비용이 선형에 가깝게 유지돼요. NVIDIA 측은 유사 오픈 LLM 대비 최대 6배 높은 추론 처리량을 달성했다고 밝혔거든요.

컨텍스트 윈도우는 100만 토큰까지 확장됐고, 20조 개 텍스트 토큰으로 사전학습한 후 SFT·RL·MOPD로 후처리까지 마쳤어요. 장시간 플래닝·툴 호출이 필요한 AI 에이전트 워크플로우에서 오픈소스 선택지가 하나 더 생긴 셈이에요.