30B 파라미터 MoE 구조인데 실제 활성화 파라미터는 3B에 불과한 모델이에요

NVIDIA가 Nemotron-Cascade 2를 공개했어요. 30B 파라미터 MoE 구조인데 실제 활성화 파라미터는 3B에 불과한 모델이에요.

성능이 꽤 인상적이거든요. 2025 국제수학올림피아드(IMO), 국제정보올림피아드(IOI), ICPC 세계결선에서 금메달 수준 성과를 낸 두 번째 오픈소스 LLM이에요. 코딩 벤치마크 LiveCodeBench v6에서는 87.2점으로 경쟁 모델 Qwen3.5-35B-A3B의 74.6점을 크게 앞섰어요.

훈련 데이터도 규모가 상당해요. 190만 개의 Python 추론 트레이스, 130만 개의 도구 호출 샘플, 81만 6천 개의 수학 증명 샘플이 투입됐어요.

"덜 쓰고 더 잘한다"는 MoE 구조의 가능성을 다시 한번 보여준 모델이에요.