|잡돌쌤•2026-06-05•2분 소요

총 5500억 파라미터 규모의 오픈 MoE 모델인데, 토큰당 실제로 활성화되는 파라미터는 550억 개예요

💡 한줄 요약|총 5500억 파라미터 규모의 오픈 MoE 모델인데, 토큰당 실제로 활성화되는 파라미터는 550억 개예요.

NVIDIA가 Nemotron 3 Ultra를 공개했어요. 총 5500억 파라미터 규모의 오픈 MoE 모델인데, 토큰당 실제로 활성화되는 파라미터는 550억 개예요.

핵심은 '긴 대화에서도 저렴하고 빠르게'예요. 순수 트랜스포머 대신 Mamba-Attention 하이브리드 구조를 써서, 시퀀스가 길어져도 추론 비용이 선형에 가깝게 유지돼요. NVIDIA 측은 유사 오픈 LLM 대비 최대 6배 높은 추론 처리량을 달성했다고 밝혔거든요.

컨텍스트 윈도우는 100만 토큰까지 확장됐고, 20조 개 텍스트 토큰으로 사전학습한 후 SFT·RL·MOPD로 후처리까지 마쳤어요. 장시간 플래닝·툴 호출이 필요한 AI 에이전트 워크플로우에서 오픈소스 선택지가 하나 더 생긴 셈이에요.

이 글이 어땠나요?

AI 에이전트가 추론 시점에 실시간 데이터를 직접 끌어올 수 있게 된 거예요

AI 에이전트가 추론 시점에 실시간 데이터를 직접 끌어올 수 있게 된 거예요.

잡돌쌤2분 소요

바이브 코딩은 직관과 즉흥적 요구사항으로 빠르게 구현하는 방식이고, 스펙 코딩은 코드 한 줄 쓰기 전에 문서화와 설계를 먼저 끝내는 방식이에요

바이브 코딩은 직관과 즉흥적 요구사항으로 빠르게 구현하는 방식이고, 스펙 코딩은 코드 한 줄 쓰기 전에 문서화와 설계를 먼저 끝내는 방식이에요.

잡돌쌤2분 소요

루카 과다니노 감독이 메가폰을 잡고 앤드루 가필드가 샘 알트만 역을 맡은 작품인데요

루카 과다니노 감독이 메가폰을 잡고 앤드루 가필드가 샘 알트만 역을 맡은 작품인데요.

잡돌쌤2분 소요

관련 글

AI 에이전트가 추론 시점에 실시간 데이터를 직접 끌어올 수 있게 된 거예요

바이브 코딩은 직관과 즉흥적 요구사항으로 빠르게 구현하는 방식이고, 스펙 코딩은 코드 한 줄 쓰기 전에 문서화와 설계를 먼저 끝내는 방식이에요

루카 과다니노 감독이 메가폰을 잡고 앤드루 가필드가 샘 알트만 역을 맡은 작품인데요