뉴스 - 원문 기반 요약 필요

---

title: "NVIDIA, 75B 압축 MoE 모델로 서버 처리량 2배 달성" description: "뉴스 - 원문 기반 요약 필요" date: 2026-07-10 tags: [ai-news] source: "https://www.marktechpost.com/2026/07/09/meet-nemotron-labs-3-puzzle-75b-a9b/" sidebar: order: 0

제목(한글): NVIDIA, 75B 압축 MoE 모델로 서버 처리량 2배 달성 원문 제목(영문): Meet Nemotron Labs 3 Puzzle 75B A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput 원문: Meet Nemotron Labs 3 Puzzle 75B A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput 소스: marktechpost MD 파일: content/2026-07-10/marktechpost-meet-nemotron-labs-3-puzzle-75b-a9b-a-compressed-h.md

핵심 내용

NVIDIA AI팀이 Nemotron-3-Super를 압축한 Puzzle-75B-A9B를 공개했어요. 120.7B 파라미터를 75.3B으로, 활성 파라미터는 12.8B에서 9.3B으로 줄였는데도 성능은 거의 그대로예요.

핵심 성과는 처리량이에요. 8xB200 서버 기준 최대 2.14배 처리량 향상을 달성했고, H100 단일 서버에서 100만 토큰짜리 요청을 1개에서 8개까지 동시 처리할 수 있게 됐거든요. 모델 가중치가 70GB에서 44.5GB로 줄어든 덕분이에요.

대형 AI 모델을 실제 서비스에 올릴 때 가장 큰 장벽이 '비용 대비 처리 용량'인데, 정확도 손실 없이 서버 효율을 2배로 끌어올린 압축 방식이 주목받고 있어요.

잡돌쌤의 한마디

AI 서비스 비용의 핵심은 GPU 몇 대로 몇 명을 동시에 처리하느냐예요. 처리량 2배는 곧 서버 비용 절반을 의미하거든요.

---

출처: Meet Nemotron Labs 3 Puzzle 75B A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput