뉴스 - 원문 기반 요약 필요

---

title: "엔비디아, AI 추론 비용 절반 줄이는 압축 모델 공개" description: "뉴스 - 원문 기반 요약 필요" date: 2026-07-12 tags: [ai-news] source: "https://www.aitimes.com/news/articleView.html?idxno=212657" sidebar: order: 0

제목(한글): 엔비디아, AI 추론 비용 절반 줄이는 압축 모델 공개 원문 제목(영문): 엔비디아, '반복 퍼즐' 기술로 추론 효율 극대화…"운영 비용 절반으로" 원문: 엔비디아, '반복 퍼즐' 기술로 추론 효율 극대화…"운영 비용 절반으로" 소스: aitimes-kr MD 파일: content/2026-07-12/aitimes-kr-.md

핵심 내용

엔비디아가 1207억 매개변수 모델을 750억으로 줄이면서도 성능을 거의 그대로 유지하는 압축 모델 '퍼즐-75B-A9B'를 공개했어요.

핵심은 '반복 퍼즐' 기법이에요. 한 번에 확 줄이는 게 아니라 여러 단계로 점진적으로 압축하면서 매 단계마다 지식 증류로 성능을 회복시키는 방식이거든요. 덕분에 전체 매개변수는 38% 줄었는데 추론·코딩·장문맥 성능은 대부분 유지됐어요.

처리량은 기존 모델 대비 최대 4.6배까지 올라갔고, H100 GPU 한 장으로 100만 토큰 요청을 동시에 8개 처리할 수 있게 됐어요. 서버 운영 비용을 절반으로 줄이면서 성능까지 잡은 거예요.

모델은 허깅페이스에서 오픈 모델로 공개됐어요. AI 인프라 비용 압박이 심해지는 시점에 나온 실용적인 해법이에요.

잡돌쌤의 한마디

AI 인프라 비용이 폭증하는 시대에 성능 포기 없이 운영비를 절반으로 줄이는 실용 해법이에요. 허깅페이스에서 오픈 모델로 공개돼 바로 써볼 수 있어요.

---

출처: 엔비디아, '반복 퍼즐' 기술로 추론 효율 극대화…"운영 비용 절반으로"