핵심은 '반복 퍼즐' 기법이에요

엔비디아가 1207억 매개변수 모델을 750억으로 줄이면서도 성능을 거의 그대로 유지하는 압축 모델 '퍼즐-75B-A9B'를 공개했어요.

핵심은 '반복 퍼즐' 기법이에요. 한 번에 확 줄이는 게 아니라 여러 단계로 점진적으로 압축하면서 매 단계마다 지식 증류로 성능을 회복시키는 방식이거든요. 덕분에 전체 매개변수는 38% 줄었는데 추론·코딩·장문맥 성능은 대부분 유지됐어요.

처리량은 기존 모델 대비 최대 4.6배까지 올라갔고, H100 GPU 한 장으로 100만 토큰 요청을 동시에 8개 처리할 수 있게 됐어요. 서버 운영 비용을 절반으로 줄이면서 성능까지 잡은 거예요.

모델은 허깅페이스에서 오픈 모델로 공개됐어요. AI 인프라 비용 압박이 심해지는 시점에 나온 실용적인 해법이에요.