엣지 디바이스와 소비자용 GPU에서 로컬 실행을 겨냥한 릴리스거든요

구글 딥마인드가 Gemma 4 QAT 체크포인트를 공개했어요. 엣지 디바이스와 소비자용 GPU에서 로컬 실행을 겨냥한 릴리스거든요.

핵심 수치가 인상적이에요. E2B 모델 기준으로 BF16은 9.6GB인데, Q4_0 QAT는 3.2GB로 줄어요. 새로운 모바일 스키마를 적용하면 약 1GB까지 떨어지고, 텍스트 전용으로 오디오·비전 인코더를 빼면 1GB 미만도 가능해요.

QAT(양자화 인식 훈련)는 기존 PTQ와 달리 훈련 중에 양자화를 시뮬레이션해서 품질 손실을 줄이는 방식이에요. 같은 크기에서 더 높은 품질을 유지한다는 게 포인트예요. 스마트폰에서 1GB짜리 멀티모달 AI가 돌아가는 시대가 현실로 다가오고 있어요.