GPU에서 기존 대비 최대 4배 빠른 텍스트 생성이 가능하다고 밝혔거든요

구글이 텍스트 확산(Diffusion) 방식을 쓰는 새 모델 DiffusionGemma를 공개했어요. GPU에서 기존 대비 최대 4배 빠른 텍스트 생성이 가능하다고 밝혔거든요.

비결은 토큰을 한 개씩 순서대로 뽑는 대신, 블록 단위로 동시에 생성하는 방식이에요. 파라미터 수는 260억(26B) 규모의 Mixture of Experts 구조고, 양자화하면 고사양 소비자 GPU에서도 로컬 추론이 가능해요.

속도를 위해 품질을 일부 양보했다는 점은 솔직하게 인정했어요. 저지연이 중요한 실시간 서비스나 엣지 환경에서 쓸모가 특히 클 것 같아요.