핵심은 키-값(KV) 캐시를 더 작게 압축해 재계산 부담을 낮추는 방식이에요

구글이 TurboQuant를 공개했는데, LLM 메모리 사용량을 최대 6배 줄이고 성능은 8배 끌어올렸다고 밝혔어요.

핵심은 키-값(KV) 캐시를 더 작게 압축해 재계산 부담을 낮추는 방식이에요. 속도는 높이고 정확도는 유지해서 품질 저하 없이 경량화가 가능하다고 하거든요.

초기 테스트 기준으로 품질 손실 없이 메모리 6x 절감, 성능 8x 개선 수치가 나왔어요. 클라우드로 데이터를 보내기 어려운 엣지 디바이스에서도 더 큰 모델을 돌릴 여지가 생긴 거예요.

결국 이 기술은 “더 작은 하드웨어에서 더 좋은 AI”를 현실로 만들어, 온디바이스 AI 경쟁의 기준을 바꿀 가능성이 커 보여요.