r/LocalLLaMA에 올라온 벤치마크에 따르면, Qwen3.6-35B-A3B 모델의 다양한 GGUF 버전을 KLD(쿨백-라이블러 발산) 기준으로 성능과 파일 크기를 비교했는데요

로컬 AI 커뮤니티에서 Qwen3.6 GGUF 최적 양자화 가이드가 화제예요.

r/LocalLLaMA에 올라온 벤치마크에 따르면, Qwen3.6-35B-A3B 모델의 다양한 GGUF 버전을 KLD(쿨백-라이블러 발산) 기준으로 성능과 파일 크기를 비교했는데요. Unsloth 양자화 버전이 22번의 테스트 중 21번에서 파레토 프론티어를 차지했어요. 즉 같은 용량 대비 가장 정확하다는 거예요.

같은 날 Ternary Bonsai라는 1.58비트 초경량 모델 패밀리도 공개됐어요. 일반적인 4비트, 8비트보다 훨씬 낮은 비트폭으로 소비자 GPU에서도 고성능을 노리는 접근이에요. 또 CCWhisperer라는 오픈소스 툴도 등장했는데, 로컬 Ollama를 활용해 코드 변경 사항을 자동 설명해줘요.

클라우드 없이 내 PC에서 고성능 AI를 돌리려는 시도가 점점 정교해지고 있어요.