antirez가 DeepSeek V4 Flash 전용 로컬 추론 엔진 ds4를 공개했어요

antirez가 DeepSeek V4 Flash 전용 로컬 추론 엔진 ds4를 공개했어요.

핵심은 특화 설계예요. 범용 GGUF 러너나 프레임워크가 아니라 DeepSeek V4 Flash 하나만을 위한 Metal 그래프 실행기거든요. 128GB RAM MacBook에서 2비트 양자화로 284B 파라미터 모델을 돌릴 수 있고, 컨텍스트 창이 무려 100만 토큰이에요.

thinking 모드가 특히 흥미로운데, 다른 모델 대비 최대 1/5 수준으로 짧은 thinking 섹션을 생성하면서도 문제 복잡도에 비례해서 길이가 조절돼요. KV 캐시 압축률도 뛰어나서 디스크 영속성까지 지원하고요.

로컬에서 준 프런티어급 모델을 실용적으로 굴릴 수 있는 가능성이 열린 거예요.