PrismML이 공개한 Bonsai 27B는 3.9GB짜리 경량 버전으로, 아이폰 17 Pro Max에 올라가는 크기거든요

아이폰에서 27B 추론 모델이 돌아가는 시대가 열렸어요. PrismML이 공개한 Bonsai 27B는 3.9GB짜리 경량 버전으로, 아이폰 17 Pro Max에 올라가는 크기거든요.

비결은 극단적인 압축이에요. 일반적으로 27B 모델은 54GB가 필요한데, PrismML은 가중치 하나를 16비트가 아닌 1~2비트로만 저장해요. 덕분에 GB당 지능 밀도가 기존 양자화 모델의 최대 12배 수준으로 올라갔어요.

온디바이스에서 돌리면 에이전트가 수백 번 모델을 호출해도 추가 비용이 0이에요. 중간 데이터, 화면 내용, 문서가 기기 밖으로 안 나가는 것도 장점이고요. Apple이 이 압축 기술을 테스트 중이라는 CNBC 보도도 나왔어요.

클라우드 의존 없이 항상 켜져 있는 개인 AI 에이전트, 생각보다 빨리 현실이 될 것 같아요.