1비트 양자화 기술을 적용한 Bonsai 1.7B 모델이 WebGPU를 통해 브라우저에서 완전히 로컬로 실행되는 데 성공했거든요

브라우저에서 AI 모델이 290MB로 돌아가는 시대가 왔어요.

1비트 양자화 기술을 적용한 Bonsai 1.7B 모델이 WebGPU를 통해 브라우저에서 완전히 로컬로 실행되는 데 성공했거든요. 크기가 고작 290MB라서 서버도, 클라우드도 필요 없이 사용자 기기 안에서 바로 추론이 돌아가요.

Ollama와 Qwen을 조합한 3에이전트 코딩 시스템도 주목받고 있어요. 전부 자체 호스팅으로 구축할 수 있어서, 코드를 외부로 보내지 않고도 멀티 에이전트 워크플로우를 돌릴 수 있게 됐어요. Gemma4 26B 같은 오픈 웨이트 모델들도 소비자용 GPU에서 인상적인 성능을 보여주고 있고요.

AI가 점점 클라우드 밖으로 나오고 있어요. 프라이버시, 오프라인 환경, 비용 세 가지를 동시에 잡을 수 있는 방향으로요.