뉴스 - 원문 기반 요약 필요

---

title: "230M 파라미터 온디바이스 AI, 스마트폰서 213토큰/초 달성" description: "뉴스 - 원문 기반 요약 필요" date: 2026-06-29 tags: [ai-news] source: "https://www.marktechpost.com/2026/06/27/liquid-ai-ships-lfm2-5-230m-with-llama-cpp-mlx-vllm-sglang-and-onnx-support-for-on-device-inference/" sidebar: order: 0

제목(한글): 230M 파라미터 온디바이스 AI, 스마트폰서 213토큰/초 달성 원문 제목(영문): Liquid AI Ships LFM2.5-230M with llama.cpp, MLX, vLLM, SGLang, and ONNX Support for On-Device Inference 원문: Liquid AI Ships LFM2.5-230M with llama.cpp, MLX, vLLM, SGLang, and ONNX Support for On-Device Inference 소스: marktechpost MD 파일: content/2026-06-29/marktechpost-liquid-ai-ships-lfm2-5-230m-with-llama-cpp-mlx-vll.md

핵심 내용

Liquid AI가 230M 파라미터짜리 초소형 모델 LFM2.5-230M을 공개했어요. 갤럭시 S25 Ultra에서 213토큰/초, 라즈베리파이 5에서도 42토큰/초로 동작하거든요.

놀라운 건 크기 대비 성능이에요. 명령어 이해 벤치마크 IFEval에서 71.71점을 기록해서, 3~4배 큰 Qwen3.5-0.8B(59.94점)와 Gemma 3 1B(63.49점)를 모두 앞질렀어요. 19조 토큰으로 사전 학습하고 대형 모델에서 지식을 증류(distillation)한 덕분이에요.

용량은 293~375MB로 스마트폰·로봇·자동화 기기에 바로 올릴 수 있고, llama.cpp·MLX·vLLM·ONNX 등 주요 추론 엔진을 첫날부터 지원해요. 클라우드 없이 기기 안에서 에이전트 작업을 돌리는 흐름이 본격화되고 있는 거예요.

잡돌쌤의 한마디

크기 3~4배 큰 경쟁 모델을 명령어 이해에서 앞선 건 처음이에요. 온디바이스 AI 에이전트 시대가 현실로 다가오고 있어요.

---

출처: Liquid AI Ships LFM2.5-230M with llama.cpp, MLX, vLLM, SGLang, and ONNX Support for On-Device Inference