파라미터는 1,190억 개인데, 실제 응답 시 활성화되는 건 60억 개뿐이에요

Mistral AI가 Small 4 모델을 공개했어요. 파라미터는 1,190억 개인데, 실제 응답 시 활성화되는 건 60억 개뿐이에요.

핵심 구조는 128개의 전문가 모듈(Expert Module)인데, 쿼리마다 그 중 4개만 선택적으로 깨어나요. 덕분에 이전 모델보다 속도가 40% 빠르고, 초당 처리 쿼리 수는 3배 늘었거든요.

텍스트, 논리 추론, 이미지 처리를 하나로 묶은 멀티모달 모델이고, Apache 2.0 라이선스로 Hugging Face와 Mistral API, Nvidia 플랫폼에서 바로 쓸 수 있어요.

소형 모델이 대형 전문 모델 성능을 따라잡는 흐름이 점점 빨라지고 있어요.