총 파라미터 1,190억 개의 MoE 구조인데, 실제로 토큰 처리 시 활성화되는 건 60억 개예요

Mistral AI가 하나로 다 되는 모델, Mistral Small 4를 공개했어요.

총 파라미터 1,190억 개의 MoE 구조인데, 실제로 토큰 처리 시 활성화되는 건 60억 개예요. 특이한 건 기존에 따로 존재하던 추론 모델(Magistral), 비전 모델(Pixtral), 코딩 모델(Devstral)을 모두 하나로 통합했다는 거예요.

컨텍스트 창은 256k까지 지원하고, 추론 강도를 요청마다 조절할 수 있어요. reasoning_effort 파라미터로 빠른 답변이 필요하면 "none", 깊게 생각해야 하면 "high"로 설정하면 되거든요. 모델을 여러 개 운영하는 대신 하나로 요청마다 다르게 쓸 수 있는 구조예요.

"하나의 API로 다 해결"이라는 방향이 점점 업계 표준이 되어가는 것 같아요.