2180억 파라미터 MoE지만 추론 때는 250억만 활성화되고, 128개 전문가 중 토큰당 8개만 써서 효율을 높였거든요

코히어가 기업용 에이전트 특화 LLM '커맨드 A+'를 아파치 2.0으로 공개했어요.

2180억 파라미터 MoE지만 추론 때는 250억만 활성화되고, 128개 전문가 중 토큰당 8개만 써서 효율을 높였거든요. 최대 12만8000 토큰 입력, 6만4000 토큰 출력을 지원해요.

W4A4 4비트 버전은 H100 2장(또는 블랙웰 1장)으로 구동 가능해요. 타우2-벤치 텔레콤은 37%→85%, 터미널-벤치 하드는 3%→25%, 한국어 토큰 효율은 16% 개선됐어요.

결국 적은 GPU로도 에이전트·RAG·멀티모달 운영을 현실화해서, 기업의 온프레미스 AI 자립도를 끌어올리는 신호로 보여요.