Cohere๊ฐ ์ฒซ ๋ฒ์งธ ๊ฐ๋ฐ์์ฉ ์ฝ๋ฉ ๋ชจ๋ธ 'North Mini Code'๋ฅผ ๊ณต๊ฐํ์ด์. ์ด 30B ํ๋ผ๋ฏธํฐ์ง๋ง ํ ํฐ๋น 3B๋ง ํ์ฑํ๋๋ MoE ๊ตฌ์กฐ๋ผ ํจ์จ์ด ๋๊ฑฐ๋ ์.
256K ํ ํฐ ์ปจํ ์คํธ ์๋์ฐ์ ์ต๋ 64K ํ ํฐ ์ถ๋ ฅ์ด ๊ฐ๋ฅํ๊ณ , H100 1์ฅ(FP8)์ด๋ฉด ๊ตฌ๋ํ ์ ์์ด์. ์ฝ๋ ์์ฑยท์์ด์ ํฑ ์ํํธ์จ์ด ์์ง๋์ด๋งยทํฐ๋ฏธ๋ ์์ ์ธ ๊ฐ์ง์ ์ต์ ํ๋์ด ์๊ณ , Apache 2.0 ๋ผ์ด์ ์ค๋ก Hugging Face์์ ๋ฐ๋ก ๋ฐ์ ์ ์์ด์.
'์๋ฒ๋ฆฐ AI'๋ฅผ ๋ด์ธ์ด ํฌ์ง์ ๋์ด ๋์ ๋์ด์. ๋ํ GPU ํด๋ฌ์คํฐ ์์ด๋ ํ ์์ฒด ํธ์คํ ์ด ๊ฐ๋ฅํ ์๊ณ ํจ์จ์ ์ธ ์ฝ๋ฉ ๋ชจ๋ธ, ์จํ๋ ๋ฏธ์ค ํ๊ฒฝ์ ์ํ๋ ๊ฐ๋ฐํ์๊ฒ ํ์ค์ ์ธ ์ ํ์ง๊ฐ ์๊ธด ๊ฑฐ์์.