2026-06-12

์ด 30B ํŒŒ๋ผ๋ฏธํ„ฐ์ง€๋งŒ ํ† ํฐ๋‹น 3B๋งŒ ํ™œ์„ฑํ™”๋˜๋Š” MoE ๊ตฌ์กฐ๋ผ ํšจ์œจ์ด ๋†’๊ฑฐ๋“ ์š”

๐Ÿ’ก ํ•œ์ค„ ์š”์•ฝ|์ด 30B ํŒŒ๋ผ๋ฏธํ„ฐ์ง€๋งŒ ํ† ํฐ๋‹น 3B๋งŒ ํ™œ์„ฑํ™”๋˜๋Š” MoE ๊ตฌ์กฐ๋ผ ํšจ์œจ์ด ๋†’๊ฑฐ๋“ ์š”.

Cohere๊ฐ€ ์ฒซ ๋ฒˆ์งธ ๊ฐœ๋ฐœ์ž์šฉ ์ฝ”๋”ฉ ๋ชจ๋ธ 'North Mini Code'๋ฅผ ๊ณต๊ฐœํ–ˆ์–ด์š”. ์ด 30B ํŒŒ๋ผ๋ฏธํ„ฐ์ง€๋งŒ ํ† ํฐ๋‹น 3B๋งŒ ํ™œ์„ฑํ™”๋˜๋Š” MoE ๊ตฌ์กฐ๋ผ ํšจ์œจ์ด ๋†’๊ฑฐ๋“ ์š”.

256K ํ† ํฐ ์ปจํ…์ŠคํŠธ ์œˆ๋„์šฐ์— ์ตœ๋Œ€ 64K ํ† ํฐ ์ถœ๋ ฅ์ด ๊ฐ€๋Šฅํ•˜๊ณ , H100 1์žฅ(FP8)์ด๋ฉด ๊ตฌ๋™ํ•  ์ˆ˜ ์žˆ์–ด์š”. ์ฝ”๋“œ ์ƒ์„ฑยท์—์ด์ „ํ‹ฑ ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋งยทํ„ฐ๋ฏธ๋„ ์ž‘์—… ์„ธ ๊ฐ€์ง€์— ์ตœ์ ํ™”๋˜์–ด ์žˆ๊ณ , Apache 2.0 ๋ผ์ด์„ ์Šค๋กœ Hugging Face์—์„œ ๋ฐ”๋กœ ๋ฐ›์„ ์ˆ˜ ์žˆ์–ด์š”.

'์†Œ๋ฒ„๋ฆฐ AI'๋ฅผ ๋‚ด์„ธ์šด ํฌ์ง€์…”๋‹์ด ๋ˆˆ์— ๋„์–ด์š”. ๋Œ€ํ˜• GPU ํด๋Ÿฌ์Šคํ„ฐ ์—†์ด๋„ ํŒ€ ์ž์ฒด ํ˜ธ์ŠคํŒ…์ด ๊ฐ€๋Šฅํ•œ ์ž‘๊ณ  ํšจ์œจ์ ์ธ ์ฝ”๋”ฉ ๋ชจ๋ธ, ์˜จํ”„๋ ˆ๋ฏธ์Šค ํ™˜๊ฒฝ์„ ์›ํ•˜๋Š” ๊ฐœ๋ฐœํŒ€์—๊ฒŒ ํ˜„์‹ค์ ์ธ ์„ ํƒ์ง€๊ฐ€ ์ƒ๊ธด ๊ฑฐ์˜ˆ์š”.

์ด ๊ธ€์ด ์–ด๋• ๋‚˜์š”?

๊ด€๋ จ ๊ธ€

๊ณต๊ฐœ ๋ณด์•ˆ ์Šค์บ๋„ˆ๋Š” ์‹ค์ œ ๋ฐฉ๋ฌธ์ž๊ฐ€ ๋ณผ ์ˆ˜ ์žˆ๋Š” ๊ฒƒ๋งŒ ๊ฒ€์‚ฌํ•ด์š”

๊ณต๊ฐœ ๋ณด์•ˆ ์Šค์บ๋„ˆ๋Š” ์‹ค์ œ ๋ฐฉ๋ฌธ์ž๊ฐ€ ๋ณผ ์ˆ˜ ์žˆ๋Š” ๊ฒƒ๋งŒ ๊ฒ€์‚ฌํ•ด์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

์ค‘๊ตญ ์‚ฌ์ด๋ฒ„๊ณต๊ฐ„๊ด€๋ฆฌ๊ตญ(CAC)์ด ์•Œ๋ฆฌ๋ฐ”๋ฐ”์˜ Qwen AI ๋ชจ๋ธ์„ ํƒ‘์žฌํ•œ ์• ํ”Œ์˜ AI ์„œ๋น„์Šค๋ฅผ ๊ณต์‹ ์Šน์ธํ–ˆ๊ฑฐ๋“ ์š”

์ค‘๊ตญ ์‚ฌ์ด๋ฒ„๊ณต๊ฐ„๊ด€๋ฆฌ๊ตญ(CAC)์ด ์•Œ๋ฆฌ๋ฐ”๋ฐ”์˜ Qwen AI ๋ชจ๋ธ์„ ํƒ‘์žฌํ•œ ์• ํ”Œ์˜ AI ์„œ๋น„์Šค๋ฅผ ๊ณต์‹ ์Šน์ธํ–ˆ๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

์ œ๋ฏธ๋‚˜์ด 2.5 ํ”„๋กœ ์ดํ›„ ํ›„์† ํ”Œ๋ž˜๊ทธ์‹ญ ์—†์ด ์ง€๋‚ด์˜จ ๊ตฌ๊ธ€์ด ์ด๋ฒˆ์—” ์ œ๋ฏธ๋‚˜์ด 3.5 ํ”„๋กœ๋กœ ๋ฐ˜๊ฒฉ์„ ์˜ˆ๊ณ ํ•˜๊ฑฐ๋“ ์š”

์ œ๋ฏธ๋‚˜์ด 2.5 ํ”„๋กœ ์ดํ›„ ํ›„์† ํ”Œ๋ž˜๊ทธ์‹ญ ์—†์ด ์ง€๋‚ด์˜จ ๊ตฌ๊ธ€์ด ์ด๋ฒˆ์—” ์ œ๋ฏธ๋‚˜์ด 3.5 ํ”„๋กœ๋กœ ๋ฐ˜๊ฒฉ์„ ์˜ˆ๊ณ ํ•˜๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”