2026-06-26

`hf jobs run` ๋ช…๋ น์–ด์— ๊ณต์‹ `vllm/vllm-openai` ์ปจํ…Œ์ด๋„ˆ๋ฅผ ์ง€์ •ํ•˜๋ฉด ํฌํŠธ 8000์œผ๋กœ ์—”๋“œํฌ์ธํŠธ๊ฐ€ ์ƒ๊ธฐ๊ฑฐ๋“ ์š”

๐Ÿ’ก ํ•œ์ค„ ์š”์•ฝ|hf jobs run ๋ช…๋ น์–ด์— ๊ณต์‹ vllm/vllm-openai ์ปจํ…Œ์ด๋„ˆ๋ฅผ ์ง€์ •ํ•˜๋ฉด ํฌํŠธ 8000์œผ๋กœ ์—”๋“œํฌ์ธํŠธ๊ฐ€ ์ƒ๊ธฐ๊ฑฐ๋“ ์š”.

Hugging Face Jobs์—์„œ ๋ช…๋ น์–ด ํ•˜๋‚˜๋กœ ํ”„๋ผ์ด๋น— OpenAI ํ˜ธํ™˜ vLLM ์„œ๋ฒ„๋ฅผ ๋„์šธ ์ˆ˜ ์žˆ๊ฒŒ ๋์–ด์š”.

hf jobs run ๋ช…๋ น์–ด์— ๊ณต์‹ vllm/vllm-openai ์ปจํ…Œ์ด๋„ˆ๋ฅผ ์ง€์ •ํ•˜๋ฉด ํฌํŠธ 8000์œผ๋กœ ์—”๋“œํฌ์ธํŠธ๊ฐ€ ์ƒ๊ธฐ๊ฑฐ๋“ ์š”. VM ์„ธํŒ…๋„, Kubernetes๋„ ์—†์ด์š”. ๋น„์šฉ์€ ์žก์ด ์‹คํ–‰๋˜๋Š” ์‹œ๊ฐ„๋งŒํผ๋งŒ ์ดˆ ๋‹จ์œ„๋กœ ์ฒญ๊ตฌ๋˜๋Š” ๊ตฌ์กฐ์˜ˆ์š”.

ํ…Œ์ŠคํŠธ, ํ‰๊ฐ€, ๋ฐฐ์น˜ ์ƒ์„ฑ, ๋น ๋ฅธ ๋ชจ๋ธ ์‹คํ—˜์— ๋”ฑ ๋งž๋Š” ๋ฐฉ์‹์ด์—์š”. ์„œ๋ฒ„ ํ”„๋กœ๋น„์ €๋‹ ์—†์ด HF ์ธํ”„๋ผ ์œ„์—์„œ LLM ์—”๋“œํฌ์ธํŠธ๋ฅผ ๋ฐ”๋กœ ์“ธ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒŒ ํ•ต์‹ฌ์ด๊ฑฐ๋“ ์š”.

์žฅ๊ธฐ ์šด์˜์ด ํ•„์š”ํ•˜๋ฉด HF Inference Endpoints๋กœ ๊ฐ€๋ฉด ๋˜๊ณ , ๋‹จ๋ฐœ์„ฑ ์ž‘์—…์—” ์ด ๋ฐฉ์‹์ด ํ›จ์”ฌ ๊ฐ€๋ณ๊ฒŒ ์“ธ ์ˆ˜ ์žˆ์–ด์š”.

์ด ๊ธ€์ด ์–ด๋• ๋‚˜์š”?

๊ด€๋ จ ๊ธ€

๊ณต๊ฐœ ๋ณด์•ˆ ์Šค์บ๋„ˆ๋Š” ์‹ค์ œ ๋ฐฉ๋ฌธ์ž๊ฐ€ ๋ณผ ์ˆ˜ ์žˆ๋Š” ๊ฒƒ๋งŒ ๊ฒ€์‚ฌํ•ด์š”

๊ณต๊ฐœ ๋ณด์•ˆ ์Šค์บ๋„ˆ๋Š” ์‹ค์ œ ๋ฐฉ๋ฌธ์ž๊ฐ€ ๋ณผ ์ˆ˜ ์žˆ๋Š” ๊ฒƒ๋งŒ ๊ฒ€์‚ฌํ•ด์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

์ค‘๊ตญ ์‚ฌ์ด๋ฒ„๊ณต๊ฐ„๊ด€๋ฆฌ๊ตญ(CAC)์ด ์•Œ๋ฆฌ๋ฐ”๋ฐ”์˜ Qwen AI ๋ชจ๋ธ์„ ํƒ‘์žฌํ•œ ์• ํ”Œ์˜ AI ์„œ๋น„์Šค๋ฅผ ๊ณต์‹ ์Šน์ธํ–ˆ๊ฑฐ๋“ ์š”

์ค‘๊ตญ ์‚ฌ์ด๋ฒ„๊ณต๊ฐ„๊ด€๋ฆฌ๊ตญ(CAC)์ด ์•Œ๋ฆฌ๋ฐ”๋ฐ”์˜ Qwen AI ๋ชจ๋ธ์„ ํƒ‘์žฌํ•œ ์• ํ”Œ์˜ AI ์„œ๋น„์Šค๋ฅผ ๊ณต์‹ ์Šน์ธํ–ˆ๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”

์ œ๋ฏธ๋‚˜์ด 2.5 ํ”„๋กœ ์ดํ›„ ํ›„์† ํ”Œ๋ž˜๊ทธ์‹ญ ์—†์ด ์ง€๋‚ด์˜จ ๊ตฌ๊ธ€์ด ์ด๋ฒˆ์—” ์ œ๋ฏธ๋‚˜์ด 3.5 ํ”„๋กœ๋กœ ๋ฐ˜๊ฒฉ์„ ์˜ˆ๊ณ ํ•˜๊ฑฐ๋“ ์š”

์ œ๋ฏธ๋‚˜์ด 2.5 ํ”„๋กœ ์ดํ›„ ํ›„์† ํ”Œ๋ž˜๊ทธ์‹ญ ์—†์ด ์ง€๋‚ด์˜จ ๊ตฌ๊ธ€์ด ์ด๋ฒˆ์—” ์ œ๋ฏธ๋‚˜์ด 3.5 ํ”„๋กœ๋กœ ๋ฐ˜๊ฒฉ์„ ์˜ˆ๊ณ ํ•˜๊ฑฐ๋“ ์š”.

์žก๋Œ์Œค2๋ถ„ ์†Œ์š”