Hugging Face Jobs์์ ๋ช ๋ น์ด ํ๋๋ก ํ๋ผ์ด๋น OpenAI ํธํ vLLM ์๋ฒ๋ฅผ ๋์ธ ์ ์๊ฒ ๋์ด์.
hf jobs run ๋ช
๋ น์ด์ ๊ณต์ vllm/vllm-openai ์ปจํ
์ด๋๋ฅผ ์ง์ ํ๋ฉด ํฌํธ 8000์ผ๋ก ์๋ํฌ์ธํธ๊ฐ ์๊ธฐ๊ฑฐ๋ ์. VM ์ธํ
๋, Kubernetes๋ ์์ด์. ๋น์ฉ์ ์ก์ด ์คํ๋๋ ์๊ฐ๋งํผ๋ง ์ด ๋จ์๋ก ์ฒญ๊ตฌ๋๋ ๊ตฌ์กฐ์์.
ํ ์คํธ, ํ๊ฐ, ๋ฐฐ์น ์์ฑ, ๋น ๋ฅธ ๋ชจ๋ธ ์คํ์ ๋ฑ ๋ง๋ ๋ฐฉ์์ด์์. ์๋ฒ ํ๋ก๋น์ ๋ ์์ด HF ์ธํ๋ผ ์์์ LLM ์๋ํฌ์ธํธ๋ฅผ ๋ฐ๋ก ์ธ ์ ์๋ค๋ ๊ฒ ํต์ฌ์ด๊ฑฐ๋ ์.
์ฅ๊ธฐ ์ด์์ด ํ์ํ๋ฉด HF Inference Endpoints๋ก ๊ฐ๋ฉด ๋๊ณ , ๋จ๋ฐ์ฑ ์์ ์ ์ด ๋ฐฉ์์ด ํจ์ฌ ๊ฐ๋ณ๊ฒ ์ธ ์ ์์ด์.