Hugging Face Jobsμμ λͺ λ Ήμ΄ νλλ‘ νλΌμ΄λΉ OpenAI νΈν vLLM μλ²λ₯Ό λμΈ μ μκ² λμ΄μ.
hf jobs run λͺ
λ Ήμ΄μ 곡μ vllm/vllm-openai 컨ν
μ΄λλ₯Ό μ§μ νλ©΄ ν¬νΈ 8000μΌλ‘ μλν¬μΈνΈκ° μκΈ°κ±°λ μ. VM μΈν
λ, Kubernetesλ μμ΄μ. λΉμ©μ μ‘μ΄ μ€νλλ μκ°λ§νΌλ§ μ΄ λ¨μλ‘ μ²κ΅¬λλ ꡬ쑰μμ.
ν μ€νΈ, νκ°, λ°°μΉ μμ±, λΉ λ₯Έ λͺ¨λΈ μ€νμ λ± λ§λ λ°©μμ΄μμ. μλ² νλ‘λΉμ λ μμ΄ HF μΈνλΌ μμμ LLM μλν¬μΈνΈλ₯Ό λ°λ‘ μΈ μ μλ€λ κ² ν΅μ¬μ΄κ±°λ μ.
μ₯κΈ° μ΄μμ΄ νμνλ©΄ HF Inference Endpointsλ‘ κ°λ©΄ λκ³ , λ¨λ°μ± μμ μ μ΄ λ°©μμ΄ ν¨μ¬ κ°λ³κ² μΈ μ μμ΄μ.