2026-06-26

`hf jobs run` λͺ…령어에 곡식 `vllm/vllm-openai` μ»¨ν…Œμ΄λ„ˆλ₯Ό μ§€μ •ν•˜λ©΄ 포트 8000으둜 μ—”λ“œν¬μΈνŠΈκ°€ μƒκΈ°κ±°λ“ μš”

πŸ’‘ ν•œμ€„ μš”μ•½|hf jobs run λͺ…령어에 곡식 vllm/vllm-openai μ»¨ν…Œμ΄λ„ˆλ₯Ό μ§€μ •ν•˜λ©΄ 포트 8000으둜 μ—”λ“œν¬μΈνŠΈκ°€ μƒκΈ°κ±°λ“ μš”.

Hugging Face Jobsμ—μ„œ λͺ…λ Ήμ–΄ ν•˜λ‚˜λ‘œ 프라이빗 OpenAI ν˜Έν™˜ vLLM μ„œλ²„λ₯Ό λ„μšΈ 수 있게 λμ–΄μš”.

hf jobs run λͺ…령어에 곡식 vllm/vllm-openai μ»¨ν…Œμ΄λ„ˆλ₯Ό μ§€μ •ν•˜λ©΄ 포트 8000으둜 μ—”λ“œν¬μΈνŠΈκ°€ μƒκΈ°κ±°λ“ μš”. VM μ„ΈνŒ…λ„, Kubernetes도 μ—†μ΄μš”. λΉ„μš©μ€ 작이 μ‹€ν–‰λ˜λŠ” μ‹œκ°„λ§ŒνΌλ§Œ 초 λ‹¨μœ„λ‘œ μ²­κ΅¬λ˜λŠ” κ΅¬μ‘°μ˜ˆμš”.

ν…ŒμŠ€νŠΈ, 평가, 배치 생성, λΉ λ₯Έ λͺ¨λΈ μ‹€ν—˜μ— λ”± λ§žλŠ” λ°©μ‹μ΄μ—μš”. μ„œλ²„ ν”„λ‘œλΉ„μ €λ‹ 없이 HF 인프라 μœ„μ—μ„œ LLM μ—”λ“œν¬μΈνŠΈλ₯Ό λ°”λ‘œ μ“Έ 수 μžˆλ‹€λŠ” 게 ν•΅μ‹¬μ΄κ±°λ“ μš”.

μž₯κΈ° 운영이 ν•„μš”ν•˜λ©΄ HF Inference Endpoints둜 κ°€λ©΄ 되고, λ‹¨λ°œμ„± μž‘μ—…μ—” 이 방식이 훨씬 κ°€λ³κ²Œ μ“Έ 수 μžˆμ–΄μš”.

이 글이 μ–΄λ• λ‚˜μš”?