vLLM v0.18.0 기준으로, 이 실험의 핵심은 병렬화 전략이었거든요

GPU 96장(B200)으로 Qwen 3.5 27B를 초당 100만 토큰 이상 서빙한 결과가 나왔어요.

vLLM v0.18.0 기준으로, 이 실험의 핵심은 병렬화 전략이었거든요. 같은 8-way 설정에서도 DP=8이 TP=8 대비 처리량을 거의 4배까지 끌어올렸어요.

중간급 크기 모델(27B)에서는 텐서 병렬화의 통신 오버헤드가 발목을 잡을 수 있다는 점이 확인된 셈이에요. 여기에 TurboQuant 4비트 양자화를 쓰면 메모리를 3.2배 절약할 수 있고, Mistral의 오픈웨이트 Voxtral TTS도 함께 주목받고 있어요.

결국 포인트는 “GPU 수보다 설정”이에요. 대형 클러스터가 없어도 vLLM에서 DP/TP 선택과 양자화 조합이 체감 성능을 크게 바꿔줄 수 있어요.