H100 64장으로 실시간 LLM 서빙을 했더니 이상한 일이 벌어졌거든요

LLM 추론 GPU의 활용률이 92%에서 28%로 뚝 떨어지는 이유가 있어요.

H100 64장으로 실시간 LLM 서빙을 했더니 이상한 일이 벌어졌거든요. 프롬프트를 읽는 프리필(prefill) 단계에선 텐서 코어가 92%까지 치솟는데, 토큰을 하나씩 뽑아내는 디코드(decode) 단계에선 같은 GPU가 28~30%로 쪼그라들었어요. 64장 값을 내면서 실제론 20장 분량만 일하고 있었던 셈이에요.

이유는 두 단계가 완전히 다른 연산이기 때문이에요. 프리필은 행렬 곱셈 문제라 연산 성능이 병목이고, 디코드는 KV 캐시를 매 스텝마다 읽어야 해서 메모리 대역폭이 병목이에요. 산술 강도가 단계 사이에 5배나 떨어지는 거예요.

이 문제를 풀기 위해 "분리형 추론(disaggregated inference)"이 나왔어요. 2024년 UC샌디에이고 연구진의 DistServe 논문에서 제안됐고, 지금은 Perplexity가 프로덕션에 쓰고 있고 Meta, LinkedIn, Mistral도 도입했어요. NVIDIA는 아예 Dynamo라는 전용 프레임워크를 만들었고, vLLM과 SGLang도 기본 지원해요.

GPU 한 풀이 두 가지 일을 동시에 잘할 수 없다는 게 이제 업계 상식이 되고 있어요.