ServiceNow AI가 강화학습 훈련 인프라를 vLLM V0에서 V1으로 마이그레이션하면서 발견한 4가지 핵심 버그를 공개했어요

ServiceNow AI가 강화학습 훈련 인프라를 vLLM V0에서 V1으로 마이그레이션하면서 발견한 4가지 핵심 버그를 공개했어요.

문제의 핵심은 "학습-추론 불일치"였어요. vLLM이 토큰 로그확률을 계산하는 방식이 달라지면 정책 비율, KL 발산, 클립 레이트 같은 RL 지표 전체가 흔들리거든요. V0(0.8.5)와 V1(0.18.1) 사이에서 바로 이 현상이 발생했어요.

수정 항목은 네 가지예요. 롤아웃 로그확률 처리 방식, V1 전용 런타임 기본값, 인플라이트 가중치 업데이트 경로, 그리고 최종 프로젝션에 사용되는 fp32 lm_head였어요. 이 네 가지를 모두 고친 뒤에야 클립 레이트, KL, 엔트로피, 리워드 곡선이 V0 기준선과 거의 일치했어요.

RL 프레임워크를 고도화할 때 추론 엔진의 수치 정확성을 먼저 검증해야 한다는 걸 보여주는 사례예요.