문제는 1조 파라미터급 모델을 bf16으로 다루면 가중치만 약 1TB가 된다는 점이었거든요

허깅페이스가 TRL에 Delta Weight Sync를 도입해 초대형 RL 모델 배포 병목을 줄였어요.

문제는 1조 파라미터급 모델을 bf16으로 다루면 가중치만 약 1TB가 된다는 점이었거든요. 비동기 RL에서 이 전체를 계속 옮기면 속도와 비용이 급격히 커져요.

이번 방식은 변경된 가중치만 델타로 보내요. 트레이너 쪽은 옵티마이저 훅으로 불리언 마스크를 만들고, vLLM 쪽은 약 30줄 확장으로 반영해요. 전송 포맷은 safetensors를 써서 파이프라인도 단순화했어요.

핵심은 매 스텝마다 1TB를 복사하던 구조를, 실제 변경분 중심으로 바꿨다는 점이에요. 대형 RL 서빙의 실전 가능성을 한 단계 끌어올린 접근이에요.