기존 PPO는 긴 추론 과정에서 크레딧 할당이 불안정하고 값 모델 메모리 비용이 크다는 문제가 있었어요

LLM 강화학습 훈련을 더 효율적으로 만드는 새 알고리즘 SPPO가 ACL 2026에 채택됐어요.

기존 PPO는 긴 추론 과정에서 크레딧 할당이 불안정하고 값 모델 메모리 비용이 크다는 문제가 있었어요. 이를 피하려고 GRPO 같은 방식을 쓰면 이번엔 여러 샘플을 뽑아야 해서 학습 속도가 크게 떨어졌거든요.

SPPO는 추론 과정을 시퀀스 단위 문제로 재정의하고, 분리된 스칼라 값 함수로 분산이 낮은 어드밴티지 신호를 뽑아내요. 다중 샘플링 없이도 안정적인 학습이 가능해서 수학 벤치마크에서 표준 PPO를 크게 앞서고, 무거운 그룹 기반 방식과 비슷한 성능을 훨씬 적은 자원으로 달성했어요.

LLM을 추론 태스크에 맞게 정렬할 때 샘플 효율과 안정성을 동시에 잡을 수 있다는 점에서, 대형 모델 훈련 비용을 낮추는 실용적인 방향을 제시한 연구예요.