정답률 신호는 유지하면서도, 과정 품질 평가를 따로 분리해 안정적으로 올린 방법이거든요

PAPO가 추론형 RL 학습의 고질병을 잡았어요. 정답률 신호는 유지하면서도, 과정 품질 평가를 따로 분리해 안정적으로 올린 방법이거든요.

기존 ORM은 최종 정답만 보니 “왜 맞았는지”를 구분 못 하고, 집단이 다 맞기 시작하면 학습 신호가 약해졌어요. 반대로 PRM을 그대로 쓰면 장황한 답변으로 점수만 올리는 보상 해킹이 생겼고 정확도는 무너졌어요.

논문은 GRPO에 PAPO를 붙여 이걸 분리했어요. Aout은 전체 응답 기준 정규화로 정답성 앵커를 잡고, Aproc은 정답한 응답끼리만 정규화해 추론 품질만 비교해요. 6개 벤치마크, 여러 모델 스케일에서 일관되게 ORM 대비 우세했고 OlympiadBench는 46.3%에서 51.3%로 올랐어요.

핵심은 “정답”과 “좋은 추론”을 같은 보상축에 섞지 않는 설계가, 앞으로 LLM RL의 안정성과 확장성을 가를 포인트라는 점이에요.