기존 강화학습 방식은 생성된 답변 전체에 동일한 보상을 나눠줬거든요

알리바바 Qwen 팀이 AI 추론 모델의 한계를 뚫는 새 알고리즘 FIPO를 공개했어요.

기존 강화학습 방식은 생성된 답변 전체에 동일한 보상을 나눠줬거든요. 핵심 추론을 시작한 토큰이든 그냥 쉼표든 똑같이 취급하다 보니, 모델의 사고 체인이 어느 길이 이상으로 늘어나지 않는 천장 문제가 생겼어요.

FIPO는 이걸 "해당 토큰 이후 모델 행동이 얼마나 바뀌는지"로 보상을 차등 지급하는 방식으로 해결해요. 생산적인 추론 체인을 시작한 토큰엔 더 큰 보상을, 잘못된 방향으로 이끈 토큰엔 적은 보상을 주는 거예요. 실제로 AIME 2024 벤치마크에서 DAPO가 50% 수준에서 정체된 반면 FIPO는 56~58%까지 올라갔고, 사고 과정의 길이도 기존 대비 2배로 늘었어요.

별도의 보조 모델 없이도 PPO 기반 방법들과 동등한 성능을 낸다는 점이 특히 주목할 만한데, AI 추론 능력의 천장을 학습 방식 자체로 돌파할 수 있다는 가능성을 보여줘요.