장기 에이전트 학습에서 정확도는 유지하면서 롤아웃 턴을 4배 적게 써서 효율을 크게 끌어올린 프레임워크예요

엔비디아가 PivotRL을 공개했어요. 장기 에이전트 학습에서 정확도는 유지하면서 롤아웃 턴을 4배 적게 써서 효율을 크게 끌어올린 프레임워크예요.

기존엔 SFT는 저렴하지만 OOD 일반화가 약하고, E2E RL은 성능은 좋지만 매 업데이트마다 다회전 on-policy 롤아웃이 필요해 비용이 컸거든요. PivotRL은 기존 SFT 궤적을 재활용해 이 간극을 줄여요.

핵심은 전체 궤적 대신 턴 단위로 학습하는 구조예요. Pivot Filtering으로 보상 분산이 0보다 크고(σ²(s)>0), 평균 보상이 임계값보다 낮은(μ(s)<λdiff) 상태만 골라 학습해요. 여기에 Functional Rewards를 붙여 단순 문자열 일치 보상 한계도 보완해요.

결국 “어려운데 학습 신호가 큰 턴”에만 연산을 집중하는 전략이라, 에이전트형 AI의 비용 대비 성능 경쟁이 한 단계 빨라질 가능성이 커 보이네요.