기존 RLHF는 사람 선호를 스칼라나 쌍비교 라벨로 압축해 보상 해킹과 편향에 취약했는데요, ARR은 비교 전에 VLM이 프롬프트별 평가 기준을 먼저 만들고 차원별로 검증하게 해요

새 논문 ARR-RPO가 멀티모달 모델 보상을 점수 1개가 아니라 명시적 루브릭으로 바꾸자고 제안했어요.

기존 RLHF는 사람 선호를 스칼라나 쌍비교 라벨로 압축해 보상 해킹과 편향에 취약했는데요, ARR은 비교 전에 VLM이 프롬프트별 평가 기준을 먼저 만들고 차원별로 검증하게 해요. 이 방식이 positional bias 같은 평가 편향을 줄이고 zero-shot, few-shot(최소 감독)에서도 동작한다고 밝혔어요.

여기에 RPO를 붙여 다차원 평가를 안정적인 이진 보상으로 증류해 정책 학습을 안정화했고, 텍스트-투-이미지와 이미지 편집 벤치마크에서 쌍비교 보상모델과 VLM 심판보다 성능이 높았어요. 28페이지, 그림 10개, 표 11개로 공개된 arXiv:2605.08354 결과예요.

핵심은 모델이 지식을 몰라서가 아니라, 선호를 분해해 다룰 인터페이스가 부족했다는 문제제기예요.