Qwen3, Qwen2.5 두 모델 패밀리에 GRPO 등 3가지 RL 알고리즘을 적용한 실험인데요

LLM 강화학습(RL) 파인튜닝, 레이어 1개만 학습해도 전체 파라미터 학습과 거의 같은 성능이 나온다는 연구가 나왔어요.

Qwen3, Qwen2.5 두 모델 패밀리에 GRPO 등 3가지 RL 알고리즘을 적용한 실험인데요. 수학 추론·코드 생성·에이전틱 의사결정 등 여러 태스크에서 공통적으로 '중간 레이어'에 학습 효과가 집중된다는 패턴이 일관되게 나타났어요. 입출력 끝 레이어는 기여도가 현저히 낮았고요.

7개 모델 실험 전반에서 레이어 기여도 순위가 데이터셋·태스크·알고리즘을 바꿔도 강한 상관관계를 유지했어요. RL 파인튜닝 비용을 극적으로 줄일 수 있는 단서가 될 수 있어요.