PACED: Distillation at the Frontier of Student Competence

PACED 논문이 “학생 모델이 막 배울 수 있는 난이도”에만 증류를 집중하는 방법을 제시했어요.

핵심은 통과율 p 기반 가중치 w(p)=p^α(1-p)^β예요. 학생이 이미 푸는 문제(통과율 높음)와 너무 어려운 문제(통과율 낮음) 모두에서 증류 신호대잡음비(SNR)가 0에 가까워진다는 걸 이론으로 보였거든요.

또 이 Beta 커널 계열이 구조적으로 타당하고, 가중치 오차가 있어도 최악 효율 손실이 O(δ^2)로 작다고 밝혔어요. Forward KL 증류, Reverse KL 자기증류 모두 베이스라인 대비 향상을 보였고, 망각은 낮게 유지했다고 해요.

특히 Forward KL 다음 Reverse KL 2단계가 추론 벤치마크에서 가장 강했는데, “모드 커버리지 후 성능 고정” 전략이 실전 증류의 표준이 될 가능성을 보여줘요.