방법은 정말 단순해요

LLM이 검증자도, 교사 모델도, 강화학습도 없이 자기 자신의 출력만으로 코드 실력을 키울 수 있다는 게 논문으로 증명됐어요.

방법은 정말 단순해요. 모델이 생성한 코드 샘플을 그냥 다시 파인튜닝 데이터로 쓰는 거예요. 이걸 "단순 자기 증류(SSD)"라고 부르는데, Qwen3-30B 모델의 LiveCodeBench v6 pass@1 점수를 42.4%에서 55.3%로 끌어올렸거든요. 특히 어려운 문제일수록 향상 폭이 더 컸어요.

Qwen, Llama 모두에서 4B, 8B, 30B 규모에 걸쳐 일관되게 효과가 나왔어요. 원리를 파고들어 보면, 모델 디코딩 과정에서 정밀도와 탐색이 충돌하는 구조적 문제가 있는데, SSD가 문맥에 따라 토큰 분포를 재조정해서 이 갈등을 해소해요.

추가 인프라 없이 자기 자신을 교사 삼아 성장할 수 있다는 게, AI 학습 비용을 획기적으로 낮출 수 있는 방향으로 주목받을 것 같아요.