핵심은 기존 KD 손실을 그대로 대체하는 드롭인 방식이라는 점이에요

NVIDIA가 서로 다른 토크나이저끼리도 지식증류가 되게 하는 X-Token을 공개했어요.

핵심은 기존 KD 손실을 그대로 대체하는 드롭인 방식이라는 점이에요. 추가 학습 모듈이나 아키텍처 변경 없이, 토큰 불일치 문제를 로짓 분포 기반으로 다루도록 설계됐거든요.

기존 SOTA인 GOLD는 숫자 토큰에서 약점이 컸어요. 예를 들어 Llama의 2~3자리 숫자 토큰 1,100개가 Qwen3 교사 기준으로 전부 uncommon으로 밀려나고, 그 영향으로 GSM8k 정확도가 2.56까지 떨어졌어요. 반면 더 약한 Llama-3.2-3B 동일 토크나이저 KD는 12.89였고, X-Token은 Llama-3.2-1B 기준 GOLD 대비 평균 +3.82p를 기록했어요.

결국 강한 교사 모델을 토크나이저 제약 없이 활용할 수 있느냐가 소형 모델 성능 상한을 다시 올리는 포인트가 될 거예요.