기존 모델은 토큰을 왼쪽에서 오른쪽으로 하나씩 생성하는데, iLLaDA는 '확산(diffusion)' 방식이에요

바이트댄스와 런민대학 연구팀이 GPT·Claude와 다른 방식으로 작동하는 언어모델 iLLaDA(8B)를 공개했어요.

기존 모델은 토큰을 왼쪽에서 오른쪽으로 하나씩 생성하는데, iLLaDA는 '확산(diffusion)' 방식이에요. 마스크된 자리 표시자 전체를 여러 번 반복해서 동시에 다듬는 거거든요. 이미지 생성 AI가 노이즈에서 그림을 만들어내는 것과 비슷한 원리예요.

전작 LLaDA가 2.3조 토큰으로 학습한 것과 달리, iLLaDA는 12조 토큰으로 사전학습해서 벤치마크 점수가 21.6점 오르고 베이스 성능에서 Qwen2.5와 대등해졌어요.

아직 파인튜닝 후엔 기존 모델에 뒤처지지만, 구글 딥마인드도 DiffusionGemma를 내놓을 만큼 확산 언어모델이 주류 경쟁에 본격 진입한 거예요.