핵심은 모델 구조나 옵티마이저를 안 바꾸고, 학습 초반 일부 단계에서 토큰을 묶어 처리량을 늘리는 방식이에요

Nous Research가 LLM 사전학습 속도를 최대 2.5배 높이는 TST를 공개했어요.

핵심은 모델 구조나 옵티마이저를 안 바꾸고, 학습 초반 일부 단계에서 토큰을 묶어 처리량을 늘리는 방식이에요. 논문 기준으로 r=0.2~0.4 구간에서 시퀀스를 s개 토큰 단위로 합쳐 L/s 길이로 학습하고, 같은 FLOPs를 맞추려고 입력 길이는 s배로 늘렸거든요.

10B-A1B MoE 실험에서는 최종 loss도 기준선보다 낮았고, 학습량은 12,311 B200 GPU-hours에서 4,768로 줄었어요. 시간 기준 약 2.5배 절감이에요.

비용이 큰 프리트레이닝에서 아키텍처 변경 없이 처리량만 끌어올릴 수 있다는 점이 실무 도입 포인트예요.