로컬 LLM 추론 속도를 끌어올리는 투트랙 기법인데요, 작은 draft 모델이 먼저 토큰 여러 개를 예측하면, 메인 모델이 한꺼번에 검증하는 방식이에요

llama.cpp에 Speculative Checkpointing이 공식 머지됐어요. 로컬 LLM 추론 속도를 끌어올리는 투트랙 기법인데요, 작은 draft 모델이 먼저 토큰 여러 개를 예측하면, 메인 모델이 한꺼번에 검증하는 방식이에요.

핵심은 "한 번에 여러 토큰 생성"이에요. 기존엔 토큰 하나씩 순차 생성했지만, draft 모델 예측이 맞으면 한 스텝에 복수 토큰을 확정할 수 있거든요. draft 연속 적중률이 높을수록 속도 향상폭도 커져요.

일반 소비자 하드웨어에서 llama.cpp를 돌리는 사람들에게 직접적인 성능 개선이 생긴 거예요. 오픈소스 로컬 추론 생태계가 계속 빨라지고 있다는 신호예요.