기존 LoRA는 랭크를 낮춰도 레이어 폭에 묶여 최소 업데이트가 크게 남는데, 예시로 Llama3-8B는 rank 1에서도 약 300만 파라미터가 필요했거든요

Meta FAIR·코넬·CMU가 TinyLoRA로 Qwen2.5-7B에서 단 13개 파라미터(26바이트, bf16)만 학습해 GSM8K 91.8%를 찍었어요.

기존 LoRA는 랭크를 낮춰도 레이어 폭에 묶여 최소 업데이트가 크게 남는데, 예시로 Llama3-8B는 rank 1에서도 약 300만 파라미터가 필요했거든요. TinyLoRA는 고정 가중치의 truncated SVD와 랜덤 텐서 투영을 써서 이 하한을 사실상 무너뜨렸어요.

핵심은 파라미터 공유 강도를 높여 업데이트 크기를 O(nmu/n_tie)로 줄인 설계예요. 극단적으로는 모든 모듈·레이어가 같은 벡터를 공유해 1개 파라미터까지도 가능하다고 해요.

또 초저파라미터 구간에선 SFT보다 RL(GRPO)이 훨씬 강했고, 같은 성능에 SFT가 100~1000배 큰 업데이트를 요구했어요. 미세튜닝 경쟁의 기준이 “얼마나 많이”가 아니라 “얼마나 압축해도 학습되느냐”로 바뀌는 신호예요.