수학 추론 벤치마크(AIME25, 32K 토큰 생성)에서 기존 Full Attention과 동일한 정확도를 유지하면서 처리 속도는 2.5배, KV 메모리는 10.7배 줄이는 데 성공했거든요

MIT, NVIDIA, 저장대 연구팀이 KV 캐시 압축 기법 'TriAttention'을 발표했어요.

수학 추론 벤치마크(AIME25, 32K 토큰 생성)에서 기존 Full Attention과 동일한 정확도를 유지하면서 처리 속도는 2.5배, KV 메모리는 10.7배 줄이는 데 성공했거든요. 기존 최고 수준 방법들은 같은 효율에서 정확도가 절반밖에 안 됐어요.

핵심은 RoPE(회전 위치 인코딩)가 만드는 문제를 해결한 거예요. 기존 SnapKV, H2O 같은 방법들은 위치 인코딩이 적용된 이후 공간에서 중요 토큰을 판단해서, 최근 토큰 기준으로만 제대로 작동하는 한계가 있었어요.

DeepSeek-R1처럼 수만 토큰을 생성하는 추론 모델이 늘어나는 상황에서, GPU 메모리 한계를 돌파하는 실용적인 해법이 나온 셈이에요.