뉴스 - 원문 기반 요약 필요

제목(한글): Together AI, OSCAR로 KV 캐시 INT2 공개 원문 제목(영문): Together AI Open-Sources OSCAR: An Attention-Aware 2-Bit KV Cache Quantization System for Long-Context LLM Serving 원문: Together AI Open-Sources OSCAR: An Attention-Aware 2-Bit KV Cache Quantization System for Long-Context LLM Serving 소스: marktechpost MD 파일: content/2026-05-26/marktechpost-together-ai-open-sources-oscar-an-attention-aware-.md

핵심 내용

Together AI가 장문맥 LLM 서빙용 2비트 KV 캐시 양자화 시스템 OSCAR를 오픈소스로 공개했어요.

문제는 컨텍스트가 10만 토큰까지 길어지고 동시 요청이 수십 개로 늘면, KV 캐시가 GPU 메모리의 큰 비중을 차지한다는 점이었거든요. 기존 INT2는 정확도 하락이 크거나 paged KV-cache와 호환이 어려웠어요.

OSCAR는 KV 분포 자체가 아니라 어텐션 통계, 특히 쿼리 공분산 Q⊤Q를 기준으로 회전(Offline Spectral Covariance-Aware Rotation)해요. INT2처럼 표현 레벨이 4개뿐인 환경에서 오차를 중요한 방향에서 비켜가게 설계한 게 핵심이에요.

결국 긴 문맥 추론의 병목이던 메모리 비용을 줄이면서 배치 확장 가능성을 연 접근이라, 실서비스 LLM 효율 경쟁의 기준을 바꿀 수 있어요.

잡돌쌤의 한마디

OSCAR는 쿼리 공분산(Q⊤Q) 기반 회전으로 INT2의 4레벨 한계를 보완해요. 긴 문맥 서빙에서 메모리 효율과 배치 확장성을 동시에 노리는 접근이에요.

---

출처: Together AI Open-Sources OSCAR: An Attention-Aware 2-Bit KV Cache Quantization System for Long-Context LLM Serving