RTX 3090 한 장으로 700억 파라미터 AI를 돌린다고요

RTX 3090 한 장으로 700억 파라미터 AI를 돌린다고요?

NTransformer라는 오픈소스 프로젝트가 Hacker News에서 화제예요. Llama 3.1 70B 모델을 24GB짜리 GPU 한 장에서 실행하는 엔진이거든요.

비결은 3단계 캐싱이에요. GPU 메모리에 올릴 수 있는 레이어는 올리고, 나머지는 RAM에, 그것도 안 되면 NVMe SSD에서 직접 GPU로 보내요. CPU를 아예 거치지 않아요.

성능이 인상적인데요. 기존 방식 대비 83배 빨라졌대요. 8B 모델은 초당 49토큰으로 거의 실시간이에요.

70B는 아직 초당 0.5토큰이라 실용적이진 않지만, "비싼 서버 없이 집에서 대형 AI를 돌릴 수 있다"는 가능성을 보여준 거예요.

C++/CUDA로 직접 만들었고, PyTorch 같은 외부 라이브러리도 안 쓴대요. 진짜 하드코어 프로젝트예요.