Apache 2.0 라이선스로 PyPI에서 바로 설치할 수 있거든요

NVIDIA가 AITune이라는 오픈소스 추론 최적화 툴킷을 공개했어요. Apache 2.0 라이선스로 PyPI에서 바로 설치할 수 있거든요.

핵심은 PyTorch 모델에 가장 빠른 추론 백엔드를 자동으로 찾아준다는 거예요. TensorRT, Torch-TensorRT, TorchAO, Torch Inductor 등 여러 백엔드를 실제 모델과 하드웨어에서 벤치마킹한 뒤, 최적 조합을 골라줘요. 지금까지는 이걸 직접 비교하려면 상당한 커스텀 엔지니어링이 필요했거든요.

사용법도 단순해요. Python API 한 줄로 튜닝을 시작할 수 있고, 결과물은 바로 프로덕션 배포 가능한 상태로 나와요. CV, NLP, 음성 인식, 생성형 AI 등 다양한 워크로드를 지원하고, AOT(사전 튜닝)와 JIT(실시간 튜닝) 두 가지 모드도 제공돼요.

모델 연구에서 프로덕션 배포까지의 간극을 자동화로 메우려는 시도인데, GPU 추론 최적화에 드는 엔지니어링 비용이 크게 줄어들 수 있을 것 같아요.