핵심은 백엔드가 달라도 추론 인터페이스를 통일한 점이에요

Qwen3.5 추론 모델을 콜랩에서 27B GGUF와 2B 4비트로 플래그 하나로 전환해 돌리는 구현이 공개됐어요.

핵심은 백엔드가 달라도 추론 인터페이스를 통일한 점이에요. GPU를 먼저 점검하고, 경로에 따라 llama.cpp 또는 transformers+bitsandbytes를 설치한 뒤 generate_fn·stream_fn으로 같은 방식으로 호출하게 만들었거든요.

27B 경로에선 CUDA 기반 llama-cpp-python을 설치하고, 허깅페이스의 Q4_K_M GGUF 파일 약 16.5GB를 내려받아요. 로드 설정은 n_ctx 8192, n_gpu_layers 40, n_threads 4로 제시됐고, 설치 시간도 3~5분으로 안내됐어요.

의미는 분명해요. 대형 추론(27B)과 경량 추론(2B 4비트)을 같은 코드 구조에서 오가며, 멀티턴 ChatSession과 추론/최종답 분리 파싱까지 실험 재현성을 높였다는 점이에요.