35B 파라미터에 실제 활성화는 3B만 쓰는 MoE 구조라 GPU 메모리에 따라 bf16·int8·int4로 자동 전환되거든요

Qwen 3.6-35B-A3B 모델로 멀티모달 추론부터 세션 유지까지 구현하는 튜토리얼이 공개됐어요.

35B 파라미터에 실제 활성화는 3B만 쓰는 MoE 구조라 GPU 메모리에 따라 bf16·int8·int4로 자동 전환되거든요. 75GB 이상이면 풀 정밀도, 40GB대면 8비트, 그 이하면 4비트로 로드해요.

다루는 기능이 꽤 많아요. 생각 과정 토큰 예산 조절, 스트리밍 중 추론·답변 분리 출력, 이미지 입력 처리, 툴 콜링, JSON 구조화 생성, MoE 라우팅 분석, RAG 연동, 세션 영속성까지 한 튜토리얼에 담겼어요.

실험용 프로토타입을 넘어 실제 앱 레이어 설계까지 커버한다는 점에서, 오픈소스 멀티모달 모델을 실전에 붙이려는 개발자한테 참고 자료가 될 것 같아요.