핵심은 20B 파라미터 모델(openai/gpt-oss-20b)을 Google Colab에서 MXFP4 양자화와 bfloat16 방식으로 로드하는 거예요

OpenAI가 공개한 오픈 웨이트 모델 GPT-OSS를 로컬에서 직접 실행하는 방법이 나왔어요.

핵심은 20B 파라미터 모델(openai/gpt-oss-20b)을 Google Colab에서 MXFP4 양자화와 bfloat16 방식으로 로드하는 거예요. 구조화 생성, 스트리밍, 멀티턴 대화, 도구 실행, 배치 추론까지 전부 로컬에서 돌릴 수 있거든요.

클로즈드 API와 가장 큰 차이는 "직접 들여다볼 수 있다"는 점이에요. 모델 가중치, 설정, 추론 흐름을 전부 조작할 수 있고, 데이터가 외부 서버로 나가지 않아요.

오픈 웨이트 모델이 단순 챗봇이 아니라 직접 설정하고 확장 가능한 인프라로 쓰이는 시대가 열리고 있는 거예요.