기본 컨텍스트 창이 2048 토큰이라, 600줄짜리 파일을 붙여넣으면 절반 이상이 조용히 잘려나간 채로 모델이 답을 내거든요

Ollama 설치했다고 끝이 아니에요. 기본 컨텍스트 창이 2048 토큰이라, 600줄짜리 파일을 붙여넣으면 절반 이상이 조용히 잘려나간 채로 모델이 답을 내거든요.

Ollama는 사실 llama.cpp 위에 얹은 래퍼예요. 모델은 GGUF 포맷으로 가중치·토크나이저·아키텍처 설정을 한 파일에 담아서 배포하는 구조고, 2023년 7월에 첫 출시됐어요.

로컬 실행의 핵심은 양자화(quantization)예요. 16비트 부동소수점 가중치를 4비트 정수로 압축하면 메모리 요구량이 확 줄어드는데, 이 숫자가 내 GPU 메모리랑 맞는지가 실제 성능을 결정해요.

'API 쓰면 되지 왜 굳이?'라는 질문에 솔직한 답이 필요한 분이라면, 하드웨어 요구량과 기본 설정 함정부터 파악하고 시작하는 게 맞아요.