Ollama ์ค์นํ๋ค๊ณ ๋์ด ์๋์์. ๊ธฐ๋ณธ ์ปจํ ์คํธ ์ฐฝ์ด 2048 ํ ํฐ์ด๋ผ, 600์ค์ง๋ฆฌ ํ์ผ์ ๋ถ์ฌ๋ฃ์ผ๋ฉด ์ ๋ฐ ์ด์์ด ์กฐ์ฉํ ์๋ ค๋๊ฐ ์ฑ๋ก ๋ชจ๋ธ์ด ๋ต์ ๋ด๊ฑฐ๋ ์.
Ollama๋ ์ฌ์ค llama.cpp ์์ ์น์ ๋ํผ์์. ๋ชจ๋ธ์ GGUF ํฌ๋งท์ผ๋ก ๊ฐ์ค์นยทํ ํฌ๋์ด์ ยท์ํคํ ์ฒ ์ค์ ์ ํ ํ์ผ์ ๋ด์์ ๋ฐฐํฌํ๋ ๊ตฌ์กฐ๊ณ , 2023๋ 7์์ ์ฒซ ์ถ์๋์ด์.
๋ก์ปฌ ์คํ์ ํต์ฌ์ ์์ํ(quantization)์์. 16๋นํธ ๋ถ๋์์์ ๊ฐ์ค์น๋ฅผ 4๋นํธ ์ ์๋ก ์์ถํ๋ฉด ๋ฉ๋ชจ๋ฆฌ ์๊ตฌ๋์ด ํ ์ค์ด๋๋๋ฐ, ์ด ์ซ์๊ฐ ๋ด GPU ๋ฉ๋ชจ๋ฆฌ๋ ๋ง๋์ง๊ฐ ์ค์ ์ฑ๋ฅ์ ๊ฒฐ์ ํด์.
'API ์ฐ๋ฉด ๋์ง ์ ๊ตณ์ด?'๋ผ๋ ์ง๋ฌธ์ ์์งํ ๋ต์ด ํ์ํ ๋ถ์ด๋ผ๋ฉด, ํ๋์จ์ด ์๊ตฌ๋๊ณผ ๊ธฐ๋ณธ ์ค์ ํจ์ ๋ถํฐ ํ์ ํ๊ณ ์์ํ๋ ๊ฒ ๋ง์์.