레딧에서 샤오미 12Pro를 24시간 AI 서버로 돌린 사례가 공유됐거든요

오래된 스마트폰이 GPT-4를 이길 수 있다는 실험이 화제예요. 레딧에서 샤오미 12Pro를 24시간 AI 서버로 돌린 사례가 공유됐거든요.

핵심은 비용이에요. 하루 5만 건 텍스트를 분류하는 파이프라인 기준으로, OpenAI gpt-4o-mini는 월 36만 원이 드는데 로컬 Ollama는 전기세만 나와요. 4비트 양자화된 2B4B 파라미터 모델이 요약, 분류, 간단한 코드 리뷰는 충분히 처리할 수 있게 됐거든요.

방향도 달라졌어요. "로컬 모델이 GPT-4를 대체할 수 있냐"가 아니라 "어떤 작업은 클라우드에, 어떤 작업은 로컬에 맡겨야 하냐"로 질문이 바뀐 거예요. Ollama 덕분에 로컬 모델 실행이 docker pull 수준으로 단순해진 것도 한몫했어요.

서랍 속 안 쓰는 폰이 AI 인프라가 되는 시대가 왔어요.