미니PC 환경에서도 GPT-4 대안 가능성을 보여준 벤치마크 결과거든요

2B 로컬 모델이 엔티티 추출에서 F1 0.645를 기록했어요. 미니PC 환경에서도 GPT-4 대안 가능성을 보여준 벤치마크 결과거든요.

테스트는 텍스트 15건(스페인어+영어 노트/메일/일기)과 사진 10장으로 진행됐고, 모델은 qwen3-vl:2b-instruct-q4_K_M 4비트 양자화 버전이에요. Ollama에서 CPU로 케이스당 2~4초, JSON 파싱 오류는 0건이었어요.

세부 성능은 사람명 F1 약 0.87로 가장 강했고, 위치 0.72, 프로젝트 0.65, 토픽 0.30 순이었어요. 매칭은 qwen3-embedding 1024차원, 임계값 0.75 유사도 기반이라 문구가 조금 달라도 같은 엔티티로 잡았어요.

결국 핵심은 하나 모델로 이미지 설명과 텍스트 추출을 함께 처리하면서 RAM 사용을 줄였다는 점이에요. 온디바이스 개인 지식그래프 구현이 현실권으로 들어온 신호예요.