쉬운 단계 5/5, 중간 단계 40/40, 어려운 단계 4개 중 1개 통과 — Q8이든 Q4든 숫자는 동일했거든요

Qwen2.5-Coder-7B을 Q8(7.6GB)과 Q4(4.6GB) 두 버전으로 동일한 에이전트 테스트에 돌렸더니 점수가 완전히 똑같이 나왔어요.

쉬운 단계 5/5, 중간 단계 40/40, 어려운 단계 4개 중 1개 통과 — Q8이든 Q4든 숫자는 동일했거든요. 점수만 보면 "차이 없으니까 작은 Q4 쓰면 되겠다"는 결론이 나와요.

그런데 어려운 단계에서 실패하는 방식이 완전히 달랐어요. 점수표엔 둘 다 "1/4 실패"로 찍히지만, 어떻게 무너지는지를 보면 전혀 다른 모델이에요. 벤치마크 숫자가 말해주지 못하는 걸 실패 패턴이 말해주는 거예요.