arXiv 2603.23714(2026-03-24)에서 GPT·Llama 계열 모델을 과제별 추가학습 없이 비교했는데, 사람 점수와의 일치도가 전반적으로 약했고 에세이 특성에 따라 크게 달라졌어요

결론부터 말하면, LLM 에세이 채점은 사람 채점과 아직 꽤 다르게 움직여요.

arXiv 2603.23714(2026-03-24)에서 GPT·Llama 계열 모델을 과제별 추가학습 없이 비교했는데, 사람 점수와의 일치도가 전반적으로 약했고 에세이 특성에 따라 크게 달라졌어요.

특히 LLM은 짧거나 전개가 약한 글엔 점수를 더 후하게 주는 경향이 있었고, 반대로 긴 글에서 문법·철자 실수가 조금만 있어도 더 낮게 주는 패턴이 확인됐어요. 다만 칭찬이 많을수록 고득점, 비판이 많을수록 저득점처럼 피드백-점수 일관성은 높았어요.

의미는 분명해요. LLM 채점은 단독 판정보다 보조 평가·초안 피드백 용도로 쓰는 게 지금은 더 안전하거든요.