실험은 8가지 시나리오(정상 4개, 쓰레기 4개)로 진행됐어요

AI 에이전트 품질 검사기로 3가지 모델을 테스트했더니, 강할수록 오히려 정상 결과물을 더 많이 걸러내는 역설적 결과가 나왔어요.

실험은 8가지 시나리오(정상 4개, 쓰레기 4개)로 진행됐어요. 위상 게이트만 쓰면 쓰레기 콘텐츠 오통과율이 50%인데, LLM 검사기를 붙이면 어떻게 될까요? 0.5B짜리 소형 모델은 여전히 쓰레기 25%를 통과시키고, 정상 작업의 50%를 틀리게 거부했어요.

수백 B 규모의 GLM-5.2는 쓰레기 오통과율을 0%로 낮췄지만, 정상 결과물의 무려 75%를 거부했거든요. 더 똑똑한 모델이 더 까다로운 기준을 적용하는 거예요.

'강한 모델을 쓰면 해결된다'는 말이 반만 맞는 거예요. 정확도와 관용의 트레이드오프는 여전히 남아있고, 이 문제엔 깔끔한 공학적 해법이 없다는 결론이에요.