2024 NeurIPS 논문에 따르면 GPT-4는 요약 과제에서 자신이 생성한 답변을 90% 이상의 비율로 상대 답변보다 우수하다고 평가했거든요

LLM 여러 개를 심사위원으로 세우면 공정한 평가가 될 것 같지만, 실제로는 자기 글에 높은 점수를 주는 '자기선호 편향'이 생겨요.

2024 NeurIPS 논문에 따르면 GPT-4는 요약 과제에서 자신이 생성한 답변을 90% 이상의 비율로 상대 답변보다 우수하다고 평가했거든요. 모델이 비슷한 문체의 글을 더 좋게 보는 거라, 같은 계열 모델끼리 심사하면 결국 문체 인기 투표가 돼버려요.

이 편향을 잡는 핵심은 익명화예요. 어느 모델이 생성했는지 메타데이터를 지우고 심사하면 가족 유사성 효과를 상당히 줄일 수 있어요. AI 평가 시스템을 설계할 때 반드시 고려해야 할 구조적 문제예요.