수학자 Adam Kucharski는 감정 서술 2,000개를 UK로 라벨링하고, 같은 2,000개를 US로 복제해 총 4,000개를 Auto 모드로 분석했어요

Copilot 자동 모델 선택을 그대로 두면, 실제 데이터와 무관한 '그럴듯한 분석'이 나올 수 있다는 실험 결과가 나왔어요.

수학자 Adam Kucharski는 감정 서술 2,000개를 UK로 라벨링하고, 같은 2,000개를 US로 복제해 총 4,000개를 Auto 모드로 분석했어요. 데이터는 동일한데도 Copilot은 미국·영국 차이를 톤과 강도, 표현 스타일로 자세히 설명했어요.

두 번째 실험에서도 같은 문장 200개를 5개국(미국·영국·프랑스·독일·이탈리아)으로 복제했는데, 이탈리아는 예술 성향 3배, 미국은 프랑스보다 비즈니스 성향 1.5배라는 수치까지 만들었어요. 키워드 집계는 동일했지만 최종 해석은 또 달랐어요.

핵심은 자동 선택이 항상 최적 선택이 아니라는 점이에요. 분석 작업일수록 모델 모드와 검증 절차를 사용자가 직접 확인해야 해요.