수학자 Adam Kucharski가 감정 응답 2,000개를 UK로 라벨링하고, 동일한 2,000개를 US로 복제해 총 4,000개를 Auto 모드로 분석시켰더니, Copilot은 톤·강도·표현 차이가 있다고 결론냈

Copilot 자동 모델 선택이 같은 데이터도 국가별 차이로 꾸며낼 수 있다는 실험 결과가 나왔어요.

수학자 Adam Kucharski가 감정 응답 2,000개를 UK로 라벨링하고, 동일한 2,000개를 US로 복제해 총 4,000개를 Auto 모드로 분석시켰더니, Copilot은 톤·강도·표현 차이가 있다고 결론냈거든요. 실제 데이터는 완전히 동일했어요.

두 번째 실험에서도 같은 문장 200개를 미국·영국·프랑스·독일·이탈리아 5개국으로 복제했는데, 이탈리아는 예술 성향 3배, 미국은 프랑스보다 비즈니스 성향 1.5배라는 수치를 제시했어요. 키워드 카운트는 동일하다고 확인해놓고도, 임의 퍼센트를 다시 만들어냈어요.

기본값 Auto를 그대로 쓰면 분석이 데이터보다 모델의 고정관념을 반영할 수 있다는 신호예요.