미국 교실 수업 기록 데이터셋(NCTE)을 활용해 7개 최신 모델을 테스트했는데, 교사 경력·학력·인종 같은 무관한 정보를 넣으면 7점 만점 척도에서 최대 1.48점이나 예측값이 바뀌었거든요

LLM이 관계없는 사회적 맥락 정보에 편향되는 문제를 84% 줄이는 방법이 나왔어요.

미국 교실 수업 기록 데이터셋(NCTE)을 활용해 7개 최신 모델을 테스트했는데, 교사 경력·학력·인종 같은 무관한 정보를 넣으면 7점 만점 척도에서 최대 1.48점이나 예측값이 바뀌었거든요. 흥미로운 건 모델 크기가 클수록 정확도는 높아도 이런 편향에 더 민감한 경우가 있었다는 거예요.

연구팀이 제안한 Debiasing-DPO는 맥락 없이 생성한 중립 추론과, 불필요한 맥락이 섞인 편향 추론을 쌍으로 묶어 훈련시키는 방식이에요. Llama와 Qwen 3B·7B 모델에 적용했더니 편향은 평균 84% 감소, 예측 정확도는 52% 향상됐어요.

모델을 크게 만든다고 편향이 자연스럽게 해결되지 않는다는 걸 실증했다는 점에서, 고위험 의사결정에 LLM을 쓸 때 별도의 디바이어싱 훈련이 필요하다는 경고로 읽혀요.