ChatGPT 같은 생성형 AI는 "가장 그럴듯한 다음 단어"를 출력하는 확률 엔진이지, 근거 기반 의사결정자가 아니거든요

AI가 아동복지 결정을 내리면 안 된다는 경고가 나왔어요.

ChatGPT 같은 생성형 AI는 "가장 그럴듯한 다음 단어"를 출력하는 확률 엔진이지, 근거 기반 의사결정자가 아니거든요. 그런데 예산·인력 압박을 받는 아동보호 기관들이 리스크 평가나 배치 결정에 이런 도구를 비공식적으로 쓰기 시작했어요.

문제는 구조적이에요. AI는 같은 프롬프트에도 다른 답을 내고, 법적 기준을 오기재하거나 존재하지 않는 위험 지표를 만들어낼 수 있어요. 가족 정보를 공개 챗봇에 입력하면 민감 데이터가 유출될 수 있고, 불투명한 학습 데이터에서 비롯된 편향이 이미 취약한 커뮤니티에 차별적으로 작용할 수도 있죠.

아동보호처럼 "실패가 용납되지 않는" 영역에서는 자동화의 편의성보다 오류의 대가를 먼저 따져야 한다는 얘기예요.