2,700개 이상의 충돌 자극 데이터셋으로 감정 억양, 배경 소음, 화자 정체성 세 가지 음향 차원을 테스트했거든요

AI가 소리를 "진짜로 듣고 있는가"를 검증하는 벤치마크 DEAF가 공개됐어요.

2,700개 이상의 충돌 자극 데이터셋으로 감정 억양, 배경 소음, 화자 정체성 세 가지 음향 차원을 테스트했거든요. 7개 오디오 멀티모달 LLM을 평가한 결과, 모델들은 음향 변화에 민감하게 반응하면서도 실제 예측은 텍스트 입력에 의존하는 패턴이 일관되게 나타났어요.

쉽게 말하면, AI가 목소리 톤이나 배경 소리보다 단어 의미에 훨씬 더 의지하고 있다는 거예요. 표준 음성 벤치마크에서 높은 점수를 받아도, 그게 "진짜 청각 이해"가 아닐 수 있다는 게 이번 연구의 핵심이에요.

AI 음성 모델의 성능 평가 기준 자체를 다시 생각해야 한다는 신호예요.