정확도와 대화 경험을 한 번에 재는 첫 실전형 접근이라는 점이 핵심이에요

ServiceNow AI와 Hugging Face가 음성 에이전트 평가 프레임워크 EVA를 공개했어요. 정확도와 대화 경험을 한 번에 재는 첫 실전형 접근이라는 점이 핵심이에요.

기존 평가는 과업 성공률이냐, 대화 품질이냐를 따로 봤는데요. EVA는 멀티턴 음성 대화를 엔드투엔드로 돌려서 둘을 동시에 측정해요. 잘 맞게 답하는 능력만으론 부족하다는 문제의식에서 출발했거든요.

평가 결과는 EVA-A(Accuracy)와 EVA-X(Experience) 두 점수로 나와요. 특히 실제에 가까운 bot-to-bot 구조를 써서, 코드 오인식·장황한 응답·지연처럼 음성 UX에서 치명적인 요소까지 반영하는 방식이에요.

이제 음성 AI는 “정답을 맞췄는가”를 넘어 “사람이 통화에서 쓸 만한가”까지 수치로 증명해야 하는 단계로 들어간 거예요.