MIT 테크놀로지 리뷰는 AI를 여전히 ‘인간 1명과의 문제풀이 대결’로 평가한다고 짚었어요

AI 벤치마크, 지금 방식으로는 현실 성능을 거의 못 맞춘다는 경고가 나왔어요.

MIT 테크놀로지 리뷰는 AI를 여전히 ‘인간 1명과의 문제풀이 대결’로 평가한다고 짚었어요. 98% 정확도, 빠른 속도 같은 점수로 도입을 결정하지만, 실제 조직 워크플로에 들어가면 성능 격차가 금방 드러난다고 하거든요.

연구자는 2022년부터 영국·미국·아시아의 중소기업, 헬스케어, 인도주의, 비영리, 고등교육 현장을 추적했고요. 해법으로 HAIC(Human–AI, Context-Specific Evaluation) 벤치마크를 제안했어요. 팀 단위 협업, 조직 맥락, 장기 사용 결과까지 봐야 한다는 거예요.

결국 AI 평가는 ‘정답률’보다 ‘현장에서 시간이 지나도 잘 작동하는가’로 바뀌어야 한다는 신호예요.