기사 핵심은 LLM의 구조적 한계예요

새 AI 벤치마크는 정답 암기보다 같은 질문에 같은 답을 내는 일관성을 측정하기 시작했어요.

기사 핵심은 LLM의 구조적 한계예요. 모델은 계산기보다 확률 기반 예측 엔진에 가깝고, 같은 프롬프트에도 답이 달라질 수 있거든요. 50페이지 문서를 몇 초 만에 요약해도 신뢰성은 별개 문제라는 지적이에요.

연구자들은 이를 instability metric으로 추적해요. 예를 들어 월요일에 낸 대출 복리 계산값이 화요일 새 채팅에선 달라지고, 처음 정답을 맞혀도 "확실하냐"고 물으면 사과하며 오답으로 바꾸는 사례가 나온다고 해요.

AI 에이전트를 금융·의료·엔지니어링에 쓰려면, 성능보다 재현성과 일관성 지표가 먼저 기준이 돼야 한다는 신호예요.