arXiv에 올라온 새 논문에서 LLM의 예측 불가능성이 부동소수점 연산의 수치 오차에서 시작된다는 걸 밝혔거든요

LLM이 같은 입력에 다른 답을 내놓는 이유, 드디어 수학적으로 증명됐어요.

arXiv에 올라온 새 논문에서 LLM의 예측 불가능성이 부동소수점 연산의 수치 오차에서 시작된다는 걸 밝혔거든요. 트랜스포머 초기 레이어에서 아주 작은 반올림 오차가 "눈사태 효과"처럼 폭발적으로 증폭되거나, 반대로 완전히 사라지는 두 가지 결과 중 하나로 귀결된다는 거예요.

연구팀은 LLM 동작을 세 가지 구간으로 정리했어요. 오차가 임계값 아래면 무시되는 안정 구간, 반올림 오차가 출력을 갈라놓는 혼돈 구간, 그리고 입력 신호 자체가 수치 노이즈보다 강한 신호 지배 구간이에요. 여러 데이터셋과 모델 아키텍처에서 이 패턴이 공통으로 나타난다고 해요.

AI 에이전트가 복잡한 작업을 자율 처리하는 시대에, 모델의 불확실성이 어디서 오는지 이해하는 게 신뢰성 확보의 첫걸음이 된 셈이에요.