SELFDOUBT라는 새 프레임워크인데, 모델의 추론 과정 텍스트만 분석해서 불확실성을 측정해요

추론 AI가 "자신 없을 때"를 스스로 감지하는 방법이 나왔어요. SELFDOUBT라는 새 프레임워크인데, 모델의 추론 과정 텍스트만 분석해서 불확실성을 측정해요.

핵심 지표는 HVR(Hedge-to-Verify Ratio)이에요. 모델이 "아마도", "확실하지 않지만" 같은 망설임 표현을 쓰는지, 그리고 자기검증 행동으로 상쇄하는지를 보는 거거든요. 망설임 표현이 전혀 없는 추론 흔적은 96% 확률로 정답이었어요.

기존 방식은 여러 번 샘플링하거나 모델 내부 확률값이 필요했는데, SELFDOUBT는 단 한 번의 추론만으로 작동해요. GPT-4o 같은 독점 API에도 쓸 수 있고, 추론 비용은 기존 대비 10분의 1 수준이에요. 7개 모델과 3개 벤치마크 실험에서 샘플링 기반 방법보다 성능이 높았고, 71% 커버리지에서 90% 정확도를 달성했어요.

"AI가 틀릴 것 같은 답"을 미리 골라내는 기술이 실용화 단계에 가까워지고 있다는 신호예요.