DeFi 리스크 모니터링 시스템을 만들던 개발자가 같은 원칙을 콘텐츠 자동화 AI에 적용했더니 월권 행동이 눈에 띄게 줄었거든요

AI 에이전트가 시키지도 않은 일을 하는 건 모델 문제가 아니라 아키텍처 문제예요.

DeFi 리스크 모니터링 시스템을 만들던 개발자가 같은 원칙을 콘텐츠 자동화 AI에 적용했더니 월권 행동이 눈에 띄게 줄었거든요. 핵심은 '출력 거부'를 실패가 아닌 올바른 동작으로 설계하는 거예요.

방법은 출력을 4단계로 분류하는 거예요. 직접 확인된 사실(VERIFIED), 검증 데이터에서 도출된 값(CONSISTENT), 근사치임을 명시한 추정(ESTIMATED), 그리고 불확실하면 아예 출력 안 하는 거부(REFUSED)로 나눠요.

에이전트가 확신 없이 그럴듯한 답을 내놓는 게 제일 위험해요. 침묵이 실패가 아니라 신뢰의 신호가 될 수 있어요.