기존 AI는 사람이 질문하면 답하는 구조였지만, 에이전트 AI는 목표를 받으면 스스로 단계를 나누고 행동해요

AI 에이전트가 실제 업무에 투입되면서, '거버넌스'가 AI 도입의 핵심 과제로 떠오르고 있어요.

기존 AI는 사람이 질문하면 답하는 구조였지만, 에이전트 AI는 목표를 받으면 스스로 단계를 나누고 행동해요. 데이터에 접근하고, 다른 시스템과 연동하고, 결과물을 만들어내는 과정에서 사람의 개입 없이 진행되는 경우도 많아요.

딜로이트는 이 문제에 직접 대응하는 거버넌스 프레임워크를 개발 중이에요. 핵심은 "배포 이후"가 아니라 "설계 단계부터" 규칙을 내장하는 거예요. 무엇에 접근할 수 있는지, 어떤 행동이 허용되는지, 예외 상황에서 어떻게 반응할지를 미리 정의해야 하고, 배포 이후에는 시스템이 원래 목적에서 벗어나지 않는지 지속적으로 모니터링해야 해요.

AI가 직접 결정을 내리기 시작하면, 추적과 책임 소재가 흐려질 수 있어요. 에이전트 AI 도입보다 그걸 통제하는 체계를 먼저 갖추는 게 순서라는 얘기예요.