7월 1일부터 크롤러 유형을 검색·에이전트·학습 3가지로 나눴는데요, 9월 15일 이후 신규 도메인과 무료 플랜 사용자에게는 에이전트·학습 크롤러가 기본 차단으로 적용돼요

클라우드플레어가 9월 15일부터 광고가 있는 페이지에서 AI 에이전트 크롤러를 기본으로 차단해요.

7월 1일부터 크롤러 유형을 검색·에이전트·학습 3가지로 나눴는데요, 9월 15일 이후 신규 도메인과 무료 플랜 사용자에게는 에이전트·학습 크롤러가 기본 차단으로 적용돼요. 뉴스, 리뷰, 가격 비교처럼 에이전트가 가장 원하는 페이지가 바로 광고 기반 페이지거든요.

AI 에이전트를 만드는 쪽에서는 이제 실시간 웹 접근이 '당연한 권리'가 아니라 '허가 대상'이 된 거예요. 오픈 웹을 전제로 설계된 에이전트 아키텍처 전반에 조용한 지각 변동이 시작됐다고 볼 수 있어요.