이제 검색·AI 에이전트·학습용 트래픽을 한 크롤러에 섞으면, 광고가 있는 모든 페이지에서 기본 차단돼요

Cloudflare가 AI 기업들에게 9월 15일까지 크롤러를 분리하라는 최후통첩을 날렸어요.

이제 검색·AI 에이전트·학습용 트래픽을 한 크롤러에 섞으면, 광고가 있는 모든 페이지에서 기본 차단돼요. 신규 고객과 무료 플랜 사용자에게는 자동 적용되거든요.

배경이 흥미로운데, Cloudflare CEO Matthew Prince는 "인터넷 트래픽의 과반이 이미 봇"이라고 밝혔어요. 예상보다 1년이나 빨리 찾아온 변화예요.

AI 학습 데이터 수급 구조가 흔들리기 시작했다는 신호예요. 퍼블리셔들이 콘텐츠 대가를 받을 수 있는 생태계로 재편될지 주목돼요.