뉴스 - 원문 기반 요약 필요

---

title: "Cloudflare, AI 봇 차단을 검색·학습·에이전트 3분류로 세분화" description: "뉴스 - 원문 기반 요약 필요" date: 2026-07-07 tags: [ai-news] source: "https://the-decoder.com/cloudflare-replaces-its-blanket-ai-bot-block-with-granular-controls-for-search-training-and-agent-crawlers/" sidebar: order: 0

제목(한글): Cloudflare, AI 봇 차단을 검색·학습·에이전트 3분류로 세분화 원문 제목(영문): Cloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlers 원문: Cloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlers 소스: the-decoder MD 파일: content/2026-07-07/the-decoder-cloudflare-replaces-its-blanket-ai-bot-block-with-.md

핵심 내용

Cloudflare가 AI 봇 차단 방식을 통째 바꿨어요. 기존엔 AI 크롤러를 한 번에 막는 버튼 하나였는데, 이제 검색(Search)·학습(Training)·에이전트(Agent) 세 카테고리로 나눠서 각각 허용·차단을 선택할 수 있게 됐거든요.

특히 2026년 9월 15일부터는 광고가 붙은 페이지에서 학습·에이전트 봇이 기본 차단으로 바뀌어요. 광고 게재 = 사람 방문자를 원한다는 신호로 보는 거예요. Googlebot처럼 검색+학습을 동시에 하는 복합 봇은 더 엄격한 규칙이 적용돼요.

CEO 매튜 프린스는 2026년 6월 봇 트래픽이 사람 트래픽을 처음 앞질렀다고 밝혔어요. 웹 트래픽의 주인이 바뀌는 시점에, 사이트 운영자가 AI에게 뭘 허락할지 직접 고를 수 있는 인프라가 생긴 거예요.

잡돌쌤의 한마디

2026년 6월, 봇 트래픽이 인간 트래픽을 처음 추월했어요. 크롤러가 기본값인 시대, 선택권이 생긴 거예요.

---

출처: Cloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlers