핵심 차이는 트리거 방식이에요

구글이 검색 크롤러 Googlebot과 AI 요청용 Google-Agent를 기술적으로 분리했다고 공식화했어요.

핵심 차이는 트리거 방식이에요. Googlebot은 구글 알고리즘 스케줄에 따라 웹을 자율 크롤링·인덱싱하고, Google-Agent는 사용자가 AI 제품에서 특정 URL을 요청할 때만 반응해 가져오거든요. 링크를 따라 새 페이지를 탐색하지 않는 것도 포인트예요.

더 중요한 건 robots.txt 처리예요. 구글 문서 기준으로 user-triggered fetcher인 Google-Agent는 robots.txt를 일반적으로 무시해요. 사용자 대리 프록시처럼 동작해서, 사이트가 robots.txt로 막아도 수동 요청 성격으로 간주된다는 설명이에요. 서버 로그에선 전용 User-Agent 문자열로 식별할 수 있어요.

의미는 분명해요. 이제 트래픽 제어 기준을 “검색 인덱싱 봇”과 “사용자 대리 AI 접근”으로 나눠서 운영해야 하는 시점이에요.