AI 크롤러 유료화 시대 — 차단·허용·과금, 내 사이트는 뭘 선택해야 하나 (2026년 7월 Cloudflare 정책 총정리)

무슨 일이 일어났나 — 2026년 7월 정책 변화 요약

Cloudflare는 7월 1일 "콘텐츠 독립 선언"과 함께 세 가지 조치를 발표했습니다(출처: Cloudflare 공식 블로그·TechCrunch, 2026.7).

• 신규 도메인 AI 크롤러 기본 차단 — Cloudflare에 새로 등록되는 사이트는 별도 허용 설정 전까지 AI 학습용 크롤러가 기본적으로 차단됩니다. '기본 개방'에서 '기본 차단'으로 웹의 기본값이 뒤집힌 것입니다.
• Pay Per Crawl 도입 — 사이트 소유자가 크롤링 1회당 가격을 정하면, AI 기업이 결제해야 콘텐츠에 접근할 수 있는 마켓 구조가 열렸습니다.
• 혼용 크롤러 차단 예고 — 9월 15일부터는 검색과 AI 학습을 겸하는 '혼용(mixed-use) 크롤러'도 광고가 게재된 페이지에서 차단됩니다.

배경에는 트래픽 역전이 있습니다. Cloudflare 집계 기준 전체 HTTP 요청의 57.5%가 봇으로 인간(42.5%)을 추월했고, AI 답변이 콘텐츠를 소비하는 동안 원문 사이트로의 클릭은 급감해 "콘텐츠는 쓰이는데 보상은 없는" 구조가 한계에 달했다는 판단입니다.

그런데, 차단이 항상 이득일까? — AEO 관점의 딜레마

언론사·유료 콘텐츠 사업자에게 차단·과금은 당연한 선택일 수 있습니다. 하지만 고객을 모아야 하는 일반 기업·병원·매장이라면 정반대입니다. AI 크롤러를 차단하면 ChatGPT·퍼플렉시티·네이버 AI가 내 사이트를 읽지 못하고, 읽지 못하면 인용도 추천도 없습니다. 국내에서 네이버 블로그 등 주요 플랫폼이 AI 크롤링을 제한하면서 자체 홈페이지의 인용 가치가 오히려 커졌다는 점을 감안하면, 무분별한 차단은 AEO 투자를 스스로 무효화하는 결정이 될 수 있습니다.

사이트 유형별 선택 기준

실무 체크리스트 — 지금 확인할 4가지

1. 내 사이트의 현재 차단 상태 확인

Cloudflare를 쓰고 있다면 대시보드의 AI Crawl Control(구 봇 관리) 메뉴에서 GPTBot·ClaudeBot·PerplexityBot 등이 차단인지 허용인지 확인하세요. 본인도 모르게 기본 차단이 켜져 있는 경우가 급증하고 있습니다. 호스팅사·서버 방화벽 단계의 차단도 함께 점검해야 합니다.

2. robots.txt 정책을 '의도된 상태'로

GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot 등 주요 AI 크롤러별로 허용·차단을 명시하세요. 핵심은 전부 열거나 전부 닫는 게 아니라 학습용과 검색·인용용을 구분해 의도적으로 선택하는 것입니다.

3. llms.txt로 '읽어야 할 것'을 안내

개방을 선택했다면 llms.txt로 사이트의 핵심 페이지·요약을 AI에게 안내해 크롤링 효율과 인용 정확도를 높이세요. 차단과 개방 사이의 전략이 아니라, 개방을 '잘'하는 방법입니다.

4. AI 크롤러 방문 로그 모니터링

서버 로그·CDN에서 어떤 AI 봇이 얼마나 자주 오는지 월 단위로 확인하세요. 크롤링 빈도는 AI 검색 인용의 선행 지표입니다. 갑자기 방문이 끊겼다면 차단 설정이나 서버 응답 오류를 의심해야 합니다.

결론 — '차단이냐 개방이냐'가 아니라 '무엇을 얼마나'의 문제

Cloudflare의 유료화 정책은 웹 콘텐츠의 가치가 공짜가 아니라는 선언이지만, 고객 유입이 목적인 사업자에게 AI 크롤러는 여전히 가장 성장 중인 유통 채널입니다. 언론사의 선택을 그대로 따라 하면 안 되는 이유입니다. 내 비즈니스 모델에서 콘텐츠가 '상품'인지 '마케팅 자산'인지 구분하고, 마케팅 자산이라면 개방+구조화+llms.txt로 인용 가능성을 극대화하는 것이 2026년 하반기의 정답에 가깝습니다.