Cloudflare'in 'AI Botlarını Engelle' Ayarı Ne Yapar? Yanlışlıkla Kendinizi Gizlemeyin
Kısaca: Cloudflare'in "AI Scrapers and Crawlers" veya benzeri adlı ayarı, model eğitimi yapan botları (GPTBot, ClaudeBot vb.) engellerken, arama motorlarının indeksleme botlarını (Googlebot, Bingbot) etkilemez. Ancak ayar isimleri ve kapsamı değişebileceği için Cloudflare panelinizde hangi User-agent'ların listelendiğini kontrol edin ve robots.txt dosyanızla çelişmediğinden emin olun. Test için sunucu loglarınızı inceleyin veya cURL ile belirli User-agent'ları simüle edin.
Cloudflare'in AI Bot Engelleme Ayarının Mantığı
Cloudflare, 2023 sonundan itibaren müşterilerine "AI botlarını engelle" seçeneği sunmaya başladı. Bu ayar, tipik olarak Security → Bots veya Security → Settings menüsünde "Block AI Scrapers and Crawlers" gibi bir isimle yer alır. Amaç, büyük dil modeli eğitimi için içerik toplayan botları (GPTBot, ClaudeBot, CCBot gibi) tek tıkla engellemektir.
Cloudflare bu listeyi kendi bot yönetim altyapısıyla yönetir; siz bu ayarı açtığınızda, Cloudflare WAF seviyesinde belirlediği AI eğitim botlarına HTTP 403 veya challenge döner. Önemli nokta: bu ayar arama motorlarının indeksleme botlarını (Googlebot, Bingbot, Yandex) kapsamaz. Cloudflare, arama trafiğinin sitenize ulaşmasını istemediğinizi varsaymaz; sadece eğitim amaçlı tarama yapan botları hedefler.
Hangi Botlar Etkilenir?
Cloudflare'in resmi dokümantasyonunda ve panelinde gösterilen liste zaman içinde güncellenebilir. Genel olarak şu User-agent'lar bu kategoriye girer:
GPTBot(OpenAI model eğitimi)ClaudeBot(Anthropic model eğitimi)CCBot(Common Crawl)Google-Extended(Google'ın Gemini/Vertex AI eğitimi için belirteci; ancak bu bir robots.txt belirteci olduğundan Cloudflare'in bunu WAF seviyesinde nasıl ele aldığını doğrulamanız gerekir)anthropic-ai,Omgilibot,FacebookBotgibi diğer AI veri toplama botları
Hangi botlar etkilenmez:
Googlebot,Googlebot-Image,Googlebot-News(Google Arama indeksleme)Bingbot(Microsoft Bing indeksleme)Slurp(Yahoo)YandexBot(Yandex)Applebot(Apple Siri/Spotlight arama;Applebot-Extendedise eğitim içindir ve engellenebilir)
Cloudflare'in panelinde "Bot Management" veya "Firewall Rules" bölümünde hangi User-agent'ların engellendiğini gösteren bir liste olabilir. Resmi dokümantasyondan güncel listeyi kontrol edin: developers.cloudflare.com adresinde "AI bots" veya "bot management" araması yapın.
Arama Botlarını Kapatıp Kapatmadığını Kontrol Etme
Cloudflare ayarını açtıktan sonra arama botlarının hâlâ sitenize erişebildiğinden emin olmak için şu adımları izleyin:
1. Sunucu Loglarını İnceleyin
Cloudflare arkasındaki origin sunucunuzun erişim loglarına bakın (Apache, Nginx, IIS vb.). Son 24-48 saat içinde Googlebot veya Bingbot User-agent'ıyla gelen istekleri arayın:
grep "Googlebot" /var/log/nginx/access.log | tail -20
Eğer bu botlardan 200 veya 304 durum kodu görüyorsanız, arama botları engellenmiyor demektir. 403 veya 503 görürseniz, Cloudflare ayarınızı veya Firewall Rules'unuzu gözden geçirin.
2. Google Search Console ve Bing Webmaster Tools
Google Search Console'da Settings → Crawl Stats veya URL Inspection aracını kullanın. Son birkaç gün içinde Googlebot'un sayfalarınızı başarıyla taradığını göreceksiniz. Bing Webmaster Tools'da da benzer şekilde "Crawl Control" veya "Site Explorer" bölümünde tarama aktivitesini kontrol edin.
Eğer tarama sayısında ani düşüş veya "Blocked by robots.txt" / "Blocked by firewall" hataları görürseniz, Cloudflare ayarınız veya robots.txt dosyanız yanlış yapılandırılmış olabilir.
3. Cloudflare Analytics ve Firewall Events
Cloudflare panonuzda Security → Events veya Analytics → Security bölümüne gidin. Burada engellenmiş isteklerin User-agent'larını görebilirsiniz. Googlebot veya Bingbot bu listede görünüyorsa, bir Firewall Rule veya Rate Limiting kuralı yanlışlıkla bunları engelliyor olabilir. AI bot ayarının kendisi bu botları engellememelidir.
Test Yöntemi: cURL ile Simülasyon
Cloudflare'in belirli bir User-agent'a nasıl davrandığını test etmek için cURL kullanabilirsiniz. Terminalden şu komutları çalıştırın:
# Googlebot olarak istek gönder
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
-I https://siteniz.com/
# GPTBot olarak istek gönder
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)" \
-I https://siteniz.com/
Beklenen sonuç:
- Googlebot isteği
HTTP/1.1 200 OKveya304 Not Modifieddönmeli. - GPTBot isteği (AI bot engelleme açıksa)
HTTP/1.1 403 Forbiddenveya Cloudflare challenge sayfası dönmeli.
Önemli uyarı: Cloudflare, User-agent'ı doğrulamak için IP adresini de kontrol edebilir. Gerçek Googlebot, Google'ın resmi IP aralıklarından gelir; sizin bilgisayarınızdan gönderdiğiniz Googlebot User-agent'ı sahte olarak algılanabilir ve challenge alabilir. Bu normal bir güvenlik önlemidir. Asıl test için sunucu loglarınıza ve Search Console'a güvenin.
robots.txt ile Çelişki Kontrolü
Cloudflare'in WAF seviyesinde engellediği botlar, robots.txt dosyanızda Allow olarak işaretlenmiş olsa bile engellenecektir. Tersine, robots.txt'de Disallow yaptığınız bir bot, Cloudflare'de izin veriliyorsa yine de içeriğinize erişebilir (robots.txt bir nezaket protokolüdür, güvenlik mekanizması değil).
Tutarlılık için şu yapıyı öneririz:
# robots.txt
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Cloudflare'de AI bot engelleme açıksa, yukarıdaki Disallow kuralları zaten WAF seviyesinde uygulanır. Ancak robots.txt'i de güncel tutmak, Cloudflare kullanmayan ortamlarda (staging sunucu, CDN bypass vb.) tutarlılık sağlar.
Ayar İsimleri ve Kapsam Değişebilir
Cloudflare, ürün arayüzünü ve bot listelerini düzenli olarak günceller. "AI Scrapers and Crawlers" ayarı, gelecekte "AI Training Bots" veya başka bir isimle görünebilir. Ayrıca Cloudflare, yeni AI botlarını listeye ekleyebilir veya bazı botları kategoriden çıkarabilir.
Önerilen yaklaşım:
- Cloudflare panonuzda ayarı açmadan önce, açıklama metnini ve "Learn more" bağlantısını okuyun.
developers.cloudflare.comadresinde "bot management" veya "AI bots" araması yaparak güncel dokümantasyonu kontrol edin.- Ayarı açtıktan sonra 24-48 saat içinde Search Console, Bing Webmaster ve sunucu loglarınızı izleyin.
- Eğer arama trafiğinizde düşüş görürseniz, ayarı geçici olarak kapatın ve Cloudflare desteğine danışın.
Sık Sorulan Sorular
Cloudflare'in AI bot engelleme ayarı açıkken Google AI Overviews beni gösterir mi?
Google AI Overviews, normal Googlebot tarafından indekslenen içeriği kullanır ve snippet kontrolleriyle (max-snippet, data-nosnippet) yönetilir. Cloudflare'in AI bot engelleme ayarı Googlebot'u etkilemediği için AI Overviews'da görünmeniz mümkündür. Eğer AI Overviews'da yer almak istemiyorsanız, robots.txt'de User-agent: Google-Extended için Disallow: / ekleyin ve sayfalarınızda data-nosnippet kullanın. Ancak bu, Google Arama sıralamanızı etkilemez.
ChatGPT kullanıcı istekleri (ChatGPT-User) de engellenir mi?
Cloudflare'in AI bot listesi genellikle eğitim amaçlı tarayıcıları (GPTBot) hedefler. ChatGPT-User, bir kullanıcı ChatGPT'ye "şu sayfayı özetle" dediğinde tetiklenen kullanıcı kaynaklı ajandır ve OpenAI bu isteklerin robots.txt kurallarına aynı şekilde uymayabileceğini belirtir. Cloudflare'in bu User-agent'ı engelleyip engellemediği, listenin güncel haline bağlıdır. Eğer kullanıcı kaynaklı AI isteklerini de engellemek istiyorsanız, Cloudflare Firewall Rules'da ChatGPT-User, Claude-User gibi User-agent'ları manuel olarak engelleyen bir kural oluşturabilirsiniz.
Cloudflare'de AI bot engelleme açıkken robots.txt'e de yazmam gerekir mi?
Teknik olarak Cloudflare WAF seviyesinde zaten engelliyor, ancak robots.txt'e de yazmanızı öneririz. Sebepleri: (1) Cloudflare bypass edilirse (origin IP'niz biliniyorsa), robots.txt hâlâ geçerlidir. (2) Staging veya test ortamlarında Cloudflare kullanmıyorsanız, robots.txt koruma sağlar. (3) Bazı botlar robots.txt'i kontrol eder ve Cloudflare'e istek göndermeden geri çekilir, bu da log kirliliğini azaltır. Her iki katmanı da kullanmak en güvenli yaklaşımdır.
Cloudflare'in bot listesi ne sıklıkla güncellenir?
Cloudflare, yeni AI botları ortaya çıktıkça veya mevcut botların davranışı değiştikçe listeyi günceller, ancak resmi bir güncelleme takvimi yayınlamaz. Önemli bir bot eklendiğinde (örneğin yeni bir büyük dil modeli şirketi tarayıcı çıkardığında), Cloudflare blog'unda veya dokümantasyonunda duyuru yapabilir. Sitenizin güvenliği kritikse, Cloudflare'in "Security Insights" veya "Firewall Analytics" bölümünde düzenli olarak yeni User-agent'ları izleyin ve gerekirse manuel Firewall Rules ekleyin.