20 Temmuz 2026 • By AICompatible Ekibi • 6 dk okuma

# Sunucu Bant Genişliğini Korurken AI Scraper IP Engellemesinden Nasıl Kaçınılır **Özet:** WAF kuralları, Cloudflare yapılandırmaları ve hız limitleri. İçeriğinizi AI arama motorlarına görünür tutarken scraper istismarını önleyin. --- ## Sunucu Bant Genişliğini Korurken AI Scraper IP Engellemesinden Nasıl Kaçınılır Sunucu koruması ile meşru AI bot erişimi arasında denge kurmak, web sitesi yöneticileri için kritik bir zorluk haline geldi. Agresif scraper'lar bant genişliğini tüketip performansı düşürebilirken, tüm otomatik trafiği engellemek arama motorları ve AI platformları tarafından değerli indeksleme fırsatlarını kaçırmak anlamına gelir. İşte dost ve düşmanı ayırt eden akıllı bir koruma stratejisinin nasıl uygulanacağı. ## Scraper Ortamını Anlamak Tüm botlar eşit yaratılmamıştır. Google, OpenAI, Anthropic ve diğer büyük platformlardan gelen meşru AI tarayıcıları genellikle kendilerini tanımlar ve robots.txt yönergelerine saygı gösterir. Ancak agresif scraper'lar çoğu zaman kimliklerini gizler, hız limitlerini görmezden gelir ve değer sağlamadan aşırı bant genişliği tüketir. ### Meşru ve Agresif Scraper'lar Arasındaki Temel Farklar | Özellik | Meşru Botlar | Agresif Scraper'lar | |---------|--------------|---------------------| | User-Agent | Açıkça tanımlanmış | Sahte veya genel | | Robots.txt Uyumu | Yönergelere saygı gösterir | Kuralları görmezden gelir | | İstek Hızı | Makul aralıklar | Hızlı ateşleme istekleri | | IP Tutarlılığı | Bilinen IP aralıkları | Dönen proxy'ler | ## Beyaz Liste Tabanlı Koruma Stratejisi Uygulama ### 1. Robots.txt'yi Doğru Yapılandırın Meşru tarayıcıları karşılarken net sınırlar belirleyen iyi yapılandırılmış bir robots.txt dosyasıyla başlayın: - Farklı bot türleri için tarama gecikmeleri belirleyin - Kaynak yoğun dizinleri engelleyin (yönetim panelleri, arama sonuçları) - İndeksleme için önemli içeriğe erişime izin verin - Bilinen AI botları için özel user-agent yönergeleri kullanın ### 2. Bir AI Bot Beyaz Listesi Oluşturun Doğrulanmış AI tarayıcı user-agent'ları ve IP aralıklarından oluşan bir beyaz liste oluşturun ve düzenli olarak güncelleyin: - **Googlebot:** googlebot.com alan adı doğrulaması - **GPTBot:** OpenAI'nin resmi tarayıcısı - **ClaudeBot:** Anthropic'in web tarayıcısı - **Bingbot:** Microsoft'un arama tarayıcısı - **CCBot:** Common Crawl'un araştırma botu Bot kimliğini yalnızca user-agent dizelerine güvenmek yerine her zaman ters DNS sorgulamaları aracılığıyla doğrulayın, çünkü bunlar kolayca taklit edilebilir. ### 3. İstisnalarla Hız Sınırlama Uygulayın Beyaz listedeki botları bilinmeyen trafikten farklı şekilde ele alan akıllı hız sınırlama dağıtın: - Doğrulanmış AI tarayıcıları için cömert limitler belirleyin (saniyede 10-20 istek) - Doğrulanmamış trafiğe katı limitler uygulayın (saniyede 2-5 istek) - Tekrar eden ihlalciler için aşamalı cezalar kullanın - Şüpheli desenler için üstel geri çekilme uygulayın ## Gelişmiş Koruma Teknikleri ### Davranışsal Analiz Temel korumaları atlayan agresif scraper'ları belirlemek için trafik desenlerini izleyin. Şunları arayın: - Tipik tarama desenlerini takip etmeyen olağandışı istek dizileri - Sistematik sayfa taramasının ardından gelen sitemap.xml istekleri - Erişilen içeriğe göre yüksek bant genişliği tüketimi - JavaScript yürütme veya çerez işleme eksikliği ### Dinamik Yanıt Stratejileri Şüpheli trafiği doğrudan engellemek yerine, kademeli yanıtları düşünün: - **Kısıtlama (Throttling):** Doğrulanmamış botlar için yanıt sürelerini yavaşlatın - **CAPTCHA zorlukları:** Sınır durumlar için doğrulama sunun - **Basitleştirilmiş içerik:** Bilinmeyen tarayıcılara hafif sürümler sunun - **Bal küpleri (Honeypot):** Yanlış davranan botları belirlemek için gizli bağlantılar ekleyin ## İzleme ve Bakım Etkili scraper yönetimi sürekli dikkat gerektirir: - Yeni bot desenlerini belirlemek için sunucu günlüklerini haftalık olarak inceleyin - Yeni meşru AI hizmetleri ortaya çıktıkça beyaz listeleri güncelleyin - Bant genişliği kullanım trendlerini izleyin ve eşikleri buna göre ayarlayın - Beyaz listedeki botların içeriğinize hala etkili bir şekilde erişebildiğini test edin - Yanlış pozitifleri belgeleyin ve filtreleme kurallarını iyileştirin ## Sonuç Meşru AI botları için erişilebilirliği korurken sunucu bant genişliğini korumak, nüanslı bir yaklaşım gerektirir. Beyaz liste tabanlı koruma, akıllı hız sınırlama ve davranışsal analiz uygulayarak, AI destekli arama ve içerik platformlarındaki görünürlüğünüzden ödün vermeden agresif scraper'ları etkili bir şekilde engelleyebilirsiniz. Düzenli izleme ve ayarlama, koruma stratejinizin web tarama ortamının değişen yapısıyla birlikte evrimleşmesini sağlar.