AI Botlarını Engellemeli misiniz? Site Türüne Göre Karar Tablosu
Kısaca: AI botlarını engellemek veya izin vermek, sitenizin gelir modeliyle, içerik stratejisiyle ve atıf beklentinizle doğrudan ilişkilidir. Haber siteleri ve SaaS platformları genellikle atıf ve trafik için açık kalırken, e-ticaret ve premium içerik üreticileri seçici engelleme tercih eder. Aşağıdaki tablo ve açıklamalar, her site türü için robots.txt kararınızı netleştirmenize yardımcı olacaktır.
Site Türüne Göre AI Bot Engelleme Kararı
| Site Türü | Önerilen Yaklaşım | Engellenecek Botlar | İzin Verilecek Botlar | Temel Gerekçe |
|---|---|---|---|---|
| Haber Sitesi | Seçici açık | CCBot, GPTBot (opsiyonel) | OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended | Atıf ve trafik kaynağı olarak AI arama önemli; eğitim amaçlı tarama sınırlanabilir |
| E-ticaret | Seçici kapalı | GPTBot, ClaudeBot, CCBot, Google-Extended | OAI-SearchBot, PerplexityBot (ürün sayfaları için) | Ürün açıklamaları ve fiyat bilgileri kopyalanmamalı; arama sonuçlarında görünmek yeterli |
| SaaS / Ürün Sitesi | Açık (dokümantasyon hariç) | CCBot (opsiyonel) | Tüm AI arama botları, Google-Extended, Applebot-Extended | Marka bilinirliği ve organik keşif kritik; dokümantasyon için ayrı politika uygulanabilir |
| Blog / İçerik Sitesi | Karma | GPTBot, ClaudeBot (premium içerik için), CCBot | OAI-SearchBot, PerplexityBot, Google-Extended (ücretsiz içerik için) | Ücretsiz içerik atıf için açık, premium veya e-kitap içeriği korunmalı |
| Kurumsal / Şirket Sitesi | Açık | Yok (veya sadece CCBot) | Tüm AI arama ve eğitim botları | Marka otoritesi ve kurumsal iletişim için maksimum görünürlük gerekli |
Trafik, Atıf ve İçerik Koruma Dengesi
Trafik Açısından Artı ve Eksiler
İzin vermenin artıları: AI arama motorları (ChatGPT Search, Perplexity, Gemini) giderek daha fazla kullanıcıya ulaşıyor. Bu platformlarda görünmek, özellikle bilgi arayan kullanıcılar için yeni bir keşif kanalı açar. Haber siteleri ve SaaS platformları için bu, Google dışında alternatif bir organik trafik kaynağı anlamına gelir.
İzin vermenin eksileri: AI arama sonuçları genellikle doğrudan cevap verir ve kullanıcı siteye tıklamadan bilgiyi alabilir. Bu durum, özellikle reklam geliri odaklı haber siteleri ve içerik platformları için tıklama oranlarını düşürebilir. Ancak kaliteli atıf yapan platformlar (Perplexity gibi) kullanıcıyı kaynak siteye yönlendirebilir.
Atıf ve Marka Görünürlüğü
İzin vermenin artıları: AI arama sonuçlarında kaynak olarak gösterilmek, marka otoritesini güçlendirir. Özellikle B2B SaaS ve kurumsal siteler için, ChatGPT veya Perplexity'de referans gösterilmek güven sinyali oluşturur. Kullanıcılar, AI'ın önerdiği kaynakları genellikle güvenilir bulur.
İzin vermenin eksileri: Bazı AI platformları atıf yapmadan veya belirsiz şekilde kaynak gösterebilir. Ayrıca, içeriğiniz yeniden ifade edilerek sunulduğunda, orijinal yazarın katkısı görünmez hale gelebilir. Bu durum, özellikle özgün araştırma veya veri analizi üreten siteler için sorun yaratır.
İçerik Koruma ve Telif Hakları
Engellemenin artıları: E-ticaret siteleri için ürün açıklamaları, fiyatlandırma stratejileri ve müşteri yorumları değerli varlıklardır. Bu verilerin AI modellerinde eğitim için kullanılmasını engellemek, rakiplerin benzer içerik üretmesini zorlaştırır. Premium blog içeriği veya e-kitap bölümleri için de aynı mantık geçerlidir.
Engellemenin eksileri: Tam engelleme, AI arama sonuçlarında hiç görünmemeniz anlamına gelir. Rakipleriniz açıksa ve siz kapalıysanız, potansiyel müşteriler onların içeriğini görür. Ayrıca, robots.txt bir güvenlik mekanizması değildir; kurallara uymayan botlar için sunucu veya WAF seviyesinde ek önlem gerekir.
Pratik Uygulama Önerileri
Haber Siteleri İçin
Eğitim amaçlı taramayı (GPTBot, ClaudeBot) sınırlandırabilir, ancak arama botlarını (OAI-SearchBot, PerplexityBot) açık bırakabilirsiniz. Google-Extended'ı engellemek Google Arama sıralamasını etkilemez; sadece Gemini uygulamaları ve Vertex AI eğitimini kontrol eder. Atıf ve trafik için arama botlarına öncelik verin.
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
E-ticaret Siteleri İçin
Ürün sayfalarını ve kategori açıklamalarını eğitim botlarından koruyun. Arama botlarına ürün sayfalarında sınırlı erişim verin, ancak fiyat ve stok bilgilerini içeren API uçlarını tamamen engelleyin. Marka sayfalarını ve blog içeriğini açık bırakarak kurumsal görünürlüğü koruyun.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /urunler/
Disallow: /sepet/
Disallow: /api/
SaaS ve Kurumsal Siteler İçin
Maksimum görünürlük için tüm AI botlarına izin verin. Dokümantasyon sayfalarında hassas API anahtarları veya müşteri örnekleri varsa, bu bölümleri seçici olarak engelleyebilirsiniz. Ancak genel ürün bilgileri, özellik açıklamaları ve blog yazıları tamamen açık olmalıdır.
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /docs/api-keys/
User-agent: ClaudeBot
Disallow: /docs/api-keys/
Blog ve İçerik Siteleri İçin
Ücretsiz içeriği AI arama için açık bırakın, premium içeriği (e-kitaplar, kurslar, üyelik makaleleri) engelleyin. Atıf almanın değerli olduğu rehber ve liste içeriklerini açık tutun. CCBot gibi genel tarayıcıları engelleyerek Common Crawl veri setine girişi sınırlayabilirsiniz.
User-agent: GPTBot
Allow: /blog/
Disallow: /premium/
Disallow: /e-kitap/
User-agent: CCBot
Disallow: /
Sık Sorulan Sorular
Google-Extended'ı engellemek Google Arama sıralamasını etkiler mi?
Hayır. Google-Extended, yalnızca Gemini uygulamaları ve Vertex AI için model eğitimi ve grounding kullanımını kontrol eden bir robots.txt belirtecidir. Google Arama sıralaması normal Googlebot tarafından yapılır ve Google-Extended ayarından etkilenmez. AI Overviews içeriği ise Googlebot ve snippet kontrolleriyle (nosnippet, max-snippet, data-nosnippet) yönetilir.
ChatGPT-User ve OAI-SearchBot arasındaki fark nedir?
OAI-SearchBot, ChatGPT arama sonuçları için içerik indeksler ve robots.txt kurallarına uyar. ChatGPT-User ise bir kullanıcı ChatGPT'ye belirli bir URL getirmesini istediğinde devreye giren kullanıcı kaynaklı ajandır. OpenAI, ChatGPT-User isteklerinde robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir. Arama görünürlüğü için OAI-SearchBot'a izin vermek yeterlidir.
llms.txt dosyası kullanmalı mıyım?
llms.txt, 2024'te önerilen bir formattır ve büyük dil modellerine site hakkında özet bilgi sunmayı amaçlar. Ancak resmi bir standart değildir ve Google, OpenAI veya Anthropic gibi büyük sağlayıcıların bunu sıralama veya atıf için kullandığına dair doğrulanmış bilgi yoktur. Denemek isterseniz zarar vermez, ancak robots.txt ve meta etiketleri öncelikli kontrol mekanizmalarınız olmalıdır. Resmi platform dokümantasyonlarından güncel durumu takip edin.
Botları engellemek için robots.txt yeterli mi?
robots.txt bir nezaket protokolüdür, güvenlik mekanizması değildir. İyi niyetli botlar kurallara uyar, ancak kötü niyetli veya agresif tarayıcılar robots.txt'i görmezden gelebilir. Hassas içeriği gerçekten korumak için sunucu seviyesinde IP engelleme, rate limiting veya WAF (Web Application Firewall) kuralları uygulamalısınız. robots.txt sadece iyi niyetli botlarla iletişim kurar.