WordPress'te AI Botları Nasıl Engellenir veya İzin Verilir?
Kısaca: WordPress, robots.txt dosyasını varsayılan olarak sanal (dinamik) üretir; Yoast SEO veya Rank Math gibi eklentiler bu sanal dosyayı özelleştirmenize izin verir. Alternatif olarak kök dizine fiziksel robots.txt yükleyebilirsiniz (bu sanal dosyayı geçersiz kılar). AI botlarını engellemek için User-agent direktifleri ekler, uymayanları ise .htaccess veya sunucu/WAF seviyesinde engellersiniz.
WordPress'te Robots.txt Nasıl Çalışır?
WordPress, kurulumdan itibaren example.com/robots.txt adresinde otomatik olarak bir robots.txt dosyası sunar. Bu dosya fiziksel olarak sunucuda bulunmaz; WordPress'in do_robots fonksiyonu tarafından dinamik üretilir. Varsayılan içeriği şöyledir:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Eğer kök dizine (public_html veya www) fiziksel bir robots.txt dosyası yüklerseniz, WordPress sanal dosyayı üretmeyi durdurur ve fiziksel dosya geçerli olur. Bu önemli bir ayrımdır: iki yöntem aynı anda çalışmaz, fiziksel dosya önceliklidir.
Yöntem 1: SEO Eklentileriyle Sanal Robots.txt Düzenleme
Yoast SEO ile Düzenleme
Yoast SEO, sanal robots.txt dosyasını özelleştirmenize izin verir:
- Yoast SEO → Araçlar → Dosya düzenleyici menüsüne gidin.
- "robots.txt dosyası oluştur" butonuna tıklayın (ilk kullanımda).
- Editörde AI bot kurallarınızı ekleyin. Örnek:
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/private/
Yoast, değişiklikleri veritabanında saklar ve do_robots filtresini kullanarak çıktıyı değiştirir. Fiziksel dosya oluşturmaz.
Rank Math ile Düzenleme
Rank Math benzer bir arayüz sunar:
- Rank Math → Genel Ayarlar → Robots.txt Düzenle sekmesine gidin.
- Varsayılan kuralların üzerine kendi direktiflerinizi ekleyin:
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Rank Math de sanal dosya üretir; fiziksel robots.txt varsa eklenti ayarları çalışmaz.
All in One SEO (AIOSEO)
AIOSEO'da Genel Ayarlar → Robots.txt bölümünden düzenleme yapabilirsiniz. Arayüz Yoast ve Rank Math'e benzer; kuralları ekleyip kaydedersiniz.
Yöntem 2: Fiziksel Robots.txt Dosyası Yükleme
Daha fazla kontrol istiyorsanız veya eklenti kullanmıyorsanız, fiziksel dosya oluşturabilirsiniz:
- Metin editöründe (Notepad++, VS Code) yeni bir dosya açın.
- Kurallarınızı yazın (yukarıdaki örneklere bakın).
- Dosyayı
robots.txtolarak kaydedin (uzantısız, küçük harfle). - FTP veya cPanel Dosya Yöneticisi ile WordPress kök dizinine (
wp-config.phpile aynı klasör) yükleyin.
Fiziksel dosya yükledikten sonra example.com/robots.txt adresini tarayıcıda açarak doğrulayın. WordPress artık sanal dosya üretmeyecektir.
AI Botlarını Engelleme: Pratik Örnekler
Aşağıdaki tablo, yaygın AI botlarını ve kontrol yöntemlerini özetler:
| Bot Adı | Amaç | Robots.txt Direktifi |
|---|---|---|
| GPTBot | OpenAI model eğitimi | User-agent: GPTBot |
| Google-Extended | Gemini/Vertex AI eğitimi (Arama sıralamasını etkilemez) | User-agent: Google-Extended |
| ClaudeBot | Anthropic model eğitimi | User-agent: ClaudeBot |
| CCBot | Common Crawl arşivi | User-agent: CCBot |
| PerplexityBot | Perplexity arama indeksleme | User-agent: PerplexityBot |
| Applebot-Extended | Apple temel model eğitimi | User-agent: Applebot-Extended |
Önemli: ChatGPT-User, Claude-User, Perplexity-User gibi kullanıcı kaynaklı ajanlara robots.txt kuralları aynı şekilde uygulanmayabilir. OpenAI, kullanıcı isteklerinin farklı politikalara tabi olabileceğini belirtir. Bu tür istekleri engellemek için sunucu seviyesi kontroller gerekir.
.htaccess ile Uymayanları Engelleme
Robots.txt bir nezaket protokolüdür; uymayan botlar için .htaccess (Apache) veya sunucu yapılandırması kullanılmalıdır. WordPress kök dizinindeki .htaccess dosyasına şu satırları ekleyin:
# WordPress kurallarının ÜZERİNE ekleyin
RewriteEngine On
# GPTBot engelle
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC]
RewriteRule .* - [F,L]
# CCBot engelle
RewriteCond %{HTTP_USER_AGENT} CCBot [NC]
RewriteRule .* - [F,L]
# ClaudeBot engelle
RewriteCond %{HTTP_USER_AGENT} ClaudeBot [NC]
RewriteRule .* - [F,L]
# PerplexityBot engelle
RewriteCond %{HTTP_USER_AGENT} PerplexityBot [NC]
RewriteRule .* - [F,L]
Bu kurallar, belirtilen User-Agent'lara 403 Forbidden yanıtı döndürür. [NC] bayrağı büyük/küçük harf duyarsız eşleşme sağlar. Nginx kullanıyorsanız, sunucu yapılandırmasında benzer if blokları ekleyebilirsiniz (ancak Nginx'te if kullanımı dikkatli yapılmalıdır; hosting sağlayıcınızdan destek alın).
Google AI Overviews ve Snippet Kontrolü
Google AI Overviews (eski adıyla SGE), normal Googlebot tarafından taranan içeriği kullanır ve Google-Extended ile kontrol edilmez. AI Overviews'da görünümü sınırlamak için snippet meta etiketlerini kullanın:
<meta name="robots" content="max-snippet:50, max-image-preview:standard">
Veya belirli bölümleri data-nosnippet ile işaretleyin:
<div data-nosnippet>
Bu metin AI Overviews'da kullanılmayacak.
</div>
Yoast SEO ve Rank Math, sayfa/yazı bazında nosnippet ayarı yapmanıza izin verir. Google Arama sıralamasını korurken AI kullanımını sınırlamak istiyorsanız bu yöntemleri tercih edin.
Sık Yapılan Hatalar
- Fiziksel ve sanal dosyayı karıştırmak: Fiziksel robots.txt yükledikten sonra eklenti ayarları çalışmaz. Hangisinin aktif olduğunu
example.com/robots.txtadresinden kontrol edin. - Farklı User-agent grupları arasına boş satır koymamak: Her
User-agentbloğu arasında boş satır bırakın; aksi halde bazı botlar kuralları yanlış yorumlayabilir. - Googlebot'u tamamen engellemek:
User-agent: Googlebot / Disallow: /sitenizi Google'dan kaldırır. Sadece AI eğitimini engellemek istiyorsanızGoogle-Extendedkullanın. - Robots.txt'i güvenlik aracı sanmak: Robots.txt, kötü niyetli botları durdurmaz. Hassas dizinleri
.htaccess, şifre koruması veya WAF ile güvence altına alın. - Değişiklikleri test etmemek: Google Search Console'da Ayarlar → robots.txt raporu ve URL Denetimi aracını kullanarak kurallarınızı doğrulayın. Eski "robots.txt test aracı" kaldırılmıştır.
- ChatGPT-User gibi kullanıcı kaynaklı ajanlara güvenmek: Bu ajanlar robots.txt'e aynı şekilde uymayabilir; sunucu seviyesi engelleme gerekebilir.
llms.txt Hakkında Gerçekler
2024'te önerilen llms.txt dosyası, AI modellerine site hakkında özet bilgi sunmayı amaçlar. Ancak bu, resmi bir standart değildir ve Google, OpenAI, Anthropic gibi büyük sağlayıcıların bunu sıralama, atıf veya eğitim için kullandığına dair doğrulanmış kanıt yoktur. Deneysel bir yaklaşım olarak test edebilirsiniz, ancak robots.txt veya meta etiketlerinin yerini tutmaz.
Sık Sorulan Sorular
Fiziksel robots.txt mi yoksa eklenti ile sanal dosya mı kullanmalıyım?
SEO eklentisi kullanıyorsanız (Yoast, Rank Math), sanal dosya yönetimi daha pratiktir; WordPress panosu üzerinden hızlıca değişiklik yapabilirsiniz. Eklenti kullanmıyorsanız veya sunucu seviyesinde tam kontrol istiyorsanız, fiziksel dosya tercih edilebilir. Her iki durumda da example.com/robots.txt adresinden hangi dosyanın aktif olduğunu kontrol edin.
Google-Extended'ı engellemek Google Arama sıralamasını etkiler mi?
Hayır. Google-Extended, yalnızca Gemini uygulamaları ve Vertex AI için eğitim/grounding kullanımını kontrol eder; Google Arama sıralamasını etkilemez. Normal Googlebot taramasını engellemediğiniz sürece siteniz Google'da görünmeye devam eder.
Robots.txt'e uymayan botları nasıl engellerim?
Robots.txt bir nezaket protokolüdür ve uymayan botları durduramaz. Bu tür botları .htaccess (Apache) veya Nginx yapılandırması ile User-Agent bazında engelleyin (yukarıdaki .htaccess örneğine bakın). Alternatif olarak Cloudflare, Sucuri gibi WAF hizmetleri veya hosting sağlayıcınızın sunucu seviyesi güvenlik duvarını kullanabilirsiniz.
AI Overviews'da görünmek istemiyorum ama Google Arama'da çıkmak istiyorum, nasıl yaparım?
Google AI Overviews, normal Googlebot tarafından taranan içeriği kullanır ve Google-Extended ile kontrol edilmez. AI Overviews'da kullanımı sınırlamak için max-snippet, max-image-preview veya data-nosnippet gibi snippet kontrol yöntemlerini kullanın. Yoast SEO veya Rank Math'te sayfa bazında nosnippet ayarı yapabilirsiniz. Bu, sıralamayı korurken AI'da görünümü azaltır. Ancak Google'ın AI Overviews politikası değişebilir; resmi dokümantasyondan güncel bilgileri takip edin.