Yapay Zeka Botları User-Agent Listesi (GPTBot, ClaudeBot, PerplexityBot ve Diğerleri)
Kısaca: Yapay zeka şirketleri, model eğitimi ve arama sonuçları için farklı botlar kullanır. GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Google), Applebot-Extended (Apple) ve CCBot (Common Crawl) gibi botları robots.txt ile kontrol edebilirsiniz. Aşağıdaki tabloda başlıca AI botlarının user-agent dizelerini, amaçlarını ve robots.txt uyumunu bulacaksınız.
Başlıca AI Botları ve Amaçları
Her yapay zeka şirketi, farklı amaçlar için birden fazla bot kullanabilir. Bazıları model eğitimi için web içeriği toplar, bazıları arama sonuçlarını indeksler, bazıları ise kullanıcı isteği üzerine sayfa getirir. Aşağıdaki tablo, bilinen başlıca AI botlarını ve amaçlarını özetler:
| Şirket | User-Agent | Amaç | robots.txt Uyumu |
|---|---|---|---|
| OpenAI | GPTBot | Model eğitimi (GPT-4, GPT-5 vb.) | Evet |
| OpenAI | OAI-SearchBot | ChatGPT arama sonuçları (eğitim için kullanılmaz) | Evet |
| OpenAI | ChatGPT-User | Kullanıcı isteği üzerine sayfa getirme | Kısmen (OpenAI, bu ajanda robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir) |
| Anthropic | ClaudeBot | Model eğitimi (Claude modelleri) | Evet |
| Anthropic | Claude-User | Kullanıcı isteği üzerine sayfa getirme | Değişken |
| Anthropic | Claude-SearchBot | Arama kalitesi iyileştirme | Evet |
| Perplexity | PerplexityBot | Arama sonuçlarını indeksleme | Evet |
| Perplexity | Perplexity-User | Kullanıcı isteği üzerine sayfa getirme | Değişken |
| Google-Extended | Gemini uygulamaları ve Vertex AI eğitimi/grounding kontrolü (robots.txt belirteci, ayrı tarayıcı değil) | Evet | |
| Apple | Applebot-Extended | Temel model eğitimi kontrolü (robots.txt belirteci) | Evet |
| Apple | Applebot | Siri ve Spotlight arama | Evet |
| Common Crawl | CCBot | Genel web arşivleme (birçok AI modeli bu veriyi kullanır) | Evet |
| Meta | Meta-ExternalAgent | AI eğitimi ve ürün geliştirme (resmi dokümandan doğrulayın) | Evet (varsayılan) |
| Amazon | Amazonbot | Arama ve ürün önerileri (AI eğitimi için kullanımı resmi dokümandan doğrulayın) | Evet |
| ByteDance | Bytespider | Arama ve içerik indeksleme (AI eğitimi için kullanımı resmi dokümandan doğrulayın) | Evet |
Önemli not: Meta, Amazon ve ByteDance botlarının AI eğitimi için tam kullanım detaylarını resmi dokümantasyondan doğrulayın. User-agent dizeleri zaman içinde değişebilir veya yeni botlar eklenebilir.
Model Eğitimi vs. Arama Botları Farkı
AI şirketleri genellikle iki farklı bot türü kullanır:
Eğitim Botları
GPTBot, ClaudeBot ve CCBot gibi botlar, büyük dil modellerini eğitmek için web içeriğini toplar. Bu botları engellemek, içeriğinizin gelecekteki model eğitimlerinde kullanılmasını önler. Ancak, daha önce toplanmış veriler zaten eğitim setlerinde olabilir.
Arama ve Kullanıcı Kaynaklı Botlar
OAI-SearchBot, PerplexityBot ve Claude-SearchBot gibi botlar, gerçek zamanlı arama sonuçları için içerik indeksler. ChatGPT-User, Claude-User ve Perplexity-User gibi ajandalar ise kullanıcı bir istekte bulunduğunda sayfa getirir. Bu tür botlar için robots.txt kuralları her zaman aynı şekilde uygulanmayabilir.
robots.txt ile AI Botlarını Engelleme
Belirli AI botlarını engellemek için robots.txt dosyanıza aşağıdaki gibi kurallar ekleyebilirsiniz:
# OpenAI model eğitimini engelle
User-agent: GPTBot
Disallow: /
# Anthropic model eğitimini engelle
User-agent: ClaudeBot
Disallow: /
# Perplexity indekslemesini engelle
User-agent: PerplexityBot
Disallow: /
# Google Gemini/Vertex AI eğitimini engelle (Arama sıralamasını etkilemez)
User-agent: Google-Extended
Disallow: /
# Apple model eğitimini engelle (Siri/Spotlight'ı etkilemez)
User-agent: Applebot-Extended
Disallow: /
# Common Crawl'u engelle
User-agent: CCBot
Disallow: /
Dikkat: Google-Extended'ı engellemek Google Arama sıralamasını etkilemez. Google AI Overviews, normal Googlebot ve snippet kontrolleriyle (nosnippet, max-snippet, data-nosnippet) yönetilir.
Tüm AI Botlarını Toplu Engelleme
Tüm bilinen AI botlarını engellemek isterseniz:
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Bytespider
Disallow: /
robots.txt'nin Sınırlamaları
robots.txt bir nezaket protokolüdür, güvenlik mekanizması değildir. Uymayan botlar için sunucu veya WAF (Web Application Firewall) seviyesinde engelleme yapmalısınız. Ayrıca, kullanıcı kaynaklı ajandalar (ChatGPT-User, Claude-User gibi) robots.txt kurallarına her zaman uymayabilir; bu durumda IP bazlı engelleme veya rate limiting gerekebilir.
llms.txt Hakkında
llms.txt, 2024 yılında önerilen bir dosya formatıdır ve yapay zeka modellerine siteniz hakkında yapılandırılmış bilgi sunmayı amaçlar. Ancak bu, resmi bir standart değildir ve büyük arama/AI sağlayıcılarının bunu sıralama veya atıf için kullandığı doğrulanmış değildir. llms.txt'yi bir deney olarak deneyebilirsiniz, ancak mucizevi sonuçlar beklemeyin. Resmi dokümantasyonları takip edin.
Sık Sorulan Sorular
GPTBot'u engellemek eski ChatGPT eğitimlerini etkiler mi?
Hayır. GPTBot'u şimdi engellemek, içeriğinizin gelecekteki model eğitimlerinde kullanılmasını önler, ancak daha önce toplanmış ve eğitim setlerine dahil edilmiş veriler üzerinde etkisi yoktur. Geçmişe dönük bir silme veya "unutma" mekanizması yoktur.
Google-Extended'ı engellemek Google Arama sıralamasını düşürür mü?
Hayır. Google-Extended yalnızca Gemini uygulamaları ve Vertex AI için eğitim/grounding kullanımını kontrol eder. Google Arama sıralaması normal Googlebot tarafından yapılır ve Google-Extended'dan bağımsızdır. AI Overviews'i kontrol etmek için nosnippet, max-snippet veya data-nosnippet gibi snippet kontrollerini kullanın.
Kullanıcı kaynaklı botları (ChatGPT-User, Claude-User) nasıl engellerim?
Bu botlar kullanıcı isteği üzerine çalıştığı için robots.txt kurallarına her zaman uymayabilir. OpenAI, ChatGPT-User için robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir. Daha kesin kontrol için sunucu seviyesinde IP bazlı engelleme, rate limiting veya WAF kuralları uygulamalısınız. Resmi dokümantasyondan güncel IP aralıklarını kontrol edin.
robots.txt değişikliklerini nasıl test ederim?
Google Search Console'daki eski "robots.txt test aracı" kaldırılmıştır. Bunun yerine "robots.txt raporu" ve "URL denetimi" araçlarını kullanarak Googlebot'un robots.txt dosyanızı nasıl gördüğünü kontrol edebilirsiniz. Diğer botlar için resmi dokümantasyonlarında test araçları olup olmadığını kontrol edin veya sunucu loglarınızı izleyin.