Hazır robots.txt Şablonları: Hepsine İzin, Sadece Eğitimi Engelle, Hepsini Engelle
Kısaca: Aşağıda üç temel senaryo için kopyala-yapıştır robots.txt şablonu bulacaksınız: (1) tüm botlara tam erişim, (2) sadece AI model eğitimini engelleme ama arama/kullanıcı kaynaklı erişime izin, (3) tüm otomatik tarayıcıları engelleme. Her şablonun hangi botları nasıl etkilediğini ve olası sonuçlarını açıklıyoruz.
Senaryo 1: Tüm Botlara Tam Erişim (Varsayılan Açık)
Bu şablon, sitenizin tüm tarayıcılar ve AI botları tarafından indekslenmesine ve eğitim verisi olarak kullanılmasına izin verir. Yeni siteler, haber yayıncıları veya maksimum görünürlük isteyen içerik üreticileri için uygundur.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Sonuçlar:
- Googlebot, Bingbot gibi arama tarayıcıları tüm sayfaları indeksler; Google Arama ve Bing'de görünürsünüz.
- GPTBot, ClaudeBot, CCBot gibi eğitim botları içeriğinizi model eğitiminde kullanabilir.
- ChatGPT arama, Perplexity, Google AI Overviews gibi AI destekli arama sonuçlarında içeriğiniz atıf kaynağı olarak çıkabilir.
- Kullanıcı kaynaklı ajanlara (ChatGPT-User, Claude-User) izin verilir; kullanıcılar AI sohbetlerinde sitenizi kaynak gösterebilir.
Dikkat: Bu ayar içeriğinizin telif hakkını korumaz. Botlar nezaket protokolüne uyduğu sürece erişir; uymayanlar için sunucu seviyesinde engelleme (IP, User-Agent filtreleme) gerekir.
Senaryo 2: Sadece AI Model Eğitimini Engelle, Arama ve Kullanıcı Erişimine İzin Ver
Bu şablon, içeriğinizin arama motorlarında görünmesine ve kullanıcıların AI araçlarıyla erişmesine izin verirken, ticari model eğitimi için toplu veri kazımasını engeller. Yayıncılar ve içerik üreticileri için dengeli bir yaklaşımdır.
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
Allow: /
User-agent: anthropic-ai
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Perplexity-User
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
Sonuçlar:
- Engellenen: GPTBot (OpenAI eğitim), ClaudeBot (Anthropic eğitim), CCBot (Common Crawl), Google-Extended (Gemini/Vertex AI eğitim), Applebot-Extended (Apple model eğitim) sitenizi taramaz. İçeriğiniz bu şirketlerin gelecekteki model eğitimlerinde kullanılmaz.
- İzin verilen: Googlebot ve Bingbot normal şekilde indeksler; Google Arama ve Bing sıralamanız etkilenmez. ChatGPT-User, Claude-User, Perplexity-User gibi kullanıcı kaynaklı ajanlar çalışır; kullanıcılar AI sohbetlerinde sitenizi kaynak gösterebilir.
- Google AI Overviews: Google-Extended yalnızca Gemini uygulamaları ve Vertex AI eğitimini kontrol eder; AI Overviews'daki snippet'ler Googlebot ve
max-snippet,data-nosnippetgibi meta direktiflerle yönetilir. Bu şablon AI Overviews'ı engellemez. - Perplexity arama: PerplexityBot'u engellemek Perplexity'nin indekslemesini durdurur, ancak Perplexity-User (kullanıcı isteği) hâlâ erişebilir. Tam engelleme için her ikisini de
Disallow: /yapın.
Önemli not: robots.txt bir nezaket protokolüdür. Uymayanlar için sunucu yapılandırması (nginx, Apache) veya WAF kurallarıyla User-Agent bazlı engelleme uygulamalısınız. Ayrıca, bu şablon yalnızca listelenen botları etkiler; yeni veya bilinmeyen AI tarayıcıları ortaya çıktıkça güncellenmelidir.
Senaryo 3: Tüm Botları Engelle (Maksimum Kısıtlama)
Bu şablon, tüm otomatik tarayıcıları engeller. Geliştirme/test siteleri, özel üyelik platformları veya genel indeksleme istenmeyen durumlar için uygundur. Ancak arama motorlarında görünmezsiniz.
User-agent: *
Disallow: /
Sonuçlar:
- Googlebot, Bingbot dahil tüm tarayıcılar sitenize erişemez; Google Arama ve Bing'de indekslenmezsiniz.
- Tüm AI eğitim botları (GPTBot, ClaudeBot, CCBot vb.) ve kullanıcı kaynaklı ajanlar (ChatGPT-User, Claude-User) engellenir.
- Mevcut indekslenmiş sayfalar arama sonuçlarından kaldırılmaz; bunun için
noindexmeta etiketi veya HTTP başlığı gerekir. - Sitemap bildirimi opsiyoneldir; botlar zaten engellendiği için işe yaramaz, ancak gelecekte seçici erişim açmayı planlıyorsanız bırakabilirsiniz.
Alternatif (geliştirme ortamı): Sadece belirli dizinleri engellemek için:
User-agent: *
Disallow: /admin/
Disallow: /test/
Disallow: /private/
Allow: /
Sitemap: https://example.com/sitemap.xml
Bu durumda /admin/, /test/, /private/ dizinleri tüm botlara kapalı, geri kalan site açık kalır.
Şablonları Uygularken Dikkat Edilecekler
robots.txt Konumu ve Sözdizimi
Dosya mutlaka sitenizin kök dizininde https://example.com/robots.txt adresinde olmalıdır. Alt dizinlerde (örneğin /blog/robots.txt) çalışmaz. Dosya adı küçük harfle robots.txt olmalı, Robots.txt veya ROBOTS.TXT bazı sistemlerde tanınmaz. Her User-agent grubu arasına boş satır bırakın; bu, farklı bot gruplarının kurallarını netleştirir.
Doğrulama ve Test
Google Search Console'daki robots.txt raporu (Ayarlar > robots.txt) dosyanızın sözdizimini ve erişilebilirliğini gösterir. Belirli URL'lerin engellenip engellenmediğini test etmek için URL denetimi aracını kullanın; eski 'robots.txt test aracı' kaldırılmıştır. Bing Webmaster Tools'da da benzer raporlar mevcuttur.
Güvenlik ve Erişim Kontrolü
robots.txt bir güvenlik mekanizması değildir; dosya herkese açık ve okunabilir. Hassas dizinleri (admin panelleri, kullanıcı verileri) robots.txt'de Disallow ile gizlemeyin; bu, saldırganların konumunu öğrenmesine yol açar. Bunun yerine sunucu seviyesinde kimlik doğrulama (HTTP Basic Auth, OAuth) veya IP beyaz listesi kullanın. Uymayanlar için nginx/Apache'de User-Agent filtreleme veya rate limiting uygulayın.
llms.txt Hakkında
llms.txt, 2024'te önerilen bir dosya formatıdır ve AI modellerine site hakkında özet bilgi sunmayı amaçlar. Ancak bu, resmi bir standart değildir ve Google, OpenAI, Anthropic gibi büyük sağlayıcıların bunu sıralama, atıf veya erişim kontrolü için kullandığı doğrulanmamıştır. Deneysel bir yaklaşım olarak ekleyebilirsiniz, ancak robots.txt'nin yerini almaz ve mucizevi sonuçlar beklemeyin. Resmi dokümantasyonlardan güncel durumu kontrol edin.
Sık Sorulan Sorular
Senaryo 2'deki şablon Google AI Overviews'ı engelliyor mu?
Hayır. Google-Extended yalnızca Gemini uygulamaları ve Vertex AI için model eğitimini kontrol eder; Google Arama'daki AI Overviews sıralamasını veya snippet gösterimini etkilemez. AI Overviews'daki alıntıları kontrol etmek için max-snippet, data-nosnippet veya nosnippet meta direktiflerini kullanın. Googlebot'u engellerseniz hem normal arama hem de AI Overviews'dan çıkarsınız.
robots.txt'yi güncelledikten sonra değişiklikler ne kadar sürede etkili olur?
Çoğu arama tarayıcısı robots.txt'yi günde bir kez kontrol eder; Google genellikle birkaç saat içinde günceller. Search Console'da 'robots.txt raporu'ndan dosyanın okunduğunu doğrulayabilirsiniz. Ancak, daha önce indekslenmiş sayfaların arama sonuçlarından kaldırılması haftalar alabilir. Hızlı kaldırma için Search Console'da 'Kaldırma İstekleri' aracını kullanın veya sayfalara noindex ekleyin.
ChatGPT-User ve Claude-User'ı engellemek kullanıcıların AI sohbetlerinde siteyi kullanmasını durdurur mu?
Kısmen. ChatGPT-User ve Claude-User, kullanıcı bir istekte bulunduğunda sayfayı getiren ajanlardır. Bunları engellerseniz, kullanıcılar AI sohbetinde "şu URL'yi oku" dediğinde bot erişemez. Ancak OpenAI, kullanıcı kaynaklı isteklerde robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir; kesin davranış için resmi dokümantasyonu kontrol edin. Tam engelleme için sunucu seviyesinde User-Agent filtreleme yapın.
Senaryo 3'teki tam engelleme yasal sorumluluktan korur mu?
Hayır. robots.txt bir nezaket protokolüdür ve yasal bir sözleşme veya erişim kontrolü değildir. Telif hakkı, GDPR veya diğer yasal konularda kesin koruma sağlamaz. İçeriğinizin AI eğitiminde kullanılmasıyla ilgili endişeleriniz varsa, hukuki danışmanlık alın ve gerekirse kullanım şartlarınızı güncelleyin. robots.txt, iyi niyetli botları yönlendirir; kötü niyetli kazıyıcılar için sunucu güvenliği, rate limiting ve yasal yollar gereklidir.