CCBot ve Common Crawl: Engellemeli misiniz?
Kısaca: Common Crawl, açık web verilerini arşivleyen ve araştırmacılara ücretsiz sunan kar amacı gütmeyen bir kuruluştur. GPT, LLaMA ve birçok büyük dil modeli bu veri setini eğitimde kullanmıştır. CCBot tarayıcısını robots.txt ile engellemek gelecekteki arşivlemeyi durdurur, ancak geçmiş veriler zaten yayınlanmıştır ve engelleme arama sıralamasını etkilemez.
Common Crawl nedir ve neden önemlidir?
Common Crawl, 2008'den beri düzenli olarak milyarlarca web sayfasını tarayan ve ham HTML, metin ve meta verileri petabayt ölçeğinde açık veri setleri halinde yayınlayan bir organizasyondur. Her ay yeni bir "crawl" yayınlar ve bu arşivler Amazon S3 üzerinden herkes tarafından indirilebilir.
Birçok akademik araştırma, dil modeli eğitimi ve veri analizi projesi bu arşivleri kullanır. OpenAI'ın GPT-3 ve GPT-4, Meta'nın LLaMA, Google'ın T5 ve PaLM gibi modellerin eğitim veri setlerinde Common Crawl verileri yer almıştır. Araştırmacılar genellikle Common Crawl'ı filtreleyerek, temizleyerek ve kalite puanlaması yaparak kullanır.
CCBot nasıl çalışır?
CCBot, Common Crawl'ın resmi tarayıcısıdır ve robots.txt kurallarına uyar. User-agent dizesi şu şekildedir:
CCBot/2.0 (https://commoncrawl.org/faq/)
CCBot, standart bir web tarayıcısı gibi davranır: sayfaları indirir, bağlantıları takip eder ve robots.txt dosyanızı kontrol eder. Engellenirse o sayfayı arşivlemez. Ancak daha önce taranmış ve yayınlanmış veriler Common Crawl veri setlerinde kalır; robots.txt geçmişe dönük silme sağlamaz.
CCBot'u engellemenin artıları
Gelecekteki veri toplama kontrolü
Sitenizin içeriğinin yeni Common Crawl arşivlerine girmesini engellersiniz. Bu, özellikle hassas içerik, ticari veri veya telif hakkıyla korunan materyaller için önemli olabilir.
Bant genişliği ve sunucu yükü azalması
Common Crawl büyük ölçekli tarama yapar. Küçük veya orta ölçekli siteler için bu yük genellikle ihmal edilebilir düzeydedir, ancak çok büyük kataloglar veya dinamik sayfalar için kaynak tasarrufu sağlayabilir.
Veri gizliliği ve ticari koruma
Eğer siteniz kullanıcı tarafından oluşturulan içerik, özel araştırma veya ticari raporlar barındırıyorsa, bu verilerin açık veri setlerinde yer almasını istemeyebilirsiniz. CCBot'u engellemek bu riski azaltır.
CCBot'u engellemenin eksileri
Akademik araştırmadan dışlanma
Common Crawl, dil araştırması, web arşivleme, dijital beşeri bilimler ve bilgi erişimi çalışmalarında temel bir kaynaktır. Engelleme, sitenizin bu tür çalışmalarda temsil edilmesini engeller.
Arama sıralamasına doğrudan etkisi yok
CCBot, Google, Bing veya diğer arama motorlarının tarayıcıları değildir. Engellemek SEO performansınızı etkilemez. Ancak bazı araştırma ve analiz araçları Common Crawl verilerini kullanır; bu araçlarda görünürlüğünüz azalabilir.
Geçmiş veriler zaten yayınlanmış
Bugün CCBot'u engelleseniz bile, siteniz daha önce taranmışsa o veriler halihazırda Common Crawl arşivlerinde mevcuttur ve indirilebilir durumdadır. Geçmişe dönük silme talebi için Common Crawl ile doğrudan iletişime geçmeniz gerekir.
AI eğitimini tam olarak engellemez
Büyük model sağlayıcıları Common Crawl dışında birçok kaynaktan veri toplar. CCBot'u engellemek, GPTBot, ClaudeBot veya Google-Extended gibi diğer tarayıcıları engellemez. Kapsamlı bir AI eğitim engelleme stratejisi için tüm ilgili botları ayrı ayrı listelemeniz gerekir.
robots.txt ile CCBot nasıl engellenir?
Aşağıdaki örnekler, CCBot'u ve diğer yaygın AI eğitim tarayıcılarını engellemek için kullanılabilir:
Yalnızca CCBot'u engellemek
User-agent: CCBot
Disallow: /
CCBot ve diğer AI eğitim tarayıcılarını birlikte engellemek
User-agent: CCBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
Her User-agent bloğu arasına boş satır bırakın. Bu, farklı tarayıcıların kuralları doğru şekilde ayrıştırmasına yardımcı olur.
Belirli dizinleri engellemek
Tüm siteyi değil, yalnızca hassas içerik barındıran dizinleri engellemek isterseniz:
User-agent: CCBot
Disallow: /private/
Disallow: /user-content/
Disallow: /api/
Tüm botlara izin verirken yalnızca CCBot'u engellemek
User-agent: *
Disallow:
User-agent: CCBot
Disallow: /
İlk blok tüm tarayıcılara izin verir, ikinci blok yalnızca CCBot için kısıtlama getirir.
Engelleme sonrası kontrol ve izleme
robots.txt dosyanızı güncelledikten sonra, değişikliğin etkili olduğunu doğrulamak için:
- Tarayıcınızda
https://siteniz.com/robots.txtadresini ziyaret edin ve kuralların doğru göründüğünden emin olun. - Sunucu loglarınızda CCBot isteklerini izleyin. User-agent dizesinde "CCBot" geçen istekler azalmalı veya tamamen durmalıdır.
- Google Search Console'daki robots.txt raporunu kullanarak sözdizimi hatalarını kontrol edin.
robots.txt bir güvenlik mekanizması değildir; yalnızca nezaket protokolüdür. Uymayan botlar için sunucu veya WAF seviyesinde IP engelleme gerekebilir.
Alternatif yaklaşımlar
CCBot'u tamamen engellemek yerine, belirli içerik türlerini korumak için meta etiketleri veya HTTP başlıkları kullanabilirsiniz:
<meta name="robots" content="noarchive">
Bu etiket, sayfanın önbellek kopyalarının saklanmamasını ister. Ancak Common Crawl'ın bu etikete uyup uymadığı resmi olarak belgelenmemiştir; robots.txt daha güvenilir bir yöntemdir.
Sık Sorulan Sorular
CCBot'u engellemek Google sıralamama zarar verir mi?
Hayır. CCBot, Google'ın tarayıcısı değildir ve arama sıralamasıyla hiçbir ilgisi yoktur. Google, Googlebot ve Googlebot-Image gibi kendi tarayıcılarını kullanır. CCBot'u engellemek SEO performansınızı etkilemez.
Geçmişte taranan verilerimi Common Crawl'dan nasıl silerim?
robots.txt geçmişe dönük silme sağlamaz. Common Crawl'ın kullanım şartları sayfasında belirtilen iletişim kanallarını kullanarak resmi bir silme talebi göndermeniz gerekir. Ancak bu süreç zaman alabilir ve garanti edilmez; veriler halihazırda indirilmiş ve kullanılmış olabilir.
CCBot'u engellemek tüm AI modellerinin beni kullanmasını engeller mi?
Hayır. OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended), Apple (Applebot-Extended) ve diğerleri kendi tarayıcılarını kullanır. CCBot'u engellemek yalnızca Common Crawl arşivlemesini durdurur. Kapsamlı koruma için tüm ilgili AI tarayıcılarını ayrı ayrı robots.txt dosyanıza eklemeniz gerekir.
CCBot hangi sıklıkta tarama yapar?
Common Crawl genellikle ayda bir yeni arşiv yayınlar, ancak her site her taramada ziyaret edilmez. Popüler ve sık güncellenen siteler daha sık taranabilir. Tam tarama programı ve kapsam hakkında güncel bilgi için Common Crawl'ın resmi dokümantasyonunu kontrol edin.