GPTBot, OAI-SearchBot ve ChatGPT-User Arasındaki Fark Nedir?
Kısaca: OpenAI üç farklı user-agent kullanır: GPTBot model eğitimi için web içeriği toplar, OAI-SearchBot ChatGPT arama sonuçlarını indeksler (eğitim için kullanılmaz), ChatGPT-User ise kullanıcı talebiyle sayfa getiren ajandır. GPTBot'u engellerseniz içeriğiniz eğitimde kullanılmaz; OAI-SearchBot'u engellerseniz ChatGPT aramalarında görünmezsiniz; ChatGPT-User için OpenAI robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir.
OpenAI User-Agent'larının Karşılaştırması
| User-Agent | Amaç | Engellerseniz Ne Olur | robots.txt'e Uyar mı? |
|---|---|---|---|
| GPTBot | Model eğitimi için web içeriği toplar | İçeriğiniz gelecek GPT modellerinin eğitiminde kullanılmaz | Evet |
| OAI-SearchBot | ChatGPT arama özelliği için içerik indeksler (eğitim amaçlı değil) | Siteniz ChatGPT arama sonuçlarında görünmez | Evet |
| ChatGPT-User | Kullanıcı talebiyle (örn. "şu URL'yi özetle") sayfa getirir | OpenAI, bu istekler için robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir | Kısmen (kullanıcı kaynaklı) |
Her User-Agent'ın Detaylı Açıklaması
GPTBot: Eğitim Amaçlı Tarayıcı
GPTBot, OpenAI'ın gelecekteki dil modellerini eğitmek için web içeriği topladığı tarayıcıdır. Sitenizi ziyaret eder, metni okur ve bu veriyi model geliştirme süreçlerinde kullanır. Bu tarayıcı robots.txt protokolüne tam uyum sağlar.
GPTBot'u engellemek, içeriğinizin OpenAI'ın eğitim veri setine dahil edilmemesini sağlar. Ancak bu, daha önce toplanmış verileri etkilemez—sadece ileri tarihli taramalar için geçerlidir.
OAI-SearchBot: ChatGPT Arama İndeksleyici
OAI-SearchBot, ChatGPT'nin arama özelliği için web içeriğini indeksler. Kullanıcılar ChatGPT'de güncel bilgi aradığında, bu bot sayesinde toplanan sonuçlar gösterilir. OpenAI açıkça belirtir ki bu bot model eğitimi için kullanılmaz—yalnızca arama kalitesini artırmak içindir.
Bu botu engellerseniz, siteniz ChatGPT arama sonuçlarında yer almaz. Ancak GPTBot'tan bağımsızdır; birini engelleyip diğerine izin verebilirsiniz.
ChatGPT-User: Kullanıcı Kaynaklı Getirme
ChatGPT-User, bir kullanıcı ChatGPT'ye "şu URL'yi özetle" veya "bu sayfadaki bilgiyi analiz et" gibi doğrudan bir istek yaptığında devreye girer. Bu durumda ChatGPT, kullanıcı adına sayfayı getirir.
OpenAI, kullanıcı kaynaklı bu istekler için robots.txt kurallarının otomatik tarayıcılarla aynı şekilde uygulanmayabileceğini belirtir. Yani ChatGPT-User'ı robots.txt'de engelleseniz bile, kullanıcı talebi üzerine erişim gerçekleşebilir. Bunu kesin olarak engellemek istiyorsanız, sunucu veya WAF (Web Application Firewall) seviyesinde IP bazlı engelleme yapmanız gerekir.
ChatGPT Aramasında Görünüp Eğitime İzin Vermeme: Örnek robots.txt
Sitenizin ChatGPT arama sonuçlarında görünmesini istiyorsanız ancak içeriğinizin model eğitiminde kullanılmasını istemiyorsanız, aşağıdaki robots.txt yapılandırmasını kullanabilirsiniz:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Bu yapılandırma şu anlama gelir:
- GPTBot tüm sitenize erişemez, dolayısıyla içeriğiniz eğitim veri setine dahil edilmez.
- OAI-SearchBot tüm sitenize erişebilir, böylece ChatGPT arama sonuçlarında görünürsünüz.
Belirli Dizinlere İzin Verme Örneği
Eğer yalnızca belirli bir blog dizininin arama sonuçlarında görünmesini, ancak diğer içeriklerin eğitimde kullanılmamasını istiyorsanız:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /blog/
Disallow: /
Bu durumda yalnızca /blog/ altındaki içerikler ChatGPT aramalarında indekslenir; geri kalan site ne eğitimde ne de aramada kullanılır.
ChatGPT-User İçin Ek Önlem
ChatGPT-User için robots.txt yeterli olmayabilir. Kullanıcı kaynaklı erişimi engellemek istiyorsanız, sunucu yapılandırmanızda (örneğin Nginx veya Apache) user-agent kontrolü yapabilirsiniz:
# Nginx örneği
if ($http_user_agent ~* "ChatGPT-User") {
return 403;
}
Ancak bu yöntem teknik bilgi gerektirir ve kullanıcı deneyimini etkileyebilir. Çoğu site için GPTBot ve OAI-SearchBot kontrolü yeterlidir.
Önemli Hatırlatmalar
robots.txt bir erişim güvenlik mekanizması değil, nezaket protokolüdür. Uyumlu botlar kurallara saygı gösterir, ancak kötü niyetli tarayıcılar robots.txt'i görmezden gelebilir. Güvenlik için sunucu seviyesinde IP engelleme, rate limiting veya WAF kullanmalısınız.
Ayrıca, robots.txt değişiklikleri yalnızca ileriye dönük etkilidir. GPTBot'u bugün engelleseniz bile, daha önce toplanmış içerikler eğitim veri setinde kalır.
Yapılandırmanızı test etmek için Google Search Console'daki robots.txt raporu veya URL denetimi aracını kullanabilirsiniz. OpenAI'ın kendi test aracı bulunmamaktadır; değişikliklerinizi canlıya aldıktan sonra https://siteniz.com/robots.txt adresinden doğrulayın.
Sık Sorulan Sorular
GPTBot'u engellesem mevcut ChatGPT yanıtlarında değişiklik olur mu?
Hayır. GPTBot'u engellemek yalnızca gelecekteki model eğitimlerini etkiler. Halihazırda eğitilmiş modeller (örneğin GPT-4 veya GPT-4o) daha önce topladıkları verilerle çalışmaya devam eder. Engeliniz, yalnızca yeni taramalar ve gelecek model güncellemeleri için geçerlidir.
OAI-SearchBot'u engellesem ChatGPT beni hiç gösteremez mi?
ChatGPT arama sonuçlarında görünmezsiniz, ancak kullanıcı doğrudan URL'nizi verip "şu sayfayı özetle" derse ChatGPT-User ajanı üzerinden erişim mümkün olabilir. Tam engelleme için sunucu seviyesinde user-agent kontrolü yapmanız gerekir.
Hem GPTBot hem OAI-SearchBot'u aynı anda engelleyebilir miyim?
Evet, robots.txt'nizde her iki user-agent için ayrı bloklar tanımlayabilirsiniz. Örneğin:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
Bu durumda içeriğiniz ne eğitimde ne de ChatGPT aramalarında kullanılır. Ancak ChatGPT-User üzerinden kullanıcı kaynaklı erişim yine mümkün olabilir.
robots.txt değişikliklerinin etkili olması ne kadar sürer?
Botlar genellikle robots.txt dosyasını her ziyarette veya belirli aralıklarla kontrol eder. Değişiklikleriniz birkaç saat içinde etkili olur, ancak tam yayılma birkaç gün sürebilir. OpenAI'ın tarama sıklığı herkese açık değildir; değişikliklerinizi yaptıktan sonra sabırlı olun ve düzenli olarak sunucu loglarınızı kontrol edin.