Google-Extended Neyi Engeller, Neyi Engellemez? SEO'ya Etkisi
Kısaca: Google-Extended, robots.txt'te kullanılan bir kontrol belirtecidir ve yalnızca Gemini uygulamaları ile Vertex AI gibi üretken yapay zeka ürünlerinin model eğitimi ve grounding (temel oluşturma) süreçlerini etkiler. Google Arama sıralamasını veya AI Overviews'u (Yapay Zeka Özetleri) etkilemez. AI Overviews, normal Googlebot tarafından taranan içerikten beslenir ve nosnippet, max-snippet gibi snippet kontrolleriyle yönetilir.
Google-Extended Nedir ve Ne İşe Yarar?
Google-Extended, 2023 yılında Google tarafından tanıtılan bir robots.txt belirtecidir. Bir tarayıcı (bot) değil, site sahiplerinin içeriklerinin Google'ın üretken yapay zeka modellerinin eğitiminde kullanılıp kullanılmayacağını kontrol etmelerine olanak tanıyan bir anahtardır.
Google-Extended'ı engellerseniz:
- İçeriğiniz Gemini Apps (Gemini sohbet arayüzü) için model eğitiminde kullanılmaz
- Vertex AI gibi kurumsal yapay zeka ürünlerinin eğitim veri setlerine dahil edilmez
- Grounding (modelin gerçek zamanlı bilgiyle desteklenmesi) süreçlerinde kullanılmaz
Google-Extended'ı engellerseniz değişmeyen şeyler:
- Siteniz Google Arama sonuçlarında normal şekilde görünmeye devam eder
- Sıralama pozisyonunuz etkilenmez
- AI Overviews (Yapay Zeka Özetleri) içeriğinizi kullanmaya devam edebilir
- Googlebot taraması devam eder
Yaygın Yanlış Anlama: Google-Extended ve AI Overviews
En sık karşılaşılan yanlış anlama şudur: "Google-Extended'ı engelleyerek AI Overviews'da görünmemi engelleyebilirim." Bu doğru değildir.
AI Overviews, Google Arama sonuçlarının üst kısmında görünen yapay zeka destekli özetlerdir. Bu özetler, normal Googlebot tarafından taranan ve indekslenen içeriklerden üretilir. Google-Extended, bu süreci etkilemez çünkü AI Overviews model eğitimi değil, mevcut indeksten gerçek zamanlı bilgi çekme işlemidir.
AI Overviews'u Nasıl Kontrol Edersiniz?
AI Overviews'da içeriğinizin nasıl kullanılacağını kontrol etmek için snippet (alıntı) kontrollerini kullanmalısınız:
<meta name="robots" content="nosnippet">Bu etiket, sayfanızdan hiçbir metin alıntısı yapılmasını engeller. AI Overviews dahil tüm snippet'ler devre dışı kalır.
<meta name="robots" content="max-snippet:50">Bu etiket, maksimum 50 karakterlik alıntı yapılmasına izin verir. AI Overviews bu sınıra uyar.
<div data-nosnippet>
Bu bölüm AI Overviews'da kullanılmayacak.
</div>data-nosnippet özelliği, sayfa içindeki belirli bölümleri snippet'lerden hariç tutar.
Google-Extended Robots.txt Örneği
Google-Extended'ı engellemek için robots.txt dosyanıza şunu ekleyin:
User-agent: Google-Extended
Disallow: /Bu, tüm sitenizi Gemini ve Vertex AI eğitiminden çıkarır. Ancak Googlebot'u etkilemez:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /Bu yapılandırmada siteniz normal şekilde taranır ve sıralanır, ancak üretken yapay zeka eğitiminde kullanılmaz.
Belirli bir dizini korumak isterseniz:
User-agent: Google-Extended
Disallow: /premium-content/
Allow: /blog/Bu örnekte /premium-content/ dizini eğitimden hariç tutulurken, /blog/ dizini kullanılabilir.
Googlebot, Google-Extended ve AI Overviews İlişkisi
| Özellik | Googlebot | Google-Extended | AI Overviews Kontrolü |
|---|---|---|---|
| Amaç | Arama indeksleme | AI model eğitimi kontrolü | Snippet kontrolleri |
| Sıralamayı Etkiler mi? | Evet (tarama gerekli) | Hayır | Hayır (görünürlüğü etkiler) |
| AI Overviews'u Etkiler mi? | Evet (kaynak veri) | Hayır | Evet (doğrudan kontrol) |
| Kontrol Yöntemi | robots.txt, meta robots | robots.txt | nosnippet, max-snippet, data-nosnippet |
Gerçek Dünya Senaryoları
Senaryo 1: Haber Sitesi
Bir haber sitesi, içeriğinin AI Overviews'da görünmesini istiyor ancak Gemini eğitiminde kullanılmasını istemiyor:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /Sayfalarında snippet kontrolü yok. Sonuç: İçerik AI Overviews'da görünür, ancak Gemini eğitiminde kullanılmaz.
Senaryo 2: Ücretli İçerik Platformu
Bir platform, premium içeriğinin hem AI Overviews'da hem de model eğitiminde kullanılmasını engellemek istiyor:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /premium/Premium sayfalarda:
<meta name="robots" content="nosnippet">Sonuç: Premium içerik indekslenir ve sıralanır, ancak ne AI Overviews'da ne de Gemini eğitiminde kullanılır.
Senaryo 3: Açık Bilgi Kaynağı
Bir wiki sitesi, içeriğinin hem aramada hem de yapay zeka eğitiminde kullanılmasını istiyor:
User-agent: *
Allow: /Hiçbir snippet kısıtlaması yok. Sonuç: İçerik her yerde kullanılabilir.
Doğrulama ve İzleme
Google Search Console'da robots.txt dosyanızı doğrulamak için:
- Search Console'a giriş yapın
- Sol menüden "Ayarlar" > "robots.txt raporu"na gidin
- Google-Extended kurallarınızı kontrol edin
Not: Eski "robots.txt test aracı" kaldırılmıştır. Şimdi "robots.txt raporu" ve "URL denetimi" araçlarını kullanmalısınız.
AI Overviews'da görünüp görünmediğinizi izlemek için:
- Hedef anahtar kelimelerinizi Google'da arayın
- AI Overviews bölümünde sitenizin kaynak olarak gösterilip gösterilmediğini kontrol edin
- Search Console'daki "Performans" raporunda AI Overviews trafiğini izleyin (Google bu veriyi standart arama trafiğiyle birlikte raporlar)
Sık Sorulan Sorular
Google-Extended'ı engellemek SEO'ya zarar verir mi?
Hayır. Google-Extended yalnızca Gemini ve Vertex AI gibi üretken yapay zeka ürünlerinin eğitim süreçlerini etkiler. Googlebot taramasını, indekslemeyi veya sıralamayı etkilemez. Siteniz Google Arama'da normal şekilde görünmeye devam eder. Ancak gelecekte yapay zeka destekli arama deneyimlerinin önem kazanması durumunda, model eğitiminde yer almamak dolaylı bir dezavantaj oluşturabilir—bu konuda kesin bir veri henüz mevcut değil.
AI Overviews'da görünmemek için ne yapmalıyım?
AI Overviews'da içeriğinizin kullanılmasını engellemek için sayfalarınıza <meta name="robots" content="nosnippet"> etiketi ekleyin veya max-snippet:0 kullanın. Google-Extended'ı engellemek AI Overviews'u etkilemez. Sayfa bazında kontrol için data-nosnippet özelliğini kullanabilirsiniz. Bu kontroller Googlebot'un snippet oluşturma davranışını yönetir ve AI Overviews bu kurallara uyar.
Google-Extended'ı engelleyen siteler Gemini'de hiç görünmez mi?
Google-Extended yalnızca model eğitimini ve grounding süreçlerini kontrol eder. Gemini, kullanıcı sorgularına yanıt verirken gerçek zamanlı web araması yapabilir ve bu aramalar normal Googlebot tarafından indekslenmiş içerikleri kullanır. Dolayısıyla Google-Extended'ı engelleseniz bile, Gemini hâlâ sitenize atıfta bulunabilir veya içeriğinizi kaynak olarak gösterebilir—ancak bu, eğitim veri setinden değil, gerçek zamanlı arama sonuçlarından gelir. Kesin davranış için Google'ın resmi dokümantasyonunu takip edin.
robots.txt değişikliklerinin etkisi ne kadar sürede görülür?
Google, robots.txt dosyanızı günde birkaç kez kontrol eder. Değişiklikler genellikle birkaç saat içinde etkili olur, ancak tam yansıma 24-48 saat sürebilir. Search Console'daki robots.txt raporunda değişikliğin algılanıp algılanmadığını kontrol edebilirsiniz. AI model eğitimi periyodik olarak yapıldığından, Google-Extended engelinin eğitim veri setlerinden tamamen temizlenmesi daha uzun sürebilir—bu süreç hakkında Google spesifik bir zaman çizelgesi paylaşmamıştır.