Sitemap'imiz 3 Haftadır Donmuştu ve Kimse Fark Etmemişti
Sitemap'imiz 3 Haftadır Donmuştu ve Kimse Fark Etmemişti
Rutin bir Search Console kontrolü yaparken donup kaldık. Sitemap raporuna göz attığımızda son taranma tarihinin 21 gün önce olduğunu gördük. İlk başta "Google bazen yavaş tarar" diye düşündük, ama asıl sorun başka bir yerdeydi: o tarihten bu yana siteye eklediğimiz 2.400'den fazla yeni sayfa vardı, ancak Google'ın gördüğü URL sayısı sadece 340 civarındaydı. Üç haftalık içeriğimiz Google'ın radarına bile girmemişti.
Sorunun Fark Edilişi: Sayılar Uyuşmuyordu
Search Console'daki "Sitemap'ler" bölümüne girdiğimizde şu manzarayla karşılaştık:
- Son taranma tarihi: 3 Kasım 2024
- Keşfedilen URL sayısı: 342
- Gerçek durum: Sitemizde 2.700+ aktif sayfa vardı
Üç hafta boyunca düzenli olarak içerik yayınlamıştık. Her gün ortalama 100-150 yeni sayfa ekliyorduk. Ama Google'ın gözünde sitemiz hâlâ üç hafta önceki haliyle duruyordu. İlk tepkimiz "belki sitemap dosyası bozulmuştur" oldu, ama tarayıcıda sitemap.xml'i açtığımızda her şey yerli yerindeydi. Tüm yeni URL'ler oradaydı, XML formatı doğruydu, son değişiklik tarihleri günceldi.
Teşhis: Google Sitemap'i Yeniden Taramıyordu
Sorunu anlamak için şu adımları izledik:
1. Sitemap Dosyasının Kendisini Kontrol Ettik
Önce sitemap.xml dosyasının gerçekten güncel olup olmadığını doğruladık. Komut satırından bir kontrol yaptık:
curl -I https://aicompatible.com/sitemap.xml
# Last-Modified: Thu, 23 Nov 2024 14:32:11 GMT
# Content-Length: 487234
Dosya günceldi. Boyutu da makul sınırlardaydı (50 MB limitinin çok altında). Sorun sitemap dosyasında değildi.
2. Search Console Loglarını İnceledik
Search Console'un "Tarama İstatistikleri" bölümüne baktığımızda ilginç bir şey fark ettik: Google botları siteyi aktif olarak tarıyordu, ancak sitemap.xml'e hiç uğramıyorlardı. Son sitemap taraması gerçekten 21 gün önceydi ve o zamandan beri Google sitemap'i yeniden kontrol etmemişti.
3. robots.txt'yi Kontrol Ettik
Belki sitemap'i yanlışlıkla engellemişizdir diye robots.txt'ye baktık:
User-agent: *
Allow: /
Sitemap: https://aicompatible.com/sitemap.xml
Burada da sorun yoktu. Sitemap düzgün bildirilmişti.
Asıl Sorun: Google'ın Sitemap Tarama Sıklığı
Araştırmalarımız sonunda şunu anladık: Google sitemap'leri istediği sıklıkta tarar ve bu sıklık tamamen Google'ın kendi algoritmasına bağlıdır. Yeni bir site için bu süre günler, hatta haftalar olabilir. Bizim sitemiz nispeten yeniydi ve Google henüz "bu siteyi sık sık kontrol etmeliyim" kararına varmamıştı.
Sorun şuydu: Biz her gün yüzlerce sayfa eklerken, Google üç haftada bir uğrayıp "hmm, 340 sayfa var" diyordu. Bu arada eklediğimiz 2.400 sayfa indekslenmeden bekliyordu.
Çözüm: Manuel Sitemap Gönderimi
Çözüm basitti ama manuel bir müdahale gerektiriyordu. Search Console'da sitemap'i yeniden gönderdik:
- Search Console → Sitemap'ler bölümüne gittik
- Mevcut sitemap'in yanındaki "Test Et" butonuna tıkladık
- Test başarılı olunca sitemap'i sildik ve yeniden ekledik
Bu işlemden 6 saat sonra Google sitemap'i yeniden taradı. Keşfedilen URL sayısı 342'den 2.718'e fırladı. Ertesi gün indekslenen sayfa sayımız %640 arttı.
Otomatik Çözüm: Search Console API
Bu sorunu bir daha yaşamamak için Search Console API'sini kullanarak otomatik bir bildirim sistemi kurduk:
from google.oauth2 import service_account
from googleapiclient.discovery import build
credentials = service_account.Credentials.from_service_account_file(
'service-account.json',
scopes=['https://www.googleapis.com/auth/webmasters']
)
service = build('searchconsole', 'v1', credentials=credentials)
request = service.sitemaps().submit(
siteUrl='https://aicompatible.com/',
feedpath='https://aicompatible.com/sitemap.xml'
)
response = request.execute()
Şimdi her gün otomatik olarak sitemap'imizi Google'a bildiriyoruz. Bu, Google'ın "ah, bu site aktif, daha sık kontrol etmeliyim" demesini sağladı.
Neden Bu Kadar Zor Fark Edilir?
Bu sorunun sinsi tarafı şu: Her şey çalışıyor gibi görünüyor. Sitemap dosyanız orada, robots.txt doğru, Search Console'da hata yok. Ama içerik üretme hızınız Google'ın sitemap'i kontrol etme hızından fazlaysa, sessizce geride kalıyorsunuz.
Çoğu site sahibi şunları yapar:
- Sitemap'i bir kez ekler ve unutur
- "Google zaten bulur" diye düşünür
- Search Console'u ayda bir kontrol eder (eğer o kadar sık kontrol ediyorsa)
Bizim gibi hızlı büyüyen siteler için bu yeterli değil. Günlük yüzlerce sayfa ekliyorsanız, Google'ın bunu otomatik keşfetmesini beklemek yerine aktif olarak bildirmeniz gerekiyor.
Kendi Sitenizde Nasıl Kontrol Edersiniz?
Bu sorunu yaşayıp yaşamadığınızı anlamak için:
- Search Console → Sitemap'ler'e gidin
- "Son taranma" tarihine bakın
- "Keşfedilen URL" sayısını sitenizin gerçek sayfa sayısıyla karşılaştırın
- Eğer fark büyükse ve son tarama 1 haftadan eskiyse, sorununuz var demektir
AICompatible.com'un site tarayıcısı bu tür sorunları otomatik tespit ediyor. Sitemap'inizin güncel olup olmadığını, Google'ın ne zaman taradığını ve kaç URL'nizin eksik kaldığını görebiliyorsunuz. Bizim başımıza gelen bu sorunu yaşadıktan sonra, tarayıcımıza özel bir "Sitemap Sağlığı" kontrolü ekledik.
Sonuç olarak: Sitemap'iniz orada olması gereken her şeyi içerse bile, Google'ın onu ne sıklıkla kontrol ettiği ayrı bir mesele. Hızlı büyüyen siteler için pasif beklemek yerine aktif bildirim yapmak, indeksleme hızınızı katbekat artırabilir.