Sitemap'imiz 3 Haftadır Donmuştu ve Kimse Fark Etmemişti
Sitemap'imiz 3 Haftadır Donmuştu ve Kimse Fark Etmemişti
Rutin bir Search Console kontrolü yaparken donup kaldık. Sitemap raporuna göz atıyorduk ve son taranma tarihi 21 gün öncesini gösteriyordu. İlk başta "belki Google biraz yavaş taramıştır" diye düşündük, ama asıl şok edici olan şuydu: o 3 hafta içinde sitemize 2.400'den fazla yeni sayfa eklemiştik, ama Google'ın gördüğü URL sayısı hâlâ 3 hafta önceki rakamda takılı kalmıştı.
Yani Google, sitemizdeki binlerce yeni içeriğin varlığından haberdar bile değildi.
Sorunun Fark Edilişi: Tesadüfi Bir Kontrol
Aslında bu sorunu fark etmemiz tamamen tesadüfiydi. Normalde Search Console'u haftada bir kontrol ediyoruz, ama sitemap raporuna her seferinde bakmıyoruz. O gün, yeni yayınladığımız bir içerik serisinin indeksleme durumunu kontrol etmek için "Sayfa İndeksleme" raporuna bakarken bir tuhaflık fark ettik: son 2 haftada yayınlanan sayfaların çoğu "Keşfedildi - şu anda indekslenmedi" durumundaydı.
Bu bizi sitemap raporuna yöneltti. Sitemap URL'sini tıkladığımızda karşımıza çıkan manzara şuydu:
- Son okunma: 21 gün önce
- Keşfedilen URL sayısı: 1.847
- Gerçek sitemap'teki URL sayısı: 4.200+
Sitemap'imiz güncelleniyordu, içinde yeni URL'ler vardı, ama Google onu 3 haftadır okumamıştı. Sanki donmuş gibi duruyordu.
Teşhis Süreci: Sorun Neredeydi?
İlk olarak sitemap dosyasının kendisini kontrol ettik. sitemap.xml dosyasını tarayıcıda açtığımızda düzgün görünüyordu, yeni URL'ler oradaydı, XML formatı geçerliydi. Bir XML validator'dan geçirdik, hata yoktu.
Sonra sunucu loglarına baktık. Googlebot'un sitemap'i son 3 haftada hiç çağırmadığını gördük. Yani sorun bizim tarafımızda değil, Google'ın tarama davranışındaydı.
Search Console'da sitemap'in durumunu kontrol ettiğimizde herhangi bir hata mesajı görmüyorduk. Sadece eski bir tarih ve eski bir URL sayısı. Google basitçe sitemap'i tekrar okumayı "unutmuş" gibiydi.
Biraz araştırma yaptıktan sonra bunun nadir ama bilinen bir sorun olduğunu öğrendik. Bazen Google'ın sitemap tarama kuyruğunda bir şeyler ters gidiyor ve belirli sitemap'ler "donuyor" - yani Google onları tekrar taramayı planlamıyor.
Çözüm: Manuel Müdahale Gerekti
Normalde sitemap'lerin otomatik olarak taranması gerekir, ama bu durumda manuel müdahale etmek zorunda kaldık. İki adımlı bir yaklaşım uyguladık:
1. Sitemap'i Search Console'dan Yeniden Gönderdik
Search Console arayüzünde sitemap'i silip yeniden ekledik. Ama bu yeterli olmadı - Google hemen taramadı. Bu noktada daha agresif bir yönteme geçtik.
2. Search Console API ile Zorunlu Güncelleme
Google'ın Search Console API'sinde bir sitemap'i "yeniden gönderme" (resubmit) özelliği var. Bunu kullanarak sitemap'i programatik olarak yeniden gönderdik:
POST https://www.googleapis.com/webmasters/v3/sites/{siteUrl}/sitemaps/{feedpath}
Bu işlemi yaptıktan yaklaşık 6 saat sonra, Google sitemap'i yeniden taradı. Ertesi gün Search Console'da yeni URL'lerin keşfedildiğini gördük. 48 saat içinde yeni sayfalarımızın çoğu indekslendi.
Neden Bu Kadar Zor Fark Ediliyor?
Bu sorunun sinsi yanı, sessizce gerçekleşmesi. Hiçbir hata mesajı almıyorsunuz. Site çalışıyor, sitemap dosyası düzgün, ama Google sadece onu okumayı bırakıyor.
Çoğu site sahibi için bu sorun şöyle görünmez kalıyor:
- Eski sayfalar zaten indeksli: Sitenizin büyük kısmı zaten Google'da olduğu için trafik düşüşü hemen fark edilmiyor
- Yeni içerik yavaş yavaş ekleniyor: Her gün 1-2 sayfa ekliyorsanız, bunların indekslenmemesi dikkat çekmiyor
- Search Console'u düzenli kontrol etmiyorsunuz: Çoğu kişi sadece sorun olduğunda Search Console'a bakar
- İç linkler kısmen telafi ediyor: Google yeni sayfaları iç linklerden de keşfedebilir, ama bu çok daha yavaş
Bizim durumumuzda, kısa sürede çok sayıda sayfa eklediğimiz için sorun belirginleşti. Ama normal tempoda içerik üreten bir site için bu sorun aylarca fark edilmeden kalabilir.
Site Sahipleri Ne Yapmalı?
Bu deneyimden sonra, sitemap sağlığını düzenli kontrol etmenin ne kadar kritik olduğunu anladık. Önerilerimiz:
- Haftada bir sitemap raporunu kontrol edin: Son taranma tarihine ve keşfedilen URL sayısına bakın
- Sitemap'inizdeki URL sayısını bilin: Search Console'un gördüğü sayı ile gerçek sayıyı karşılaştırın
- Yeni içerik yayınladıktan sonra takip edin: 3-5 gün içinde indekslenip indekslenmediğini kontrol edin
- Monitoring kurun: Sitemap'in son taranma tarihini izleyen otomatik bir sistem oluşturun
Otomatik Tespit: Daha İyi Bir Yol
Bu olaydan sonra, AICompatible.com'un tarayıcısına sitemap sağlık kontrolü özelliği ekledik. Sistem şimdi otomatik olarak:
- Sitemap dosyasındaki URL sayısını sayıyor
- Search Console API'den son taranma tarihini ve Google'ın gördüğü URL sayısını çekiyor
- Büyük tutarsızlıkları veya uzun süreli donmaları tespit ediyor
- Site sahibini uyarıyor
Çünkü bu tür teknik sorunlar, fark edilmediğinde sessizce büyüme potansiyelinizi törpülüyor. Yeni içeriğiniz Google'a ulaşmıyor, rakipleriniz sizi geçiyor ve siz bundan haberiniz bile olmuyor.
Sitemap'iniz en son ne zaman tarandı? Kontrol etmenizi öneririz.