llms.txt, robots.txt ve sitemap.xml Arasındaki Fark
Kısaca: robots.txt tarayıcı erişimini kontrol eder (nezaket protokolü, güvenlik garantisi vermez), sitemap.xml arama motorlarına hangi sayfaların taranmasını istediğinizi bildirir (keşif yardımcısı, sıralama garantisi vermez), llms.txt ise AI modellerine site hakkında özet bilgi sunmak için önerilen deneysel bir dosyadır (resmi standart değil, büyük sağlayıcıların kullanım garantisi yok).
Üç Dosyanın Temel Amacı ve Kapsamı
Her üç dosya da sitenizin kök dizininde bulunur ancak tamamen farklı işlevler görür. robots.txt erişim kontrolü sağlar: hangi botların hangi sayfalara ulaşabileceğini belirtirsiniz. sitemap.xml keşif ve önceliklendirme içindir: arama motorlarına hangi URL'lerin var olduğunu ve ne sıklıkla güncellendiğini bildirirsiniz. llms.txt ise özet ve bağlam sunumu amacıyla 2024 yılında önerilmiş deneysel bir formattır: büyük dil modellerine sitenizin ne hakkında olduğunu, hangi kaynakların önemli olduğunu düz metin olarak açıklarsınız.
robots.txt ve sitemap.xml onlarca yıldır kullanılan, arama motorları tarafından tanınan standartlardır. llms.txt ise topluluk önerisidir; Google, OpenAI, Anthropic gibi büyük sağlayıcıların bunu sıralama, atıf veya eğitim kararlarında kullandığına dair doğrulanmış resmi açıklama yoktur. Bunu dürüstçe belirtmek önemlidir: llms.txt deneye değer olabilir ancak mucize beklentisi yaratmamalıdır.
Karşılaştırma Tablosu
| Özellik | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Temel Amaç | Tarayıcı erişimini kontrol etme (izin/yasak) | Arama motorlarına URL listesi sunma, keşif hızlandırma | AI modellerine site özeti ve önemli kaynakları gösterme |
| Standart Durumu | Resmi standart (1994'ten beri) | Resmi standart (2005'ten beri, sitemaps.org) | Deneysel öneri (2024, resmi standart değil) |
| Dosya Formatı | Düz metin, direktif tabanlı | XML yapısı | Düz metin, Markdown benzeri |
| Kimler Kullanır | Tüm tarayıcılar (Googlebot, GPTBot, ClaudeBot vb.) | Arama motorları (Google, Bing, Yandex vb.) | Teorik olarak LLM'ler (doğrulanmış kullanım yok) |
| Ne Garanti Eder | Hiçbir şey: nezaket protokolü, uymayan botlar engellenemez | Hiçbir şey: gönderilen URL'lerin indeksleneceği veya sıralanacağı garanti değil | Hiçbir şey: AI'ların okuyacağı, atıf yapacağı veya kullanacağı garanti yok |
| Örnek Kullanım | GPTBot'u engelleme, admin panelini gizleme | Blog yazılarını, ürün sayfalarını bildirme | Şirket hakkında, önemli makaleler, API dokümantasyonu linklerini listeleme |
robots.txt: Erişim Kontrolü (Nezaket Protokolü)
robots.txt, hangi botların hangi dizinlere veya sayfalara erişebileceğini belirtir. Örneğin GPTBot'u (OpenAI'ın eğitim tarayıcısı) veya ClaudeBot'u engellemek istiyorsanız:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Disallow: /admin/
Disallow: /private/
Garanti etmediği şey: robots.txt bir güvenlik mekanizması değildir. Kötü niyetli veya kurallara uymayan botlar bu dosyayı görmezden gelebilir. Gerçek erişim kontrolü için sunucu seviyesinde IP engelleme, WAF kuralları veya kimlik doğrulama kullanmalısınız. robots.txt sadece iyi niyetli tarayıcıların saygı gösterdiği bir nezaket protokolüdür.
Ayrıca robots.txt'te engellediğiniz bir sayfa Google'da görünmeye devam edebilir (başlık ve URL olarak, snippet olmadan). Tam kaldırma için noindex meta etiketi veya Google Search Console'daki kaldırma aracını kullanmanız gerekir.
sitemap.xml: Keşif ve Önceliklendirme Yardımcısı
sitemap.xml, sitenizde hangi URL'lerin bulunduğunu, en son ne zaman güncellendiğini ve ne kadar önemli olduğunu arama motorlarına bildirir. Örnek yapı:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/makale-1</loc>
<lastmod>2025-01-15</lastmod>
<priority>0.8</priority>
</url>
<url>
<loc>https://example.com/makale-2</loc>
<lastmod>2025-01-10</lastmod>
<priority>0.6</priority>
</url>
</urlset>
Garanti etmediği şey: sitemap.xml'e eklediğiniz bir URL'nin mutlaka indeksleneceği veya arama sonuçlarında sıralanacağı garanti edilmez. Google ve diğer arama motorları sitemap'i bir öneri olarak görür. Sayfa kalitesi düşükse, duplicate içerikse veya teknik sorunlar varsa (noindex, canonical, 404 vb.) sitemap'te olsa bile indekslenmeyebilir. sitemap.xml sadece keşfi hızlandırır ve tarama bütçesini optimize eder, sıralama faktörü değildir.
Sitemap'inizi robots.txt içinde de belirtebilirsiniz:
Sitemap: https://example.com/sitemap.xml
llms.txt: Deneysel Özet Dosyası
llms.txt, 2024 yılında önerilen bir formattır. Amacı, büyük dil modellerine (ChatGPT, Claude, Gemini vb.) sitenizin ne hakkında olduğunu, hangi kaynakların önemli olduğunu düz metin olarak açıklamaktır. Örnek:
# example.com
## Hakkımızda
B2B SaaS şirketi, proje yönetimi yazılımı geliştiriyoruz.
## Önemli Kaynaklar
- Ana sayfa: https://example.com
- Ürün dokümantasyonu: https://example.com/docs
- Blog: https://example.com/blog
- API referansı: https://example.com/api
## İletişim
destek@example.com
Garanti etmediği şey: llms.txt resmi bir standart değildir. Google, OpenAI, Anthropic, Perplexity gibi büyük sağlayıcıların bu dosyayı sıralama, atıf veya eğitim kararlarında kullandığına dair doğrulanmış açıklama yoktur. Bazı küçük AI araçları veya gelecekteki sistemler bunu okuyabilir, ancak şu an için deneysel bir yaklaşımdır. llms.txt eklemek zarar vermez, ancak mucize etki beklemek gerçekçi değildir. Resmi dokümantasyonlardan doğrulayın ve beklentilerinizi buna göre ayarlayın.
Hangi Dosyayı Ne Zaman Kullanmalısınız
robots.txt: AI botlarını (GPTBot, ClaudeBot, CCBot) veya belirli tarayıcıları engellemek, admin paneli veya test ortamlarını taramadan korumak istiyorsanız kullanın. Ancak hassas veriler için sunucu seviyesi güvenlik şarttır.
sitemap.xml: Sitenizde düzenli yeni içerik yayınlıyorsanız (blog, e-ticaret, haber sitesi), büyük sayfa sayınız varsa veya derin sayfa hiyerarşiniz varsa mutlaka kullanın. Google Search Console'a sitemap göndermek tarama verimliliğini artırır.
llms.txt: Deneysel bir yaklaşım denemek, AI araçlarına sitenizin bağlamını sunmak istiyorsanız ekleyebilirsiniz. Özellikle teknik dokümantasyon, API referansları veya açık kaynak projelerde mantıklı olabilir. Ancak bu dosyanın etkisini ölçmek şu an için zordur; beklentilerinizi düşük tutun.
Sık Sorulan Sorular
robots.txt ile bir botu tamamen engelleyebilir miyim?
Hayır, robots.txt bir nezaket protokolüdür, güvenlik mekanizması değil. İyi niyetli botlar (Googlebot, GPTBot, ClaudeBot) kurallara uyar, ancak kötü niyetli veya kurallara uymayan botlar görmezden gelebilir. Gerçek engelleme için sunucu seviyesinde IP bloklama, WAF kuralları veya User-Agent filtreleme kullanmalısınız. robots.txt sadece iyi niyetli tarayıcılar için yol göstericidir.
sitemap.xml'e eklediğim her sayfa Google'da görünür mü?
Hayır. sitemap.xml, Google'a hangi sayfaların var olduğunu bildirir ancak indeksleme veya sıralama garantisi vermez. Sayfa kalitesi düşükse, duplicate içerikse, noindex etiketi varsa veya teknik sorunlar varsa sitemap'te olsa bile indekslenmeyebilir. sitemap.xml sadece keşfi hızlandırır ve tarama bütçesini optimize eder, sıralama faktörü değildir. Google Search Console'daki 'Sayfa indeksleme' raporundan hangi URL'lerin neden indekslenmediğini kontrol edebilirsiniz.
llms.txt eklemek SEO veya AI görünürlüğünü artırır mı?
Kesin bir cevap yok. llms.txt 2024'te önerilen deneysel bir formattır ve Google, OpenAI, Anthropic gibi büyük sağlayıcıların bunu resmi olarak kullandığına dair doğrulanmış açıklama yoktur. Bazı küçük AI araçları veya gelecekteki sistemler okuyabilir, ancak şu an için etkisini ölçmek zordur. llms.txt eklemek zarar vermez ve sitenizin bağlamını sunmak mantıklı olabilir, ancak mucize etki veya anında AI atıfları beklemeyin. Resmi dokümantasyonları takip edin ve beklentilerinizi gerçekçi tutun.
Üç dosyayı birlikte kullanmak zorunlu mu?
Hayır. robots.txt ve sitemap.xml birlikte kullanmak en yaygın ve önerilen uygulamadır: robots.txt erişimi kontrol eder, sitemap.xml keşfi hızlandırır. llms.txt ise tamamen isteğe bağlıdır ve deneysel bir eklemedir. Küçük statik siteler için sadece robots.txt yeterli olabilir; büyük dinamik siteler için sitemap.xml şarttır. llms.txt'yi eklemek isteyip istemediğiniz size kalmış, ancak şu an için etkisi belirsizdir.