Methodology v1.0
20 Kasım 2026 • Yazar: AICompatible Ekibi • 7 dk okuma

AI Ajanları Bir Sitenin Yapay Zeka Hazırlığını Nasıl Kontrol Eder?

Kısaca: Modern yapay zeka ajanları, bir sitenin GPTBot veya diğer AI tarayıcılarına açık olup olmadığını kontrol etmek için robots.txt dosyasını okur, llms.txt gibi yapılandırılmış meta verileri arar ve gerekirse özel tarama API'lerini çağırır. AICompatible gibi ücretsiz, anahtarsız API'ler bu süreci otomatikleştirir ve ajanların gerçek zamanlı erişim durumunu, SEO sinyallerini ve yapılandırma hatalarını tek bir istekle öğrenmesini sağlar.

Yapay Zeka Ajanlarının Site Uyumluluk Kontrolü Süreci

Bir kullanıcı "siteme GPTBot erişebiliyor mu?" diye sorduğunda, yapay zeka ajanı bu soruyu yanıtlamak için birkaç adımı otomatik olarak gerçekleştirir. Bu süreç, web standartlarını okumaktan başlayıp özel araçlarla doğrulamaya kadar uzanır.

1. robots.txt Dosyasının Okunması

İlk adım, sitenin kök dizinindeki robots.txt dosyasını kontrol etmektir. Ajan, https://example.com/robots.txt adresine bir HTTP GET isteği gönderir ve dönen içeriği ayrıştırır. GPTBot'un engellenip engellenmediğini anlamak için şu satırları arar:

User-agent: GPTBot
Disallow: /

Bu yapılandırma varsa GPTBot'un tüm siteden engellendiği anlamına gelir. Ancak robots.txt yalnızca bir nezaket protokolüdür; teknik olarak bir güvenlik mekanizması değildir ve uymayan botlar sunucu veya WAF seviyesinde engellenmelidir.

Ajan ayrıca Google-Extended gibi diğer AI eğitim belirteçlerini ve ClaudeBot, PerplexityBot, Applebot-Extended gibi tarayıcıları da kontrol eder. Örneğin:

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /private/

Bu örnekte Google-Extended tamamen engellenmiş, ClaudeBot ise yalnızca /private/ dizininden uzak tutulmuştur.

2. llms.txt ve Yapılandırılmış Meta Verilerin Kontrolü

Bazı ajanlar, https://example.com/llms.txt adresinde bir dosya olup olmadığını kontrol eder. llms.txt, 2024 yılında önerilen bir standarttır ve site sahiplerinin yapay zeka modelleri için özel talimatlar, atıf bilgileri veya içerik özetleri sunmasını sağlar. Ancak bu henüz resmi bir standart değildir ve büyük arama veya AI sağlayıcılarının bunu sıralama veya atıf için kullandığı doğrulanmamıştır. Dürüst olmak gerekirse, llms.txt'nin varlığı bir sitenin AI uyumluluğunu gösterebilir, ancak mucizevi bir etki beklemek gerçekçi değildir.

Ajan ayrıca sitemap.xml dosyasını ve yapılandırılmış veri şemalarını (JSON-LD, Microdata) kontrol edebilir. Bu veriler, sitenin içerik yapısını ve önceliklerini anlamak için kullanılır.

3. Özel Tarama API'lerinin Çağrılması

Manuel kontroller zaman alıcı ve hata açısından risklidir. Bu nedenle modern ajanlar, tüm bu bilgileri tek bir istekle toplayan API'leri kullanır. AICompatible'ın ücretsiz, anahtarsız API'si bu amaç için pratik bir çözümdür.

AICompatible API: Gerçek Bir Örnek

AICompatible, https://www.aiocompatible.com/agents adresinde ücretsiz ve API anahtarı gerektirmeyen bir hizmet sunar. Ajanlar, bir sitenin yapay zeka hazırlığını kontrol etmek için bu API'yi şu şekilde çağırabilir:

curl "https://www.aiocompatible.com/agents?url=https://example.com"

API, JSON formatında ayrıntılı bir yanıt döner. Örnek bir yanıt şu alanları içerir:

{
  "url": "https://example.com",
  "robotsTxt": {
    "exists": true,
    "gptbotAllowed": false,
    "claudebotAllowed": true,
    "googleExtendedAllowed": false,
    "perplexitybotAllowed": true
  },
  "llmsTxt": {
    "exists": false
  },
  "sitemap": {
    "exists": true,
    "url": "https://example.com/sitemap.xml"
  },
  "structuredData": {
    "hasSchema": true,
    "types": ["Article", "Organization"]
  },
  "errors": []
}

Bu yanıt, ajanın kullanıcıya şu bilgileri vermesini sağlar:

  • GPTBot: Engellenmiş (gptbotAllowed: false)
  • ClaudeBot: İzin verilmiş (claudebotAllowed: true)
  • Google-Extended: Engellenmiş (googleExtendedAllowed: false)
  • PerplexityBot: İzin verilmiş (perplexitybotAllowed: true)
  • llms.txt: Mevcut değil
  • Sitemap: Mevcut
  • Yapılandırılmış veri: Article ve Organization şemaları kullanılıyor

API'nin Sınırları ve Dürüst Beklentiler

AICompatible API'si pratik bir araçtır, ancak bazı sınırlamaları vardır:

  • Hız sınırları: Ücretsiz kullanım için dakika başına istek sayısı sınırlı olabilir. Yoğun kullanım için resmi dokümantasyondan güncel limitleri doğrulayın.
  • Gerçek zamanlı tarama değil: API, önbelleklenmiş veya periyodik tarama sonuçlarını döndürebilir. Anlık değişiklikler hemen yansımayabilir.
  • Kapsamlı güvenlik testi yok: API, robots.txt ve meta verileri okur, ancak sunucu seviyesinde IP engelleme veya WAF kurallarını test etmez.
  • Hukuki garanti yok: API'nin verdiği bilgi, sitenin yapay zeka tarayıcılarına tamamen açık veya kapalı olduğunu garanti etmez. Kesin durum için site sahibinin kendi sunucu loglarını incelemesi gerekir.

Ajanların Yanıt Oluşturma Stratejisi

API yanıtını aldıktan sonra ajan, kullanıcıya anlaşılır bir özet sunar. Örneğin:

"example.com sitesinin robots.txt dosyasına göre GPTBot engellenmiş, ancak ClaudeBot ve PerplexityBot'a izin verilmiş. Site bir sitemap sunuyor ve Article şeması kullanıyor, ancak llms.txt dosyası mevcut değil. Eğer OpenAI'ın model eğitimi için içeriğinizi kullanmasını istiyorsanız, robots.txt'deki GPTBot engelini kaldırmanız gerekir."

Bu yaklaşım, teknik detayları kullanıcı dostu bir dile çevirir ve eyleme geçirilebilir öneriler sunar.

Diğer Araçlar ve Protokoller

AICompatible dışında, ajanlar şu yöntemleri de kullanabilir:

  • MCP (Model Context Protocol): Anthropic'in Kasım 2024'te duyurduğu açık protokol. Yapay zeka uygulamalarını araçlara ve veri kaynaklarına bağlamak için kullanılır. Bir ajan, MCP üzerinden robots.txt okuma veya site meta verilerini çekme araçlarını çağırabilir.
  • Google Search Console: Site sahipleri, robots.txt raporunu ve URL denetimi aracını kullanarak Googlebot'un erişimini kontrol edebilir. Ancak eski 'robots.txt test aracı' kaldırılmıştır.
  • Manuel HTTP istekleri: Ajanlar, curl veya benzeri araçlarla doğrudan robots.txt, llms.txt ve sitemap dosyalarını indirebilir.

Sık Sorulan Sorular

AICompatible API'si hangi yapay zeka tarayıcılarını kontrol eder?

API, GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Google Gemini/Vertex AI eğitimi), Applebot-Extended (Apple modelleri), CCBot (Common Crawl) ve diğer yaygın tarayıcıları kontrol eder. Ancak her sürümde desteklenen tarayıcı listesi değişebilir; güncel bilgi için resmi dokümantasyonu kontrol edin.

robots.txt'de GPTBot'u engellemek, ChatGPT'nin sitemi kullanmasını tamamen engeller mi?

Hayır, tam olarak değil. GPTBot yalnızca OpenAI'ın model eğitimi için kullandığı tarayıcıdır ve robots.txt'e uyar. Ancak ChatGPT-User, kullanıcı bir istekte bulunduğunda sayfa getiren kullanıcı kaynaklı bir ajandır ve OpenAI bu istekler için robots.txt kurallarının aynı şekilde uygulanmayabileceğini belirtir. Ayrıca OAI-SearchBot, ChatGPT arama sonuçları içindir ve eğitim için kullanılmaz. Tam kontrol için sunucu seviyesinde IP engelleme veya WAF kuralları uygulamanız gerekir.

llms.txt dosyası oluşturmak SEO veya yapay zeka sıralamasını etkiler mi?

Şu anda llms.txt'nin SEO veya yapay zeka sıralaması üzerinde doğrulanmış bir etkisi yoktur. Bu, 2024 yılında önerilen bir standarttır ve büyük arama veya AI sağlayıcılarının bunu sıralama veya atıf için kullandığına dair resmi bir açıklama bulunmamaktadır. llms.txt, sitenizin yapay zeka uyumlu olduğunu göstermek ve gelecekteki araçlar için meta veri sağlamak açısından faydalı olabilir, ancak mucize beklemeyin. Öncelik, kaliteli içerik ve standart SEO uygulamalarına verilmelidir.

AICompatible API'si ücretsiz mi ve ne kadar güvenilir?

Evet, AICompatible API'si ücretsizdir ve API anahtarı gerektirmez. Ancak ücretsiz kullanım için hız sınırları uygulanabilir ve yoğun trafikte yanıt süreleri değişebilir. API, önbelleklenmiş veya periyodik tarama sonuçlarını döndürebilir, bu nedenle anlık değişiklikler hemen yansımayabilir. Kritik uygulamalar için resmi dokümantasyondan güncel sınırları ve güvenilirlik garantilerini doğrulayın. Ayrıca API, sunucu seviyesinde güvenlik testleri yapmaz; yalnızca herkese açık robots.txt ve meta verileri okur.

Kendi sitenizde deneyin