robots.txt, sitenizin kök dizinindeki küçük bir metin dosyasıdır ve arama motoru botlarına hangi bölümleri tarayıp taramayacaklarını söyler. Yapay zeka şirketlerinin kendi botları da bu dosyaya uyduğunu belirtiyor; bu yüzden artık hem Google'ı hem de yapay zeka botlarını yönetmek için kullanılıyor. Dosya küçük ama hataları pahalıdır.
robots.txt nedir ve nasıl çalışır?
robots.txt, alan adınızın kökünde duran ve botlara hangi yolları tarayabileceklerini bildiren bir metin dosyasıdır.
Bir bot sitenize gelince önce siteniz.com/robots.txt adresine bakar. Dosya User-agent ile hangi botu kastettiğinizi, Disallow ile hangi yolları taramamasını, Allow ile istisnaları belirtir. Biçimi RFC 9309 ile standartlaştırılmıştır. Yol adları büyük/küçük harfe duyarlıdır ve Google, * ile $ joker karakterlerini destekler.
User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Sitemap: https://siteniz.com/sitemap.xmlrobots.txt neleri yapmaz?
robots.txt bir sayfayı Google'dan silmez ve gizli içeriği korumaz; sadece taramayı yönetir.
En sık yapılan hata budur. Bir sayfayı engellemek, o sayfanın arama sonuçlarından kalkacağı anlamına gelmez: başka sitelerden link alıyorsa, içeriği taranmasa da adresiyle listelenebilir. Sayfayı dizinden çıkarmak istiyorsanız sayfaya noindex ekleyin ve botun bunu görebilmesi için sayfayı taramaya açık bırakın. Dosya herkese açık olduğundan, gizli bir klasörün adını buraya yazmak onu ilan etmek gibidir; gizli içeriği şifreyle koruyun.
Yapay zeka botlarını robots.txt ile nasıl yönetirsiniz?
Her şirketin botlarını ayrı ayrı yönetebilirsiniz: eğitim botlarını engelleyip arama botlarına izin vermek mümkündür.
Şirketler genelde bu işleri ayrı botlara bölüyor. OpenAI için GPTBot model eğitimiyle, OAI-SearchBot ise arama sonuçlarıyla ilgilidir. Anthropic'te ClaudeBot ve Claude-SearchBot, Perplexity'de PerplexityBot benzer şekilde ayrılır. Common Crawl'ın CCBot'u ise birçok modelin eğitim verisini besleyen açık arşivi tarar. Google tarafında Google-Extended, Gemini'nin eğitim ve bazı kullanımları için bir kontrol anahtarıdır ve Google Arama'daki yerinizi etkilemez. Bot adları ve işlevleri zamanla değiştiği için her şirketin güncel dokümantasyonunu kontrol edin.
Örneğin içeriğinizin eğitimde kullanılmasını istemiyor ama arama sonuçlarında görünmek istiyorsanız:
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Bu bir tercihtir, doğru cevabı yoktur: eğitimi engellemek içeriğinizi korumak isteyenler için mantıklıdır; her şeye açık olmak ise yapay zeka cevaplarında anılma ihtimaline katkı sağlayabilir, ama bunun garantisi yoktur. Hazır bir dosya için ücretsiz robots.txt oluşturucumuzu kullanabilirsiniz.
robots.txt'de en sık yapılan hatalar nelerdir?
En tehlikeli hata, geliştirme sırasında konan "Disallow: /" satırını canlıya almaktır; bu tüm siteyi tarama dışı bırakır.
- Tüm siteyi engellemek:
User-agent: *altındaDisallow: /varsa arama motorları sitenizi tarayamaz. Test ortamından canlıya geçerken en sık unutulan şeydir. - CSS ve JavaScript dosyalarını engellemek: Google sayfayı doğru göremez.
- Dosyayı yanlış yere koymak: Yalnızca kök dizindeki dosya geçerlidir; alt klasördekiler dikkate alınmaz.
- Sitemap eklememek: Zorunlu değildir ama botlara sayfalarınızı bulmayı kolaylaştırır.
- Yapay zeka botlarını fark etmeden engellemek: Bazı güvenlik eklentileri ve CDN ayarları bu botları robots.txt'den bağımsız olarak da engelleyebilir; sonucu doğrulayın.
Bu yazıdaki bilgiler Ekim 2026 itibarıyla geçerlidir. Bu alan hızlı değiştiği için resmi kaynakları da kontrol edin.
Sık sorulan sorular
robots.txt bir sayfayı Google'dan siler mi?
Hayır. robots.txt taramayı engeller, dizinden çıkarmaz. Başka sitelerden link alan bir sayfa, taranmasa bile adresiyle listelenebilir. Dizinden çıkarmak için sayfada noindex kullanın ve sayfanın taranabilir olmasına izin verin.
robots.txt gizli bilgileri korur mu?
Hayır. Dosya herkese açıktır; içinde yazdığınız yolları herkes görebilir. Gizli içerikleri şifreyle veya sunucu yetkilendirmesiyle koruyun.
GPTBot'u engellersem ChatGPT aramasında çıkmaz mıyım?
Genellikle hayır. OpenAI botları ayrı çalışır: GPTBot eğitim içindir, OAI-SearchBot arama sonuçları içindir. Birini engelleyip diğerine izin verebilirsiniz. Güncel ayrıntı için OpenAI'ın bot dokümantasyonuna bakın.
robots.txt dosyam hangi adreste olmalı?
Alan adının kökünde: siteniz.com/robots.txt. Alt klasörlerdeki robots.txt dosyaları dikkate alınmaz.