robots.txt Oluşturucu (Ücretsiz)

robots.txt, arama motorlarına sitenizde neyi tarayacaklarını ve sitemap'inizin yerini söyleyen küçük bir dosyadır. Aşağıdan ayarlayın, hazır dosyayı kopyalayıp sitenizin kök dizinine yükleyin.

Nasıl kullanılır?

Sitemap adresinizi yazın (genelde siteniz.com/sitemap.xml). Bu satır botlara sayfalarınızı bulmayı kolaylaştırır.
Tüm siteyi taramaya açık bırakın ya da taranmasını istemediğiniz klasörleri (örneğin yönetim paneli veya sepet) listeleyin.
İsterseniz yapay zeka eğitim botlarını engelleyin. Bu seçenek arama botlarını etkilemez.
Çıkan metni robots.txt adıyla kaydedip sitenizin kök dizinine yükleyin ve siteniz.com/robots.txt adresinden açıldığını kontrol edin.

Bilmeniz gerekenler

robots.txt taramayı yönetir; bir sayfayı arama sonuçlarından silmez. Sayfayı dizinden çıkarmak için noindex kullanın.
Dosya herkese açıktır, gizli içerikleri korumaz. Gizli içerikleri şifreyle koruyun.
Bu araç tarayıcınızda çalışır; girdiğiniz bilgiler sunucumuza gönderilmez.
Yapay zeka bot adları ve işlevleri zamanla değişebilir; engellemeden önce ilgili şirketin güncel dokümantasyonuna bakın.

Sık sorulan sorular

robots.txt dosyası zorunlu mu?

Zorunlu değildir; dosya yoksa botlar siteyi serbestçe tarar. Yine de sitemap adresini belirtmek ve gereksiz bölümleri taramadan çıkarmak için faydalıdır.

Yapay zeka eğitim botlarını engellersem aramalarda görünmemeye devam eder miyim?

Şirketler genelde eğitim ve arama botlarını ayırır, bu yüzden eğitim botlarını engellemek çoğu durumda arama görünürlüğünü doğrudan etkilemez. Güncel ayrıntı için ilgili şirketin dokümantasyonuna bakın.

Dosyada hata yaparsam ne olur?

En tehlikelisi 'Disallow: /' satırıdır; bu tüm siteyi tarama dışı bırakır. Yüklemeden önce çıktıyı gözden geçirin.

Oluşturduğunuz dosyanın doğru çalışıp çalışmadığını görmek için sitenizi Gofow ile ücretsiz denetleyin.