Robots.txt Oluşturucu

Siteniz için robots.txt dosyası oluşturun. İzin verilen ve engellenen yolları belirleyin; sitemap satırıyla hazır dosyayı indirin.

Varsayılan Kurallar (Tüm Botlar - *)

Tüm Taramalara İzin Ver (Allow)

Tüm Taramaları Engelle (Disallow)

Tarama Gecikmesi (Saniye)

Sitemap (Site Haritası) URL'si

Taramaya Kapatılacak Dizinler (Her satıra bir adet)

Arama Motoru Botları İçin İzinler

Googlebot

Googlebot-Image

Bingbot

YandexBot

Baiduspider

Slurp (Yahoo)

Oluşturulan robots.txt Kodu

robots.txt Neyi Kontrol Eder?

Arama motoru botlarına tarama talimatları verir: izinli yollar, yasaklı dizinler, tarama gecikmesi ipuçları ve sitemap konumu.

Tarama Kurallarını Dikkatle Kullanın

Yanlış yolu engellemek önemli sayfaları aramadan düşürebilir. Dosyayı yayınlamadan önce yönetici yollarını, özel klasörleri, kopya alanları ve sitemap URL'ini kontrol edin.

robots.txt Güvenlik Değildir

robots.txt bir tarayıcı talimatıdır, erişim kontrolü değildir. Özel dosyaları, sırları, staging içeriklerini veya hassas dizinleri gizlemek için ona güvenmeyin.