Générateur de robots.txt | Règles de crawl et sitemap

Créez des règles robots.txt : user-agents, chemins autorisés ou bloqués, crawl-delay, emplacement du sitemap et directives courantes.

Règles par défaut pour tous les robots (*)

Autoriser le crawl

Interdire le crawl

Délai de crawl (secondes)

URL du sitemap

Répertoires restreints (un par ligne)

Robots de recherche spécifiques

Googlebot

Googlebot-Image

Bingbot

YandexBot

Baiduspider

Slurp (Yahoo)

Code robots.txt généré

Ce que contrôle robots.txt

Le fichier robots.txt donne des instructions de crawl aux robots des moteurs : chemins autorisés, répertoires interdits, indication de crawl-delay et emplacement du sitemap.

Maniez les règles de crawl avec prudence

Bloquer le mauvais chemin peut exclure des pages importantes de la recherche. Vérifiez chemins d'admin, dossiers privés, zones dupliquées et URL du sitemap avant publication.

robots.txt n'est pas de la sécurité

robots.txt est une consigne pour crawlers, pas un contrôle d'accès. Ne comptez pas dessus pour cacher fichiers privés, secrets, contenus de staging ou répertoires sensibles.