Générateur de robots.txt

Un petit fichier qui guide les robots des moteurs de recherche

Avant de parcourir votre site, le robot de Google ou de Bing lit d'abord un fichier texte nommé robots.txt à la racine du domaine. Vous y dites : ne visitez pas ces répertoires, voici mon plan de site. Le générateur de robots.txt de Jood écrit ce fichier pour vous dans la bonne syntaxe, pour ne pas bloquer tout votre site à cause d'une ligne de travers.

Mode d'emploi

1. Choisissez l'« Accès par défaut des robots d'indexation » : autoriser tous les robots, ce qui est recommandé, ou les bloquer tous.
2. Dans « Répertoires interdits », écrivez un répertoire par ligne, comme /admin/. Si vous oubliez la barre oblique au début, l'outil l'ajoute.
3. Ajoutez si vous le souhaitez le « Délai d'exploration » et l'« URL du sitemap XML », puis cliquez sur « Commencer » et copiez le résultat.
4. Enregistrez le texte dans un fichier nommé robots.txt et envoyez-le à la racine de votre site, pour qu'il s'ouvre à l'adresse example.com/robots.txt.

Ce que veut dire chaque ligne

• User-agent : à qui on s'adresse. L'astérisque désigne tous les robots.
• Disallow : un chemin à ne pas visiter. Laissé vide, rien n'est interdit. Une barre oblique seule bloque tout le site : ne la choisissez que pour un site de test.
• Crawl-delay : le nombre de secondes entre deux requêtes. Bing le respecte, Google l'ignore, et l'outil vous le signale.
• Sitemap : l'adresse de votre plan de site, pour que tous les moteurs le trouvent sans que vous le leur envoyiez un par un.

Les erreurs courantes à connaître

• robots.txt n'est pas une protection : c'est une demande polie que seuls les moteurs sérieux respectent. N'y écrivez pas de chemins secrets, car n'importe qui peut lire le fichier.
• Bloquer ne veut pas dire cacher des résultats : une page bloquée peut apparaître dans Google si d'autres sites pointent vers elle. Pour retirer une page des résultats, utilisez noindex et laissez le robot la visiter pour qu'il le voie.
• Chaque sous-domaine a son fichier : celui de example.com ne s'applique pas à shop.example.com.
• Les robots d'intelligence artificielle : l'outil écrit des règles pour tous les robots à la fois. Pour en bloquer un en particulier, comme GPTBot, ajoutez à la main deux lignes : User-agent: GPTBot puis Disallow: /.

Pour créer le plan de site lui-même, utilisez le générateur de sitemap XML, et pour contrôler votre site en entier, l'audit SEO complet du site.

Questions fréquentes