Générateur de fichier robots.txt gratuit

Comportement par défaut

URL du sitemap

URL absolue. Aide les moteurs à découvrir toutes tes pages.

Règles par bot

Surcharge le comportement par défaut pour un crawler spécifique.

Google

Standard web crawler

Googlebot-Image

Google Images

Bingbot

Bing & Microsoft Copilot

Yandexbot

Yandex Search

AhrefsBot

Ahrefs SEO crawler

SemrushBot

Semrush SEO crawler

ChatSEOOurs

On-demand · chatseo.app/bot

Répertoires restreints

Un chemin par ligne. Chaque ligne devient une règle Disallow.

Qu'est-ce qu'un fichier robots.txt ?

Un fichier robots.txt est un fichier texte placé à la racine de ton domaine qui indique aux moteurs de recherche et autres crawlers quelles parties de ton site ils peuvent visiter. C'est le tout premier fichier que Googlebot consulte en arrivant — bien le configurer protège ton crawl budget pour que les moteurs passent leur temps sur les pages qui comptent vraiment. Ce générateur robots.txt te permet de créer un robots.txt valide en quelques secondes, avec des exemples robots.txt prêts à copier pour WordPress et d'autres CMS.

Comment utiliser ce générateur

  1. 1

    Configurez vos paramètres

    Choisis Autoriser tous ou Bloquer tous, ajoute un crawl-delay si besoin, colle l'URL de ton sitemap, et liste les répertoires à exclure du crawl.

  2. 2

    Le fichier se génère en live

    Le robots.txt se construit en temps réel à droite. Aucun bouton à cliquer — chaque modification met à jour la sortie immédiatement.

  3. 3

    Copiez dans votre hébergement

    Clique sur Copier ou Télécharger .txt pour créer ton robots.txt, puis dépose le fichier à la racine de ton site.

Le fichier doit être accessible à votredomaine.com/robots.txt — pas dans un sous-dossier, pas sur un CDN.

Les directives robots.txt expliquées

User-agent
Indique à quel bot la règle s'applique. Utilise * pour cibler tous les crawlers, ou un nom spécifique comme Googlebot ou Bingbot pour cibler un seul.
Disallow
Bloque le chemin URL listé. Disallow: /admin/ empêche les crawlers d'accéder à tout ce qui est sous /admin/. Disallow: / bloque tout le site.
Allow
Autorise explicitement un chemin à l'intérieur d'un dossier sinon bloqué. Sert à surcharger un Disallow — par exemple autoriser un fichier précis dans un dossier bloqué.
Crawl-delay
Demande aux bots de patienter X secondes entre les requêtes. Bingbot, Yandex et Baidu le respectent ; Googlebot l'ignore (configure plutôt depuis la Search Console).
Sitemap
Déclare l'URL absolue de ton sitemap XML. Aide tous les moteurs et crawlers IA à découvrir toutes tes URLs plus vite que via les liens seuls.

Exemples de fichiers robots.txt

Snippets prêts à copier-coller pour les cas les plus courants.

Autoriser tous les bots (défaut)

La config standard : tous les crawlers bienvenus, sitemap déclaré.

User-agent: *
Disallow:

Sitemap: https://yourdomain.com/sitemap.xml

Bloquer tous les bots (mode maintenance)

À utiliser pendant une migration ou une période de staging privée. À retirer avant la mise en ligne.

User-agent: *
Disallow: /

Bloquer les bots IA (GPTBot, CCBot, ClaudeBot)

Empêche les crawlers d'entraînement IA tout en gardant les moteurs autorisés. Ajoute autant de blocs User-agent que nécessaire.

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow:

Template robots.txt WordPress optimisé

Le robots.txt WordPress le plus utilisé : admin bloqué, ajax autorisé, recherche interne masquée, sitemap Yoast/RankMath déclaré.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://votredomaine.com/sitemap_index.xml

robots.txt vs sitemap — quelle différence ?

Ils paraissent liés mais font l'inverse. Tu veux presque toujours les deux.

robots.txt — ce qu'il NE faut PAS crawler

Un court fichier texte qui indique aux crawlers quelles URLs ignorer. C'est un panneau de signalisation, pas un cadenas — il contrôle le crawl, pas l'indexation.

sitemap.xml — ce qu'il FAUT crawler

Une liste XML de toutes les URLs que tu veux faire indexer. Accélère la découverte et signale la priorité. Déclare-le dans le robots.txt avec la directive Sitemap:.

Questions fréquentes

Le robots.txt c'est un fichier. ChatSEO en audite 50+ autres.

  • Connecté à ta Search Console pour des données de ranking réelles
  • Audite sitemap, schema, liens internes et SEO on-page automatiquement
  • Gratuit pour démarrer, sans carte bancaire
Essayer ChatSEO gratuitement