En bref. Le fichier robots.txt est un fichier texte destiné aux robots des moteurs de recherche. Placé à la racine de votre site web, il sert à guider les crawlers (robots) vers vos contenus utiles, à leur indiquer votre plan de site (fichier sitemap) et à autoriser ou non les visites de certaines pages (ou de tout votre site). Un Disallow:/ oublié et votre site entier devient invisible du jour au lendemain.
Par exemple, il y a quelques mois, je reçois le communiqué de presse d’un nouveau fabricant de jouets made in France. Un produit vraiment original avec une belle histoire, des valeurs intéressantes et un budget de lancement visiblement conséquent. Par curiosité, je les cherche dans Google : aucun résultat. Je vais voir leur fichier robots.txt : le site internet entier était encore bloqué à l’indexation, comme pendant sa phase de développement. Ils communiquaient donc sur un site tout en interdisant le crawl aux robots (= ils n’avaient pas le droit de le visiter).
Et c’est là le piège : votre fichier robots.txt n’a pas d’effet direct sur votre référencement naturel, mais mal réglé, il peut vous faire disparaître entièrement, de Google comme des IA.
Ce guide reprend les bonnes pratiques que j’applique dans un accompagnement SEO. C’est une ressource de base qui vous sera utile car elle explique de façon simple : comment lire votre fichier, repérer ce qui pose problème, le corriger sur votre plateforme et le tester avec un outil de test gratuit.
Le fichier robots.txt, c’est quoi exactement ?
Un panneau indicatif, pas une porte fermée à clé
Le fichier robots.txt c’est le petit panneau « Privé » que vous voyez sur la porte d’accès aux vestiaires du personnel d’un restaurant. Comme vous êtes bien élevée, vous n’ouvrez pas la porte : c’est pareil pour les robots des moteurs de recherche. Par contre, les personnes ou robots avec des intentions malveillantes peuvent ouvrir la porte.
D’où la première règle : ne mettez jamais dans votre robots.txt une adresse que vous voulez garder confidentielle. Le fichier est public, accessible à tous : ne listez donc pas vos adresses secrètes !
Où trouver le vôtre ?
Tapez votredomaine.fr/robots.txt dans votre navigateur. Trois choses peuvent arriver.
- quelques lignes de texte brut s’affichent : c’est normal, la suite de l’article vous apprend à le décoder.
- vous obtenez une erreur 404 : c’est normal aussi, cela signifie qu’aucune restriction n’existe et que les robots peuvent tout explorer.
- vous obtenez une erreur serveur ou une page qui ne charge pas : là, il faut agir, parce qu’un robots.txt inaccessible conduit Google à suspendre l’exploration de votre site.
Vous pouvez retrouver les éléments du jargon SEO traduits en français, dans mon lexique SEO pour débutants.
Comprendre votre fichier robots.txt
Cinq instructions suffisent à comprendre 95 % des fichiers que vous croiserez.
User-agent : à qui vous vous adressez
Chaque bloc de règles commence par le nom du robot concerné. L’astérisque * signifie « tous les robots ». Un nom précis, comme Googlebot ou GPTBot, ne s’adresse qu’à celui-là.
Si un bloc s’adresse spécifiquement à Googlebot, il ne fera que ce que ce bloc lui dit de faire, en ignorant vos règles principales. C’est ainsi qu’on obtient des réglages qui ne s’appliquent jamais.
Disallow et Allow : ce que vous interdisez, ce que vous autorisez
Disallow interdit l’exploration d’un chemin, Allow la réautorise. Les deux fonctionnent par préfixe d’URL : « Disallow: /admin » bloque /admin, mais aussi /administration et /admin-secret.
Quand deux règles se contredisent, la plus précise prévaut. Un Allow sur un sous-dossier précis l’emporte donc sur un Disallow qui couvre le dossier parent.
Sitemap : donnez l’accès au plan de votre site entier aux robots
Vous pouvez indiquer l’adresse complète de votre sitemap XML dans le fichier. Google le connaît déjà si vous l’avez déclaré en Search Console, mais les autres moteurs et les robots d’IA, non.
Bloquer l’accès à des types de pages
Sur votre boutique, quand une cliente filtre par couleur, votre site crée une URL du type boutique.fr/colliers?couleur=argent. Il y en a une par couleur, par taille, par prix. Vous n’allez pas les écrire une par une.
- L’astérisque * remplace n’importe quelle suite de caractères. La ligne « Disallow: /*?couleur= » bloque toutes les adresses qui contiennent ce filtre, sur toutes les pages du site.
- Le dollar $ marque la fin d’une adresse. « Disallow: /*.pdf$ » bloque tous les fichiers PDF.
Le dièse : vos commentaires pour ne pas oublier
Tout ce qui suit un dièse est un commentaire. Utilisez-le pour dater chaque modification et écrire pourquoi vous l’avez faite.
Voici un fichier complet, commenté, pour un site vitrine avec blog :
# Modifié le 14 mars 2026 : blocage de la recherche interne
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://votredomaine.fr/sitemap_index.xmlQu’est ce qu’on vérifie dans le fichier robots.txt et quand ?
Vous avez refait votre site ? Il a été migré ou est passé entre les mains de plusieurs prestataires? Ouvrez votre fichier et vérifiez que tout est OK :
- aucun « Disallow: / » seul. Cette ligne bloque la totalité de votre site.
- les robots sont bloqués aux endroits voulus
- votre sitemap y est indiqué
L’enjeu de la validation du fichier est de corriger les erreurs, qui pourraient faire perdre des positions, voire bloquer l’exploration.
Qu’est ce qu’on bloque ?
Vous avez peut-être lu que le robots.txt pouvait aider Google à mieux positionner votre site. C’est vrai pour les très gros sites qui cherchent à limiter le nombre d’adresses pour optimiser leur budget crawl (voir ci dessous).
Si le vôtre compte 40 pages, Google en fait le tour sans effort et aucune ligne de ce fichier ne vous fera gagner une position. Par contre, vous pouvez avoir envie de bloquer certaines pages pour éviter que vos clients ne les voient lister dans les résultats en cherchant sur Google. Pas parce qu’elles sont confidentielles, mais parce qu’elles les détourneraient de ce qui peut convertir plus directement.
Les pages inutiles
Si vous utilisez un constructeur de thème de type Elementor, vous pouvez indexer les pages de construction de thème ou même des pages de travail en « lorem ipsum ». Si votre client tombe sur ces pages dans les résultats de google, cela risque de lui donner l’impression que votre site est à l’abandon ou ne pas savoir ce qu’il doit faire.
Donc bloquer l’accès aux pages de type modèle de pages, panier, de tunnel de commande et de remerciement est une bonne pratique car elles sont inutiles hors contexte.
Les URL créées par les filtres à facettes d’un eshop
Vous visitez une boutique en ligne de t-shirts. Chaque T-shirt existe en 10 couleurs, en col rond, V et en 5 tailles. Chaque combinaison de couleur, de taille et de prix crée une adresse différente. Trois filtres et vous avez des milliers d’URL quasi-identiques que Google explore au lieu de vos fiches produits.
Le budget de crawl est le nombre de pages que Google accepte d’explorer sur votre site pendant une période donnée. S’il le dépense sur des adresses sans intérêt, vos pages importantes sont visitées moins souvent. Cela ne concerne que les très gros sites.
Sur ce dernier point, Google donne un ordre de grandeur dans sa documentation : la question de l’exploration devient un vrai sujet à partir d’un million de pages qui changent chaque semaine, ou de 10 000 pages qui changent chaque jour. (voir pour qui est ce guide d’exploration écrit par Google)
Ce qu’il ne faut jamais bloquer
Les fichiers CSS et JavaScript, en premier lieu. Google affiche votre page comme le ferait un navigateur pour juger de son confort de lecture sur mobile. Si vous bloquez les feuilles de style, il voit une page cassée et la note en conséquence. C’est une erreur qui date des années 2010 et qui traîne encore dans de vieux tutoriels.
Les images, si vous recevez du trafic depuis Google Images. Le dossier des médias sur WordPress, pour la même raison.
Robots.txt et IA : qui vous cite, qui vous aspire
Vos clientes ne tapent plus seulement des mots-clés dans Google, elles posent des questions à ChatGPT. Votre robots.txt a donc pris un deuxième rôle : il décide si votre site peut apparaître dans ces réponses.
Deux sortes de robots d’IA, à ne surtout pas traiter pareil
Les premiers viennent lire votre site pour entraîner les modèles. Ils ne vous amènent aucun visiteur et ne citent personne. Ce sont GPTBot, ClaudeBot ou CCBot.
Les seconds viennent chercher des sources à citer quand quelqu’un pose une question. Ce sont eux qui font apparaître votre nom et votre lien dans une réponse. Ils s’appellent OAI-SearchBot, PerplexityBot, Claude-SearchBot.
Retenez une phrase : bloquer les premiers ne change rien à votre visibilité, bloquer les seconds vous efface des réponses des IA.
| Si vous bloquez | Ces robots | Voilà ce qui se passe |
|---|---|---|
| Les robots qui apprennent | GPTBot, ClaudeBot, CCBot, Google-Extended | Votre contenu n’alimente plus les modèles, vous restez citable |
| Les robots qui citent | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Vous disparaissez des réponses de ChatGPT et de Perplexity |
Ces noms changent plusieurs fois par an. Notez la date de votre dernière vérification en commentaire dans votre fichier, vous saurez quand y revenir.
Un mot sur Google-Extended, souvent mal compris : il concerne l’entraînement de Gemini, pas Googlebot. Le bloquer ne vous fait sortir ni de Google, ni des résultats.
Ce que je recommande à mes clientes
Laissez tout ouvert. C’est le conseil que je donne si vous êtes créatrice, artisan, thérapeute, coach ou prestataire de services. Votre contenu sert à vous faire connaître. Être citée par une IA vous amène des visiteurs que vous n’auriez pas eus autrement.
Deux exceptions. Si votre contenu est votre produit, parce que vous vendez une formation ou que vous vivez d’un media, bloquez les robots d’entraînement et gardez ouverts ceux qui citent. Et si vous vendez en ligne, laissez toujours l’accès à vos fiches produits et à vos pages de collection : les assistants d’achat s’appuient dessus.
Et le fichier llms.txt, il faut s’y mettre ?
Non, pas dans l’urgence. C’est une proposition de standard apparue en 2024, censée donner aux IA un résumé structuré de votre site. Aucun grand fournisseur ne s’est engagé à le lire.
John Mueller, porte-parole de Google, l’a comparé à la balise meta keywords, qui est abandonnée depuis longtemps.
Le créer ne coûte rien et ne fait pas de mal. Ne pas le créer ne vous pénalise pas.
Modifier son robots.txt selon sa plateforme
WordPress
Par défaut, WordPress ne crée aucun fichier. Il en génère un virtuel, à la volée, quand un robot le demande. Vous ne le trouverez donc pas par FTP.
Pour le modifier facilement, passez par votre extension SEO : Yoast, Rank Math et SEOPress proposent tous un éditeur de fichier robots.txt dans leurs outils. Vous pouvez aussi le déposer directement dans votre FTP (sur votre serveur).
En général, vous n’avez pas besoin de mettre la main dans le code. Juste de remplir les champs de Yoast ou Rank math et ils se chargeront de modifier le robots.txt en conséquence.
Le piège WordPress numéro un, je l’ai vu il y a quelques semaines chez une indépendante qui s’étonnait d’avoir disparu de Google du jour au lendemain. Dans Réglages puis Lecture, une case propose de « demander aux moteurs de recherche de ne pas indexer ce site ». Elle est faite pour la phase de développement. Trois mois de trafic perdus pour une case cochée, puis oubliée.
Shopify
Depuis 2021, Shopify permet de modifier son robots.txt via un fichier de thème nommé robots.txt.liquid. Vous le créez depuis la modification du code de votre thème.
Shopify bloque déjà par défaut la recherche interne, le panier et les URL de tri, ce qui est plutôt bien vu. Dupliquez toujours votre thème avant d’y toucher.
Tester, corriger, surveiller
Le rapport robots.txt de la Search Console
L’ancien testeur de robots.txt a été retiré fin 2023. Beaucoup de tutoriels renvoient encore vers un outil qui n’existe plus, ce qui explique pas mal de messages perplexes que je reçois.
Aujourd’hui, allez dans la Search Console, section Paramètres, puis « robots.txt ». Vous y voyez le fichier tel que Google l’a lu, la date de sa dernière lecture et les éventuelles erreurs de syntaxe.
Vérifier une URL précise
Pour savoir si une page donnée est bloquée, l’outil d’inspection d’URL de la Search Console vous répond en trois clics. C’est la manipulation à faire avant de vous demander pourquoi une page ne se positionne pas. Elle fait partie de ma routine à chaque fois que j’analyse un positionnement dans Google.
Vous pouvez également utiliser un outil de test rapide et gratuit comme https://alyze.info/Robots-txt
Les six erreurs qui coûtent du trafic
- Le « Disallow: / » de préproduction resté en ligne après la mise en production.
- Le blocage des fichiers CSS et JavaScript.
- Le fichier placé ailleurs qu’à la racine du domaine, donc jamais lu.
- Le fichier qui renvoie une erreur serveur, ce qui suspend l’exploration.
- La casse mal respectée dans les chemins.
- Le blocage involontaire des robots de récupération des IA.
Le réflexe à prendre
Après une refonte, une migration, un changement d’hébergeur ou une mise à jour d’extension SEO : ouvrez votre robots.txt. Trente secondes. Mettez un rappel trimestriel dans votre agenda, au même moment que la vérification de vos positions.
Vos questions sur le fichier robots.txt
Comment trouver le fichier robots.txt ?
L’adresse doit être votredomaine.fr/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Est-ce qu’un site peut se passer de robots.txt ?
Oui. En l’absence de fichier, les robots considèrent qu’ils peuvent tout explorer.
Le robots.txt empêche-t-il une page d’apparaître dans Google ?
Non. Il empêche le robot de lire la page, pas Google de l’afficher. Une page bloquée peut apparaître dans les résultats sans description si un autre site fait un lien vers elle. Pour retirer une page des résultats, il faut une balise noindex et laisser l’exploration ouverte.
Comment retirer une page à Google sans la bloquer aux visiteurs ?
Avec une balise meta robots noindex dans le code de la page, ou via les réglages de votre extension SEO. La page reste accessible aux humains et sort progressivement des résultats de recherche.
Tous les robots respectent-ils le robots.txt ?
Non. Les moteurs de recherche et les principaux acteurs de l’IA annoncent le respecter. Les aspirateurs de contenu et certains robots agressifs l’ignorent. Pour les bloquer réellement, il faut passer par le serveur ou un pare-feu applicatif.
Faut-il bloquer ChatGPT et les autres IA dans son robots.txt ?
Cela dépend de votre modèle. Si votre site sert à vous faire connaître, laissez tout ouvert : être citée par une IA vous amène des visiteurs. Si votre contenu est votre produit, bloquez les robots d’entraînement mais laissez passer les robots de récupération, sinon vous disparaissez des réponses.
En conclusion, si vous ne savez pas exactement ce que vous faites, laissez votre extension SEO gérer votre robots.txt. Si vous voulez savoir si votre fichier Robots.txt est bien configuré et comprendre ce que Google voit réellement de votre site, je regarde tout ça pour vous dans un mini-audit SEO en vidéo. Je passe votre site à la loupe et vous repartez avec une liste d’actions classées par priorité. Si vous préférez apprendre à le faire vous-même, on met les mains dans le cambouis ensemble en coaching SEO.
