Qu'est-ce qu'un fichier robots.txt ?
Le fichier robots.txt est un fichier texte placé à la racine d'un site web — accessible via l'URL votresite.com/robots.txt — qui communique des règles spécifiques aux moteurs de recherche et à leurs robots d'exploration.
Concrètement, c'est la première ressource que lit un crawler (Googlebot, Bingbot, Yandex, etc.) avant de parcourir vos pages. Il lui indique quelles sections du site il est autorisé à explorer et lesquelles lui sont interdites. Son fonctionnement repose sur trois instructions principales :
Concrètement, c'est la première ressource que lit un crawler (Googlebot, Bingbot, Yandex, etc.) avant de parcourir vos pages. Il lui indique quelles sections du site il est autorisé à explorer et lesquelles lui sont interdites. Son fonctionnement repose sur trois instructions principales :
- • User-agent : identifie le robot (Googlebot, Bingbot, etc.) auquel vont s’adresser les règles énoncées dans le fichier ; cela prend par exemple la forme de “User-agent: Googlebot” ou “User-agent: *” pour s’adresser à tous les robots.
- • Disallow : spécifie les chemins d'URL que le robot ne doit pas explorer ; par exemple “Disallow: /privé/”.
- • Allow : autorise explicitement l'accès à une URL ou un répertoire, y compris dans un dossier bloqué par Disallow ; par exemple, “Allow: /privé/page-autorisée.html”.
À quoi sert le fichier robots.txt en SEO ?
En SEO, le fichier robots.txt sert à piloter l’exploration de votre site par les moteurs de recherche, en somme, il structure proprement l’indexation de votre site.
Optimiser le crawl
Le fichier robots.txt vous permet de bloquer les pages sans valeur SEO (back‑office, pages de filtres, recherche interne, etc.) pour éviter que les robots “gaspillent” leur budget de crawl. Il ne laisse ainsi passer que les pages importantes (accueil, fiches produits, articles de blog), ce qui accélère souvent leur découverte et leur indexation.
Prévenir le risque de duplication
Le fichier robots.txt est également utile pour limiter le risque de duplicate content. Il empêche, en effet, l’exploration de pages au contenu similaire (filtres, tri, paramètres). Cela rend votre index plus propre et facilite la bonne compréhension de vos pages principales par Google.
Soutenir le SEO technique
Un fichier robots.txt bien configuré est une bonne pratique de base de SEO technique : il guide les robots, se complète avec le sitemap XML et les balises noindex, et renforce la cohérence globale de votre site. En résumé, il sert à limiter le crawl de pages inutiles au référencement tout en mettant en avant ce que vous souhaitez que Google voie.
Comment configurer le fichier robots.txt ?
Un fichier robots.txt se crée manuellement dans n’importe quel éditeur de texte, puis est uploadé à la racine du serveur (par exemple à l’adresse https://votresite.com/robots.txt).
Sur WordPress, le plugin Yoast SEO intègre un éditeur dédié (Outils → Fichiers SEO → Éditeur de fichiers). Sur des plateformes telles que Shopify, une interface spécifique permet de le modifier directement depuis le tableau de bord.
Exemple de configuration courante pour un site WordPress :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.votresite.com/sitemap.xml
Sur WordPress, le plugin Yoast SEO intègre un éditeur dédié (Outils → Fichiers SEO → Éditeur de fichiers). Sur des plateformes telles que Shopify, une interface spécifique permet de le modifier directement depuis le tableau de bord.
Exemple de configuration courante pour un site WordPress :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.votresite.com/sitemap.xml
Fichier robots.txt : les erreurs courantes à éviter
Même si le fichier est simple, plusieurs erreurs existent :
Le fichier robots.txt est l'un des premiers éléments vérifiés lors d'un audit SEO technique. Bien configuré, il contribue à une exploration efficace de votre site par les moteurs de recherche et à une meilleure gestion de votre indexation globale.
Le robots.txt n'est qu'un des nombreux leviers du SEO technique. Découvrez comment notre agence audite et optimise l'ensemble de votre structure pour maximiser votre visibilité sur Google !
- • Bloquer des pages stratégiques : une mauvaise règle Disallow peut empêcher l’exploration de pages indispensables (par exemple, une règle trop large “Disallow: /blog”).
- • Confondre robots.txt et confidentialité : le fichier n’est pas une protection de sécurité ; il ne remplace pas une authentification ou une configuration spécifique de serveur.
- • Oublier d’ajuster le robots.txt lors des refontes : après un changement d’arborescence, il faut vérifier que les anciennes règles ne bloquent pas les nouvelles URLs.
- • Oublier de tester après toute modification : vous disposez d’un outil de test de votre fichier robots.txt directement sur la Google Search Console.
Le fichier robots.txt est l'un des premiers éléments vérifiés lors d'un audit SEO technique. Bien configuré, il contribue à une exploration efficace de votre site par les moteurs de recherche et à une meilleure gestion de votre indexation globale.
Le robots.txt n'est qu'un des nombreux leviers du SEO technique. Découvrez comment notre agence audite et optimise l'ensemble de votre structure pour maximiser votre visibilité sur Google !