Le fichier robots.txt, qu’est-ce que c’est ?
Créé en 1994, le fichier robots.txt désigne un ensemble d’instructions adressées aux robots d’exploration du web. Ces consignes leur indiquent les éléments que vous les autorisez – ou non – à explorer sur votre site. Également connu sous le nom de Protocole d'exclusion des robots, le fichier robots.txt a été adopté en tant que norme en 2022.
Placé à la racine du site web, ce fichier texte vous permet :
Placé à la racine du site web, ce fichier texte vous permet :
- - De préserver la confidentialité de certains éléments ou pages de votre site.
- - D’éviter l’exploration des pages que vous jugez moins importantes.
.webp)
Les techniques essentielles pour configurer un fichier robots.txt
Afin d’aider les éditeurs de sites web à utiliser le fichier de façon optimale, Elmer Boutin a rassemblé les principales commandes à connaître. User-agent permet ainsi de spécifier le robot ciblé, tandis que Disallow indique au robot l’endroit qu’il n’est pas autorisé à explorer. Pour indiquer à tous les web crawlers qu’ils peuvent explorer l’intégralité d’un site, le fichier robots.txt inclura la commande suivante :
User-agent : *
Disallow :
L’usage de caractères génériques tels que “*” permet d’appliquer les règles à une grande quantité de robots ou de pages sans avoir à les énumérer.
Dans son article, le spécialiste du SEO et du marketing digital explique également comment spécifier aux robots qu’ils sont autorisés à interagir avec l’intégralité d’un site (avec l’exemple du dossier fictif “Keep Out”) :
Vous pouvez par ailleurs exclure certains robots d’exploration grâce à la commande suivante :
Dans son article, le spécialiste du SEO et du marketing digital explique également comment spécifier aux robots qu’ils sont autorisés à interagir avec l’intégralité d’un site (avec l’exemple du dossier fictif “Keep Out”) :
User-agent : *
Disallow : /keep-out/
Vous pouvez par ailleurs exclure certains robots d’exploration grâce à la commande suivante :
User-agent : Googlebot
Disallow : /
Vous souhaitez autoriser l’accès à un dossier en bloquant certains fichiers ? C’est possible en indiquant précisément le nom du fichier :
Depuis peu, il est possible d’enrichir et de complexifier les règles imposées aux robots avec la directive Allow. Vous pouvez alors autoriser l’exploration d’un seul dossier, ou encore d’un fichier spécifique dans un dossier bloqué avec ce type de commande :
D’autres éléments permettent enfin de préciser vos instructions :
Disallow: /keep-out/file1.html.
User-agent : *
Disallow : /private/
Allow : /private/public-file.html
D’autres éléments permettent enfin de préciser vos instructions :
- - Les commentaires, précédés du symbole #, pour une présentation plus claire.
- - La gestion du taux de crawl d’exploration pour assurer une indexation efficace et limiter la surcharge du serveur.
- - Le lien vers le sitemap XML, à inclure en bas du fichier robots.txt.
Quelles erreurs éviter ?
Véritable atout pour améliorer la performance de votre site, le fichier robots.txt doit être utilisé dans les règles de l’art pour garantir un fonctionnement efficace et pertinent. Elmer Boutin met ainsi en garde contre certaines erreurs :
- - Des erreurs de syntaxe dans les commandes.
- - Une restriction trop importante des accès.
- - Des directives pensées pour les robots d’IA (qui suivent en fait le même protocole que les bots traditionnels).
Le fichier robots.txt, un outil incontournable pour le SEO
En orientant les robots dans leur exploration des contenus par des consignes claires et précises, vous agissez sur le référencement naturel de votre site web. Pages en cours d’actualisation, ressources internes ou encore pages dupliquées : certains éléments ne sont pas nécessaires aux utilisateurs et pourraient mettre en péril la notoriété du site. Grâce au fichier robots.txt, vous sélectionnez les contenus à valoriser et les signalez aux crawlers afin d’optimiser vos chances d’apparaître dans les SERP des moteurs de recherche.
L’agence SEO Top 10 Stratégie vous accompagne dans votre projet SEO pour améliorer votre visibilité et vous démarquer sur le web. Du référencement à l’éditorial, découvrez l’ensemble de nos prestations et contactez-nous !
L’agence SEO Top 10 Stratégie vous accompagne dans votre projet SEO pour améliorer votre visibilité et vous démarquer sur le web. Du référencement à l’éditorial, découvrez l’ensemble de nos prestations et contactez-nous !