Comment mettre en place le robots.txt sur PrestaShop ?

Le fichier robots.txt est essentiel pour contrôler l’indexation de votre boutique PrestaShop par les moteurs de recherche. Dans ce tutoriel, je vous explique comment le créer et le configurer correctement pour optimiser votre SEO sur PrestaShop.

c’est quoi un fichier robots.txt

Un robots.txt indique au robot d’exploration des moteurs de recherche les URL qu’ils peuvent ou ne peuvent pas explorer. Il peut donc interdire ou non l’exploration d’un fichier ainsi que son indexation. Au niveau des stratégies SEO, il permet d’éviter d’indexer des contenus dupliqués, d’économiser le « budget crawl » des robots de Google ou de fournir le sitemap pour des indications claires sur les URL à indexer.

Pourquoi le robots.txt est essentiel ?

Les robots.txt d’un site internet permettent de bloquer les pages dupliquées, les URL qui ne sont pas destinées à un public, de cacher des ressources ou d’optimiser le budget crawl.

Le blocage des pages dupliquées

Sur un site internet, toutes les pages n’ont pas forcément besoin d’être explorées par les robots des moteurs de recherche. C’est notamment le cas des pages de résultats de recherche internes, des pages dupliquées ou des pages de connexion. Certaines de ces URL ne sont pas destinées à être rendues publiques. Ici, le fichier robots.txt peut permettre de les bloquer.

Cadrer le site en amont

Pour éviter que Google indexe des pages inutiles, il est crucial de cadrer le site dès sa conception. Voici quelques pratiques à adopter :

• Configurer des balises meta “noindex” sur les pages qui ne doivent pas apparaître dans les résultats de recherche. Contrairement au robots.txt, Google respecte généralement cette directive.
• Optimiser la structure des liens internes pour éviter de promouvoir des pages secondaires ou inutiles dans le maillage.
• Utiliser des outils de gestion de facettes pour limiter la création de combinaisons d’URL inutiles.
• Exploiter les paramètres d’exploration des outils Google (Search Console) pour préciser les pages à explorer ou non.

L’optimisation du budget crawl

L’autre atout du robots.txt, c’est qu’il permet de bloquer certaines pages inutiles d’un site web. En conséquence, le Googlebot peut se consacrer entièrement aux pages importantes. En optimisant le budget crawl, vous maximisez l’indexation de vos URL afin d’éviter les erreurs.

Le camouflage de certaines ressources

Enfin, si vous n’avez pas besoin de faire afficher certaines ressources comme des PDF ou des images dans les moteurs de recherche, utiliser le fichier robots.txt permet d’éviter de les indexer.

Une rustine pour le SEO

Si le fichier robots.txt est un outil pratique, il reste néanmoins une solution imparfaite sur le plan SEO. Google, par exemple, ne s’appuie pas toujours sur ce fichier pour sa découverte des URL. Même si vous bloquez une page dans le fichier, Google pourrait en découvrir l’existence via des liens internes ou externes et essayer de l’indexer.

Ainsi, le fichier robots.txt ne doit pas être utilisé comme le seul levier pour empêcher l’indexation de pages inutiles. Par exemple :

Ressources techniques : images, fichiers CSS, JavaScript, qui n’ont pas d’intérêt à apparaître dans les résultats de recherche.
Pages de facettes : variantes de pages générées dynamiquement (souvent sur des sites e-commerce) qui peuvent créer des doublons de contenu ou gonfler artificiellement le nombre d’URL à explorer.

Comment l’utiliser ?

Le fichier robots.txt se trouve généralement à la racine d’un site web et peut facilement être repéré en saisissant l’URL suivante : https://www.example.com/robots.txt.

En fonction de ce que vous souhaitez lui demander, il est possible d’utiliser une syntaxe simple qui comprend différentes directives d’instruction. Parmi elles, il faut citer :

• User-agent : c’est une directive qui identifie le robot d’exploration. Par exemple, User-agent : Googlebot pour Google.
• Disallow : cette deuxième ligne spécifie les pages ou les répertoires que le robot ne doit pas explorer.
• Allow : cette directive autorise l’accès à des sous-sections d’une partie restreinte. Par exemple, vous pouvez décider d’interdire l’accès à différents articles d’une catégorie, à l’exception d’un.
• Sitemap : cette directive fournit l’URL du fichier Sitemap XML aux moteurs de recherche.
• Crawl-delay : cette directive vise à spécifier le délai d’exploration en seconde pour empêcher les robots d’exploration de surcharger le serveur.

Le fichier robots.txt est donc un moyen simple et efficace de guider les robots d’exploration sur un site. Il doit être utilisé avec soin pour éviter d’empêcher accidentellement l’indexation de pages importantes ou de nuire au référencement naturel du site.

Ou se trouve le fichier robots.txt sur PrestaShop ?

Avant de créer un fichier robots.txt, vous devez vérifier s’il en existe déjà un sur votre site. Mais comment procéder ?

Le fichier robots.txt est toujours placé à la racine d’un site internet, c’est-à-dire au niveau principal de votre arborescence de fichiers. Dans le cas d’une boutique Prestashop, il se trouve généralement à la base de votre installation.

Pour le vérifier, accédez à cette URL en remplaçant “votresite.com” par votre propre domaine :
https://www.votresite.com/robots.txt

Si cette URL renvoie un fichier lisible, cela signifie que votre site dispose déjà d’un fichier robots.txt. Sinon, vous pouvez le confirmer en vous connectant à votre hébergement web via un client FTP ou le gestionnaire de fichiers de votre hébergeur. Une fois connecté, explorez la racine de votre site pour vérifier la présence du fichier.

Il est essentiel de vérifier l’existence du fichier robots.txt avant d’en créer un nouveau, afin d’éviter les conflits ou doublons susceptibles de perturber les moteurs de recherche et de nuire au référencement de votre site, en particulier si des modifications ont été apportées au fichier existant.

Créer un fichier robots.txt sur PrestaShop

Si votre site est déjà actif, il se peut qu’il possède déjà un fichier robots.txt. Je vous suggère de vérifier cela en suivant mes recommandations dans le paragraphe précédent.

Nativement, lors de l’installation de PrestaShop, il n’y a pas de fichier robots.txt. Cependant, sans même le créer manuellement, le CMS peut en générer un si vous avez effectué des modifications en back-office susceptibles d’affecter les URLs de votre site.

Avec la méthode ci-dessous, attention, cela écrase celui qui existe.

Supposons que vous n’en ayez pas encore. Pour créer le fichier robots.txt, il vous suffit de suivre ces étapes :

• Accédez au menu Paramètres de la boutique.
• Sélectionnez Trafic & SEO.
• Faites défiler la page jusqu’en bas.
• Cliquez sur le bouton Générer le fichier robots.txt.

Voilà, c’est fait ! Votre fichier robots.txt est désormais présent sur le serveur.

Voici un exemple de fichier robots.txt pour un site PrestaShop non multilingue :

# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# https://www.prestashop.com - https://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# https://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */modules/*.gif
Allow: */modules/*.svg
Allow: */modules/*.webp
Allow: /js/jquery/*
# Private pages
Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=registration
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for www.votresite.fr
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
# Files
Disallow: /recuperation-mot-de-passe
Disallow: /adresse
Disallow: /adresses
Disallow: /connexion
Disallow: /inscription
Disallow: /panier
Disallow: /reduction
Disallow: /historique-commandes
Disallow: /identite
Disallow: /mon-compte
Disallow: /suivi-commande
Disallow: /avoirs
Disallow: /commande
Disallow: /recherche
Disallow: /suivi-commande-invite
Disallow: /confirmation-commande

Pour information, dans le cadre d’un multiboutique PrestaShop, il n’est pas possible de générer un fichier robots.txt par boutique en ligne. Ce n’est pas encore possible.

Comment modifier le fichier robots.txt sur PrestaShop ?

La façon la plus simple de modifier le fichier consiste à se connecter via FTP et à l’ouvrir dans un éditeur de code. Une fois vos modifications effectuées, n’oubliez pas d’enregistrer le fichier. Cependant, je le répète souvent, mais il est crucial de faire une copie de ce fichier avant de l’éditer. Cela vous permettra de revenir à une version antérieure en cas d’erreur ou de problème, et de protéger vos données en cas de mauvaise manipulation.

Un module PrestaShop pour modifier le robots.txt

Il existe des modules permettant de modifier facilement votre fichier robots.txt. Jusqu’à récemment, il existait plusieurs modules gratuits qui, malheureusement, ont disparu de la circulation. On espère qu’ils reviendront, mais pour l’instant, ces options sont inaccessibles, notamment pour PrestaShop 8.

Un seul module fait cette fonctionne, c’est celui-ci : Module PrestaShop Modification Robots.txt

Sinon, vous devrez désormais passer par des modules SEO dédiés à PrestaShop pour éditer ce fichier sans avoir à manipuler directement le code. Voici quelques modules qui pourraient vous intéresser :

• SEO Pack de démarrage – Pretty URLs + SEO Expert
• Pretty URL – URL conviviale pour le Référencement

Étant donné les fonctionnalités variées de ces modules, je vous conseille de les acquérir si vous avez besoin d’améliorer le référencement naturel de votre site PrestaShop. Ces modules offrent des outils puissants pour optimiser non seulement votre robots.txt, mais aussi d’autres aspects SEO essentiels pour votre site. Ils vous permettront de mieux contrôler l’indexation de votre contenu et d’optimiser vos performances en ligne.

Des astuces pour votre fichier robots.txt

Dans cette partie, nous allons voir des astuces pratiques pour optimiser votre fichier robots.txt et ainsi améliorer l’indexation de votre site sur les moteurs de recherche.

Lire le robots.txt sur la search console

Maintenant que votre fichier robots.txt est créé, vous pouvez le vérifier directement auprès de Google dans la Search Console. En suivant ce lien, choisissez une propriété et vous aurez accès aux détails du fichier : https://search.google.com/search-console/settings/robots-txt?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=%206062598

Vous pouvez également consulter les versions antérieures de votre fichier robots.txt au fil du temps une fois qu’il est déclaré dans la Search Console. Celle-ci vous indique aussi si elle a bien pu récupérer les données.

Ajouter le sitemap PrestaShop dans le robots.txt

Mettre le sitemap de votre site dans le fichier robots.txt est une excellente façon d’aider les moteurs de recherche à mieux comprendre la structure de votre site et à trouver toutes vos pages importantes. Cela facilite leur indexation et peut contribuer à améliorer votre SEO sur PrestaShop.

En indiquant l’emplacement de votre sitemap dans le fichier robots.txt, vous simplifiez la tâche des moteurs de recherche pour trouver et explorer votre sitemap. Cela permet à Google et aux autres moteurs de recherche de mieux indexer votre site et d’optimiser votre visibilité.

Si vous souhaitez apprendre à créer un sitemap, je vous suggère mon article : Créer un sitemap sur Prestashop

Empêcher l’écrasement du fichier robots.txt

Pour éviter que votre fichier robots.txt ne soit accidentellement modifié ou écrasé, que ce soit par un collaborateur ou un processus automatisé, vous pouvez sécuriser son accès directement via le serveur.

Par défaut, le fichier robots.txt est généralement configuré avec des permissions 644. Cela signifie qu’il peut être lu et écrit par le propriétaire, et seulement lu par les autres utilisateurs. Pour éviter toute modification, vous pouvez restreindre ces permissions en supprimant les droits d’écriture ou d’exécution.

Par exemple, vous pouvez utiliser la commande suivante en SSH :

chmod 444 /path/to/robots.txt

Vous pouvez aussi ajouter une règle dans le fichier .htaccess pour empêcher l’accès en écriture au fichier robots.txt. Voici un exemple :

<Files "robots.txt">
    Require all granted
    <IfModule mod_authz_core.c>
        Require all granted
    </IfModule>
    <IfModule mod_authz_host.c>
        Order allow,deny
        Allow from all
    </IfModule>
    <LimitExcept GET POST>
        Deny from all
    </LimitExcept>
</Files>

Même après avoir sécurisé le fichier, il est important de vérifier périodiquement les permissions pour s’assurer qu’aucune modification indésirable n’a été apportée. Vous pouvez automatiser cette vérification avec un script.

Bloquer les IA avec le fichier robots.txt sur PrestaShop

Les intelligences artificielles (IA) et autres robots d’exploration (comme ceux de Google ou Bing) visitent régulièrement les sites web pour collecter des informations. Si vous souhaitez empêcher certaines IA ou robots d’accéder à votre site ou à certaines parties de celui-ci, vous pouvez utiliser un fichier robots.txt.

Chaque robot ou IA se présente avec un nom spécifique, appelé “User-Agent”. Par exemple :

• ChatGPTBot (d’OpenAI)
• Googlebot (de Google)
• Bingbot (de Microsoft)

Voici un exemple simple pour bloquer certaines IA :

User-agent: ChatGPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /private/

La ligne User-agent sert à identifier le robot que vous souhaitez cibler spécifiquement. Ensuite, la ligne Disallow précise ce que le robot n’a pas le droit d’explorer : vous pouvez utiliser / pour interdire l’accès à tout le site ou indiquer un chemin précis comme /private/ pour bloquer uniquement certaines parties. Enfin, en utilisant User-agent: *, vous pouvez définir des règles qui s’appliqueront à tous les robots sans distinction.

Si vous voulez interdire l’accès à ChatGPTBot et à Common Crawl tout en autorisant les autres robots à explorer votre site, voici ce que ça donnerait :

User-agent: ChatGPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Disallow:

Le fichier robots.txt repose sur la bonne volonté des robots pour respecter les consignes qu’il contient. Si la plupart des robots “bienveillants”, comme ceux de Google, suivent ces règles, certains robots malveillants ou moins respectueux peuvent choisir de les ignorer. Il est donc utile de surveiller régulièrement l’activité des robots sur votre site en consultant les journaux d’accès (logs) disponibles sur votre serveur, si celui-ci les fournit.

Vous pouvez aussi bloquer votre PrestaShop pour l’IA Claude, bytespider, Amazonbot… Il y a de quoi faire.

Conclusion sur l’optimisation SEO par le robots.txt

Quand vous démarrez votre boutique e-commerce avec PrestaShop, l’une des premières choses à faire pour le SEO, c’est de s’occuper des bases. C’est assez simple à mettre en place et ça peut faire une vraie différence. Par exemple, configurez votre fichier robots.txt, ajoutez un sitemap, travaillez vos balises méta (titres et descriptions), et activez les URLs simplifiées. Ces petites actions aident votre site à mieux se faire remarquer par les moteurs de recherche et à être correctement indexé.