Webflow est un outil très complet pour optimiser son site pour le référencement naturel (SEO). Nous avons accès nativement à plusieurs paramètres pour permettre à notre site web de gagner du trafic sans payer !

Voici une liste avec toutes les optimisations SEO à réaliser dans son projet Webflow pour accroître sa visibilité en ligne.

L'une d'elles consiste à ajouter un fichier robots.txt ! Dans notre article du jour, nous allons vous présenter comment mettre en place ce fichier pour son site et comment bien le configurer.

Qu'est-ce qu'un fichier robots.txt ?

Un fichier robots.txt est un fichier texte qui indique aux robots d'indexation (crawlers) des moteurs de recherche sur quelles pages ils peuvent passer ou non.

Grâce à des indications, vous pouvez dire aux robots d'indexation de ne pas analyser certaines pages de votre site web.

Attention :  Vous pouvez interdire l'accès aux robots d'indexation, mais pas aux utilisateurs avec le robots.txt

Pourquoi ajouter un robots.txt (pour le SEO) ?

Le référencement organique passe forcément par l'indexation de page sur les moteurs de recherche. Or pour pouvoir indexer une page de votre site web, les moteurs de recherche (tels que Google, Bing, Yahoo, ect.) explorent vos contenus grâce à leurs robots.

L'intérêt du robots.txt est de dire à ces robots que certaines pages n'ont pas de valeur ajoutée sur le site et qu'il n'y a pas besoin que les robots d'indexation viennent "crawler" cette page.

Même si cela n'a pas une incidence énorme pour votre SEO, cela permet d'optimiser votre "crawl budget" (pour résumé : le nombre de pages que Google va parcourir sur votre site). Cependant, vous allez potentiellement permettre à vos contenus de qualité d'avoir plus d'importance.

Comment se présente un fichier robots.txt ?

Les fichiers robots.txt comprennent différentes commandes. Cependant, pour toutes ces commandes, vous allez devoir ajouter quels robots seront concernés (user-agent) et quelles pages ne doivent pas être analysées (disallow). Vous pouvez également permettre l'analyse des pages avec "allow".

Si vous ne savez pas quelles instructions donner, nous vous recommandons d'autoriser l'analyse et donc l'indexation de toutes vos pages avec le fichier robots.txt suivant :

User-agent: *
Disallow:

Ici l'astérisque (*) signifie que la consigne concerne tous les robots sans exception. On ne met rien après Disallow car nous souhaitons que toutes nos pages soient accessibles.

Attention à ne surtout pas (sauf des cas bien précis) ajouter un / après Disallow car cela bloquerait l'indexation de toutes les pages de notre site web !

Nous pouvons bloquer l'indexation d'une page en ajoutant son slug après Disallow. Par exemple, je peux bloquer l'indexation de ma page contact en ajoutant le fichier robots.txt suivant :

User-agent: *
Disallow : /contact

Je peux bloquer toutes les pages d'un dossier d'être indexées, par exemple un blog :

User-agent: *
Disallow: /blog/

Par ailleurs je peux autoriser l'indexation d'une des pages du dossier blog :

User-agent: *
Disallow: /blog/
Allow: /blog/post-1

Voici la documentation officielle de Google concernant les robots.txt pour aller plus loin !

Comment ajouter un robots.txt dans Webflow ?

Dans Webflow, il est très simple d'ajouter un robots.txt. Il suffit de vous rendre dans les paramètres généraux de votre projet, de vous rendre dans l'onglet "SEO" et d'ajouter dans "robots.txt" votre fichier. Il faudra ensuite sauvegarder vos changements (Save Changes) et publier votre projet.

Comment vérifier que son robots.txt est opérationnel ?

Pour vérifier si votre robots.txt est bien en place sur votre site, vous pouvez utiliser une extension chrome comme "Detailed SEO Extension" et cliquer sur "Robots.txt".

Voilà, vous pouvez maintenant optimiser votre robots.txt pour votre site Webflow ! Pour avoir un site personnalisé et optimisé pour le SEO, n'hésitez pas à contacter notre agence !

Découvrez un guide complet pour le SEO Webflow