Robots.txt, crawl et indexation - 2ème partie : la perte de PageRank

   
(English version - machine translation)


 
Le fichier robots.txt est un grand classique du Web et du SEO. Pourtant, êtes-vous sûr de l'utiliser à bon escient et de bien comprendre son fonctionnement ? Nous avons présenté le mois dernier un état de l'art de la meilleure façon d'utiliser le fichier robots.txt pour mieux contrôler la vision de votre site qu'auront les moteurs de recherche. Ce mois-ci, nous vous présentons les dangers, en termes de PageRank, de l'utilisation trop assidue de ce fichier. Ou quand les "dandling pages" compromettent le référencement de votre site au lieu de l'aider...

Cet article fait partie de la Lettre Recherche et Référencement #143 du mois de décembre 2012



Début de l'article :



Dans la première partie de cet article, le mois dernier, nous avons insisté sur les erreurs les plus courantes à propos de la manière de configurer et d'utiliser un fichier robots.txt. Mais il en restait un à aborder: les fuites de pagerank engendrées par une mauvaise utilisation de ce fichier... Le mécanisme à l'origine du problème est souvent méconnu, et un peu difficile à comprendre. Mais il est important de prendre conscience des conséquences funestes que ce phénomène peut avoir sur le référencement de vos sites.

Or, c'est une erreur assez commune, et que l'on trouve paradoxalement surtout sur des sites optimisés par des référenceurs : le recours au blocage par une directive du fichier robots.txt est souvent fait à des fins d'optimisation (en général pour faire du "PR sculpting"). En réalité, le remède peut s'avérer plus grave que le mal.

Mais pour mieux comprendre pourquoi un robots.txt peut générer un véritable "trou noir à pagerank", rappelons d'abord quelques mécanismes fondamentaux à propos de cet algorithme de Google.

Le pagerank augmente grâce aux liens entrants, et diminue via les liens sortants

Le pagerank est un "signal" (parmi de nombreux autres signaux utilisés par Google) mesurant la popularité d'une page sur le net, calculé à partir des informations tirées des liens hypertexte reliant les pages web entre elles.

Si l'on s'intéresse à la formule du pagerank d'une page, on s'aperçoit vite que le PR d'une page dépend de la somme des PR transmis à cette page par les liens entrants : plus une page a de backlinks, et plus ces backlinks transmettent un PR élevé, plus la page reçoit de PR.

Mais le calcul du PR est un processus itératif : car comme la note d'une page dépend des notes des pages qui contiennent un lien pointant vers elle et que chaque calcul modifie les notes des pages en cascade, il faut faire "tourner" l'algorithme plusieurs fois pour faire converger les notes vers une valeur stable. ...

La suite de cet article est accessible aux abonnés à la lettre "Recherche et Référencement" du site Abondance...

Plus d'infos pour les abonnés :

Taille de l'article : 7 pages (format A4 Word)
Auteur : Philippe YONNET , Directeur Associé MySEO, groupe MyMedia. Président de l'association SEO Camp (http://www.seo-camp.org/).

Formats disponibles : Word, PDF, HTML
Date de parution : 17 décembre 2012

Télécharger l'article au format PDF :
http://abonnes.abondance.com/archives/2012-12/

Sommaire de la lettre R&R de décembre 2012 :
http://abonnes.abondance.com/archives/2012-12/

Accès à la zone "Abonnés" du site Abondance.com :
http://abonnes.abondance.com/


Plus d'infos pour les non-abonnés :


Comment s'abonner à la lettre R&R ? :
http://commande.abondance.com/

Sommaire de la lettre R&R de décembre 2012 :
http://lettres.abondance.com/sommaire-RR-122012.html

Tous les articles de l'année 2012 :
http://lettres.abondance.com/articles-rechref-2012.html

Sélection des meilleurs articles des derniers mois : :
http://www.abondance.com/article-abonnes.html

 
Un site du Réseau Abondance  : Information : Abondance - Forums Abondance - Boutique Abondance - Livre Référencement - Formation DVD Référencement | Outils : Outiref - Visiref - Spider SimulatorDivers / Jeux : Googlefight - Googland |  Moteurs de recherche : Mozbot.fr - Mozbot.com - Grifil.net - SearchWings