Comment détecter le passage des robots via Google Analytics

   
(English version - machine translation)


 

Par défaut, les outils de WebAnalytics permettent d’analyser en temps réel et sur le long terme le trafic des visiteurs sur un site web : on y analyse par exemple le canal d’acquisition, leur comportement ou encore les URL visitées. En référencement naturel, on peut également s’intéresser au trafic des robots (spiders, crawlers) de Google et des autres moteurs de recherche pour mieux comprendre leur indexation et trouver des leviers d’amélioration SEO. Nous allons voir ainsi comment détourner les scripts des outils de Webanalytics pour analyser les visites de Googlebot et de ses « collègues », sans pour autant avoir besoin d’analyser les logs de son serveur.

Début de l'article :

L’intérêt de suivre les bots des moteurs de recherche

La première question à se poser est de savoir quels sont les avantages d’une telle analyse. Lorsqu’on liste les étapes pour positionner une page dans Google, elles suivent un ordre logique :

• Le crawl : Google découvre une de vos pages et l’analyse ;
• L’indexation : Google ajoute cette URL à son index ;
• Google affiche ensuite cette page lors d’une requête de l’internaute, en utilisant différents critères de pondération pour son positionnement : pertinence du contenu, popularité, qualité du code HTML…

Le fait d’analyser le passage des bots va ainsi permettre de comprendre différents éléments pour chaque page du site :

• Google connaît-il et crawle-t-il cette page ?
• Revient-il souvent sur cette dernière ?
• Quelles sont les pages les plus crawlés (donc les pages les plus populaires ou pertinentes à ses yeux) ?
• Quelles sont les pages peu crawlées (donc celles peu populaires ou peu pertinentes) ?
• Les bots crawlent-ils des pages inutiles ?
• Etc.

Pour cela, on peut utiliser différentes méthodes ou outils :

• L’analyse des logs de son serveur ;
• L’utilisation d’un outil dédié :
o Watussi : http://box.watussi.fr/ ;
o Botify : https://www.botify.com/ ;
o Screaming Frog : http://www.screamingfrog.co.uk/seo-spider/
o Etc.
• Un développement sur-mesure d’un outil de suivi ;
• L’utilisation d’un outil de webanalytics.

C’est vers cette dernière solution que nous allons nous tourner.
...

La suite de cet article est accessible aux abonnés à la lettre professionnelle "Recherche et Référencement" du site Abondance...


Plus d'infos pour les abonnés :

Taille de l'article : 8 pages (format A4 Word)
Auteur : Daniel Roch, Consultant WordPress, Référencement et Webmarketing chez SeoMix (http://www.seomix.fr/).

Formats disponibles : Word, PDF
Date de parution : 15 décembre 2015

- Accès à la zone "Abonnés" du site Abondance.com


Plus d'infos pour les non-abonnés :

- Comment s'abonner à la lettre R&R ?

- Sommaire de la lettre R&R de Décembre 2015

- Tous les articles de l'année 2015

- Sélection des meilleurs articles des 24 derniers mois


 
Un site du Réseau Abondance  : Information : Abondance - Forums Abondance - Boutique Abondance - Livre Référencement - Formation DVD Référencement | Outils : Outiref - Visiref - Spider SimulatorDivers / Jeux : Googlefight - Googland |  Moteurs de recherche : Mozbot.fr - Mozbot.com - Grifil.net - SearchWings