Nous insistons régulièrement sur l’importance du mobile en SEO depuis plus de 3 ans, à raison : le nombre de recherches sur mobile a dépassé depuis 2016 les recherches sur le desktop, et Google commence à se baser sur la version mobile de nos sites pour leur positionnement. Le crawler de Google dédié au Mobile sera donc en charge de comprendre le contenu d’une URL (Googlebot Mobile). L’index Mobile-first est en déploiement progressif. La grande question est de savoir si notre site est concerné, et dans quelle mesure.

La mesure peut justement être la part de crawl de votre site par Googlebot mobile, par rapport à Googlebot desktop.

Seuls les logs serveur de votre site peuvent vous renseigner. Pour rappel, les logs enregistrent toute l’activité sur votre site, de visiteurs ou de robots (en ce qui nous concerne, ceux des moteurs de recherche). Robot = bot = crawler.

Exemple d’une ligne de logs :

66.249.64.86 www.mercatique-electronique.com – [01/Dec/2017:01:00:31 +0100] « GET /telecharger-qwant/ HTTP/1.1 » 200 13727 « – » « Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) »

IP client / Site / Date & heure / Méthode / Requête / Code HTTP / Poids / User Agent

En version lisible, ceci donne :

66.249.64.86
www.mercatique-electronique.com
[01/Dec/2017:01:00:31 +0100]
GET
/telecharger-qwant/
HTTP/1.1
200
13727
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

La ligne la plus longue est celle qui nous intéresse : c’est la chaîne complète de Googlebot Smartphone. L’idée va être de compter les passages de Googlebot Mobile dans les logs.

Cygwin et les logs serveur pour comprendre Googlebot

Pour ceci, le logiciel Cygwin est l’outil parfait, et a l’avantage d’être gratuit.

Entrez ces deux lignes :

grep ‘66.249.’ LogsDecembre2017.log |grep Googlebot|grep -v ‘AMPtagInYourURLs’|grep -v ‘ Mobile ‘|wc -l

grep ‘66.249.’ LogsDecembre2017.log |grep Googlebot|grep -v ‘AMPtagInYourURLs’|grep ‘ Mobile ‘|wc -l

La ligne 1 vous donnera le nombre de requêtes (hits) de Googlebot desktop sur votre site, la ligne 2 celui de Googlebot Mobile.

Explication des commandes Cygwin

  • grep – affiche les lignes correspondant aux paramètres
  • ‘66.249.’ et Googlebot – isolent les lignes correspondant à l’activité de Googlebot sur votre site. On exclut les crawlers se faisant passer pour eux (notamment via Screaming Frog) en précisant la plage d’adresses IP de Google et on retire les lignes concernant les autres bots de Google (Images, Ads).
  • LogsDecembre2017.log – votre fichier de logs
  • -v ‘ Mobile ‘ ou ‘ Mobile ‘ – distingue Googlebot classique (on exclut le mobile) et Googlebot Mobile (on n’inclut que le mobile).
  • -v ‘amp’ : retire les éventuelles URLs AMP des chiffres, elles sont crawlées par le Googlebot Mobile donc créent une activité supplémentaire
  • wc -l – compte les lignes correspondant à la requêtes (plutôt que de les afficher toutes)

Remercions Quentin Adt pour la méthode précise à utiliser, partagée en un tweet + l’affinement par John Mueller.

 

Exemples concrets

Sur un petit site à 1 277 hits mensuels (33 URLs uniques) : la méthode nous donne deux chiffres clairs :

  • 1086 de crawl de Googlebot desktop
  • 191 de crawls de Googlebot mobile.
  • En proportions, c’est 85-15, donc pas d’Index Mobile à l’horizon.

mobile-first-mercelec

Sur un site conséquent (40 000 hits mensuels et + de 2 millions d’URLs) : le rapport est encore plus faible (95-5).

Si vous avez accès à Botify (ou via votre agence SEO)

Le graphique « URLs crawled by Googlebot User Agent by day » donne une indication visuelle très nette de la répartition entre le bot Desktop et le bot Mobile. Exporter les données sous Excel permet de calculer une moyenne sur la période donnée (typiquement 1 mois).

mobile-first-botify

Un site à 254 000 hits mensuels sur 61 000 URLs uniques, sur 1 mois de logs :

  • 63% de la part de Googlebot desktop
  • 35 % de Googlebot mobile.
  • Les 2% restants sont les bots Images, Video, Ads.

La bascule n’est donc pas faite vers l’index Mobile-first, mais c’est en bonne voie.

L’intérêt de cet indicateur est aussi de faire réagir : si la version mobile de notre site n’est pas optimisée et que la part de Googlebot mobile est forte, certains chantiers sont à prioriser.

Olivier Perbet | @operbet