Bing : un affamé d'URLs… et d'électricité
Ecrit par Mathieu CHAPON
le
Cette information nous vient du fondateur de Yoast SEO, Joost de Valk qui s’est intéressé au nombre de Gigabits consommés par les Crawlers qui viennent visiter son site web. Sur Twitter, De Valk s’est exprimé à ce sujet en plusieurs Tweets, le 30 mai dernier. Bing ressort du lot avec des données impressionnantes !
84 000 URLs crawlées en un mois par Bing
C’est le résultat de l’étude publiée sur Twitter par Joost de Valk. Bing a crawlé 84 000 URLs sur le site yoast.com et consommé 10 GB sur les serveurs, et ce sur l’ensemble du mois de mai 2018.
Il faut aussi savoir que sur la même période, Yoast, bien qu’étant bien positionné dans les SERPs Bing, n’a identifié que 3200 visiteurs en provenance du moteur de recherche de Microsoft…
Un ROI bien faible selon De Valk.
Let’s start with @bing.
Over the last 30 days Bing crawled ~84,000 URLs on https://t.co/xalMguOYPz. In return, we got ~3,200 visitors. Not only does that ratio simply not add up, from checking other sites, we’re not even doing badly in @bing.
— Joost de Valk (@jdevalk) 30 mai 2018
L’étude montre aussi que Bing a tendance à identifier plus de 404 que les autres moteurs ce qui semble signifier que, la plupart du temps, Bing détecte des erreurs d’exploration que d’autre outils ne trouvent pas. (ndlr: nous avons constaté lors de crawl avec Bing, pour des clients, que le nombre de 404 était anormalement élevé, allant parfois du simple au triple en comparaison avec Google).
En comparaison, De Valk publie également les résultats du passage de ahref et Moz sur ses serveurs :
- ahref : 5 GB de données pour 2500 URLs par jour
- Moz : 250 MB pour le même nombre d’URLs
In terms of « getting something back » there’s one thing that’s worse than search engines with a small market share. It’s link research tools.@ahrefs consumed 5GB of data from our servers, hitting approximately 2,000 URLS/day. @moz was way nicer, with only 250MB.
— Joost de Valk (@jdevalk) 30 mai 2018
Et la planète dans tout ça ?
En plus de cette analyse technique, Joost de Valk s’interroge sur l’impact écologique des crawls et des sites web en général.
En effet, cette consommation de 10 GB a un coup en bande passante, et en électricité ! De Valk relève que Yoast.com est un petit site et se pose la question du nombre de Gigabits cumulé consommé par l’ensemble des spiders et de l’impact sur notre planète.
A l’heure ou le réchauffement climatique est un enjeu principal, cette question parait censée.
De Valk cite Forbes qui annonce qu’un site web qui génère 10 000 vues par mois équivaut à un trajet de 8 000 km en voiture. Il termine dans un ultime Tweet pour « responsabiliser » Google qui dit utiliser de l’électricité verte, mais pas pour l’ensemble des sites crawlés.