- SEO
Les robots représentent généralement 50% du trafic global d’un site. Si certains bots sont là pour votre bien (les crawlers de Google par exemple), d’autres peuvent être considérés comme des menaces. Face à ces enjeux, les solutions de bot management se démocratisent.
Quand on analyse l’audience de son site web, on pense généralement à ses internautes en chair et en os, on essaie de décrypter leur comportement pour améliorer la performance de son dispositif. Or, près d’1 hit sur 2 sur le serveur hébergeant les pages d’un site web provient généralement d’un robot. Chez Price Minister, 75% du trafic était généré par des robots en février 2017.
Et les bots, c’est un peu comme les chasseurs, il y a les bons, les mauvais et les ni bon/ni mauvais :
- Les bons, ce sont ceux des moteurs de recherche (Google, Bing, etc.) qui viennent crawler votre site et le positionner dans les pages de résultats. On peut aussi classer dans cette catégorie les robots qui explorent les sites, blogs et réseaux sociaux pour évaluer l’e-réputation d’une marque ou d’une personnalité ;
- Les mauvais vont être utilisés par les hackers pour tenter de pirater des comptes et récupérer des données sensibles ou pour voler du contenu éditorial ;
- Au milieu, on va retrouver la catégorie des commercial bots qui collectent des données commerciales sur un site e-commerce (prix, catalogues de produits, disponibilité des produits en stock, avis clients…).
Les bad bots représentent une quadruple menace pour les entreprises en termes de :
- Sécurité : cet enjeu sera de plus en plus important dans la perspective du prochain Règlement Général de Protection des Données (RGPD) qui sera appliqué à partir de mai 2018 et qui renforcera les obligations des entreprises au niveau de la protection des données personnelles de leurs clients ;
- Préjudice commercial : les bots récupèrent gratuitement un contenu éditorial ou des informations stratégiques ;
- Webperf : les robots consomment beaucoup de bande passante et vont dégrader inutilement la rapidité d’un site et l’expérience utilisateur en faisant planter certaines fonctionnalités basées sur des API ;
- Fiabilité des données Analytics : 15% du trafic des bots va polluer les données Analytics. Seuls les robots qui exécutent du Javascript sont en effet comptabilisés par les outils de web analyse. Sur des sites ayant des volumes d’audience importants, le trafic des bots peut fausser en partie les analyses et les recommandations qui s’en suivent ;
Les bots comme une opportunité commerciale
Face à ces problèmes, l’enjeu consiste à identifier et bloquer ces bots. Historiquement, cette activité est dévolue à la DSI avec le problème de maintenir en permanence une liste à jour. D’où l’émergence des solutions spécialisées comme DataDome.
« La protection contre les bots se met en place en 3 temps : mettre à jour le fichier robots.txt (celui-ci procure une protection théorique contre les robots les plus respectueux, généralement les moins dangereux), ensuite mettre à jour les CGU du site web pour interdire le scraping et enfin installer une solution de protection anti-bot pour protéger les serveurs web et d’API. Avec ce dispositif simple à mettre en œuvre, vous reprenez le contrôle de votre contenu et de votre trafic tout en générant de nouvelles opportunités business » explique Fabien Grenier, co-founder & CEO de Datadome.
Comme le souligne Fabien Grenier, au-delà des gains financiers sur l’hébergement, l’amélioration de la sécurité de son dispositif et la défense de son patrimoine data et éditorial, la gestion du trafic des bots peut générer de nouvelles opportunités commerciales. En identifiant les bots qui viennent collecter des informations, un site peut entamer des négociations avec l’entreprise qui les exploite afin d’en tirer un revenu additionnel.
Besoin d’un accompagnement en Analytics pour votre site ?
