La non-régression, premier levier d’amélioration de la performance digitale

Visibilité, audience ou conversions…. Toute organisation cherche à améliorer sa performance digitale. Dans ce cas, la tentation est souvent de vouloir produire de nouvelles choses : ajout de contenus ou de fonctionnalités, lancement de nouvelles campagnes voire même la refonte complète d’un site. Pourtant, la gestion des régressions peut représenter un potentiel d’amélioration plus élevé, plus rapide et moins coûteux. 

Quelles sont les situations
de régression les plus courantes ?

La performance d’un site n’est jamais linéaire. Celle-ci fluctue selon des facteurs exogènes (saisonnalité, concurrence, marché, situation sanitaire ou économique, etc) ou endogènes (montée de version d’un CMS, évolutions ergonomiques ou fonctionnelles, ajout de contenus, campagnes, etc).

Les régressions endogènes

Les interventions sur un dispositif digital poursuivent tout le temps un but d’amélioration (sinon quel intérêt ?) mais peuvent produire l’effet contraire de celui escompté

La refonte d’un site est le premier exemple qui vient à l’esprit car mal gérée, celle-ci peut avoir des conséquences catastrophiques sur les performances d’un site :

  • Une mauvaise, voire même une absence de prise en compte des contraintes SEO (réintégration des contenus, plan de redirections, problèmes techniques, etc) peut faire chuter l’audience organique dès les premiers jours de la mise en ligne.
  • Des changements trop radicaux au niveau de l’UX peuvent perturber l’utilisateur et dégrader le taux de conversion. 

Si la refonte, projet à risque par définition, suscite forcément de la vigilance, les interventions régulières qui émaillent la vie d’un site peuvent avoir des conséquences plus insidieuses et être moins facilement détectables.

Impossible de toutes les citer ici mais en voici quelques-unes : 

  • L’enrichissement sémantique d’une page peut avoir un impact positif sur le SEO de la page mais pénaliser l’expérience utilisateur et le taux de conversion.
  • L’ajout d’une nouvelle interaction sur un site (ex : un bouton Télécharger le document sur une fiche produit) peut entraîner une “paralysie du choix” et nuire au taux de conversion global.
  • Une intervention technique peut générer des bugs ou d’autres effets de bord (temps de chargement, problème SEO, etc).

Les régressions exogènes

La pandémie de Covid-19 l’a bien illustré. Les courbes d’audience des sites ont pu faire les montagnes russes selon le secteur d’activité concerné. 

Les facteurs exogènes ont donc une influence considérable sur les performances d’un site et sont par définition difficilement maîtrisables. 

Il est également impossible de fournir une liste exhaustive de cas de régressions exogènes mais en voici certains emblématiques :

  • Une mise à jour de l’algorithme de Google peut altérer la visibilité SEO d’un site qui ne respecterait pas scrupuleusement les critères de pertinence des moteurs.
  • Toujours en SEO, une modification de l’affichage des pages de résultats (SERP) peut faire chuter les taux de clics sur les résultats SEO. Par exemple, l’ajout des widgets météo dès les SERP a fait baisser l’audience des sites spécialisés de façon très significative. 
  • Les restrictions liées au cookies (RGPD, ITP Firefox et Safari, Adblocks) impactent l’efficacité des campagnes publicitaires.
  • Outre ces facteurs exogènes digitaux, la performance d’un site est également soumise aux influences classiques d’un environnement de marché : évolution des comportements, saisonnalité, actualité réglementaire, concurrence, etc

 

Comment identifier ces cas de régression ?

Comme nous venons de le voir, les cas de régression sont quasiment infinis. Il est donc absolument impossible de tous les anticiper et de les éradiquer en amont.

L’enjeu consiste donc à :
  1. Détecter au plus tôt ces régressions
  2. Comprendre leur origine, exogène ou endogène, voire les 2.
  3. Mettre en place les actions correctives quand il s’agit d’une origine endogène.  Pour les facteurs exogènes, des stratégies “palliatives” peuvent être envisagées mais ne sont pas toujours possibles (il est difficile d’influer sur les SERPs de Google).

Les outils sont nécessaires mais ne sont pas la panacée. C’est donc avant tout une question d’état d’esprit combiné à une méthodologie rigoureuse qui permettront de repérer au plus vite ces effets de bord et agir rapidement.

En préambule : être sûr que l’on observe bien une régression des performances

Avant toute chose, il est indispensable de s’assurer que la régression constatée sur une courbe statistique est bien “réelle” et ne vient pas de problèmes techniques comme une mauvaise implémentation des marqueurs Analytics sur toute ou partie du site.

De plus, le respect des directives de la CNIL concernant le dépôt des cookies analytics pour des solutions non exemptées (bannissement du consentement implicite, symétrie des boutons accepter/refuser, etc) biaise forcément les audiences collectées car le taux d’opt-in n’est jamais de 100%.  
Face à cette situation, plusieurs solutions peuvent exister : retraitement des données, comparatif des données d’audience avec une source fiable (ex : Google Search Console pour le SEO, CMS/ERP pour les conversions, etc). 

Suivre régulièrement l’évolution des performances via des tableaux de bord

C’est évidemment la base ! Pour ce faire, les solutions de data-visualisation comme Google Data Studio sont très utiles pour analyser l’évolution des performances digitales selon plusieurs dimensions :

  • Sources d’audience (SEO, accès direct, campagnes, emails, etc)
  • Devices (desktop, mobile, tablette)
  • Type de contenus (page d’accueil, pages de listes, pages produits, pages de contenus…)
  • Localisation (pays, ville…)
  • etc

L’exploitation des données Analytics n’est néanmoins pas toujours suffisante. Elles permettent de révéler un problème sans forcément mettre sur la piste d’une explication. D’où la nécessité d’agréger d’autres sources de données :

  • En SEO, la mise en perspective des données analytics avec des données de ranking permet de comprendre si une baisse de l’audience SEO vient de facteurs exogènes (baisse des recherches, évolution de la SERP Google, etc) ou endogènes (baisse de positions liée à un problème technique).
  • L’agrégation des données des plates-formes publicitaires (Google Ads, Facebook Ads…) est toute aussi importante car les performances des campagnes publicitaires sont directement corrélées à la stratégie d’investissement.

S’appuyer sur des outils de détection d’anomalies

Un suivi régulier des performances digitales ne permet pas toujours d’identifier à « l’œil humain” des régressions. La “défaillance” d’une dimension peut en effet être compensée par une autre.

Le machine learning peut pallier cette problématique en détectant de façon automatique des anomalies de performance.

Le module Axon de Piano Analytics (ex – AT Internet) est capable de détecter automatiquement des anomalies en comparant une performance réelle avec une performance attendue (estimée selon l’historique) :

Aperçu du module Axon de Piano Analytics – Détection de l’anomalie

L’outil va ensuite identifier les dimensions à priori responsables de cette anomalie via l’analyse de contribution.

 

Même si ces analyses automatisées doivent toujours être remises en contexte, elles peuvent faire gagner un temps considérable à l’analyste

Il est également possible de paramétrer au sein des outils analytics des alertes basées sur des règles basiques (franchissement d’un seuil, atteinte d’une valeur spécifique). Les alertes sont utiles pour détecter des régressions simples (ex : arrêt d’une campagne, augmentation du temps de chargement…) mais seront toujours moins pertinentes que des alertes intelligentes capables de détecter une anomalie par rapport à un historique. 

Documenter les temps forts de son actualité et de son marché

Pour la plupart des sites, l’année 2020, fortement impactée par la pandémie de Covid-19 n’est pas représentative et ne peut donc pas être considérée comme une année de référence.

Si nous avons tous bien en tête les dates-clés de la pandémie, d’autres événements moins marquants impactent les performances d’un site. Voilà pourquoi nous recommandons fortement de documenter les temps forts de son actualité et de son marché :

  • Actualité interne : campagne off-line (radio, TV, affichage…), lancement produit, actions de RP, etc
  • Interventions sur le site : refonte, montée de versions d’un CMS, ajout de fonctionnalités, optimisation du temps de chargement, création de contenus…
  • Actualité liée au marché : arrivée d’un concurrent, évolution de la réglementation, etc
  • SEO : mise à jour majeure de l’algorithme de Google, évolution des SERP
  • etc

Une fois ces temps forts documentés, il est assez simple de les afficher dans un outil comme Google Data Studio en les annotant sur les courbes d’audience : 

 

Une fois les données d’action et de résultats réconciliées, l’enjeu sera alors de déterminer s’il y a causalité ou corrélation entre les 2.

Vu la multiplicité des facteurs pouvant influencer une performance, ce n’est parce que les sessions d’un site augmentent dans les jours qui suivent le déploiement d’une action qu’il y a un lien de causalité.

Voilà pourquoi nous recommandons une approche plus granulaire en analysant l’impact d’actions sur des métriques intermédiaires et non uniquement sur des métriques de performance (envoi de formulaires, chiffre d’affaires, etc) :

  • L’optimisation du temps de chargement doit améliorer le taux de conversion ou la fréquence des crawls des robots des moteurs de recherche.
  • L’ajout d’un bloc de maillage interne sur une catégorie de pages pourrait réduire le taux de rebond et booster la visibilité SEO des pages cibles de liens internes.
  • etc

La formalisation d’arbres de décision comme nous l’avons fait pour le taux de rebond  pourra être un support utile pour faciliter les analyses. 

Systématiser les analyses d’impacts via le PDCA

La documentation des temps forts est une première étape pour comprendre l’origine d’une évolution des performances. Néanmoins, une analyse réalisée à posteriori est toujours difficile car des éléments de contexte peuvent nous échapper.

Voilà pourquoi il serait important de réaliser des analyses d’impact à posteriori de chaque intervention sur un dispositif digital ou après chaque événement exogène majeur.

Par l’intermédiaire de la démarche du PDCA (appelée également roue de Deming), le Lean 6 Sigma offre un cadre méthodologique très intéressant.

Le PDCA (Plan – Do – Check – Act) vise à instaurer un cercle vertueux d’amélioration de la qualité via la mise en place de boucles rapides et itératives d’apprentissage.

Diagramme du PDCA

Nous constatons en effet très souvent que les processus s’arrêtent à la phase Do (= implémenter une solution).

Or, comme nous l’avons déjà dit, une action peut impacter négativement les performances. 

La phase “Check” dans les jours qui suivent le déploiement de l’action est donc essentielle pour s’assurer qu’elle n’ait à minima pas produit un impact négatif et si c’est le cas, enclencher au plus vite les actions correctives.

La formalisation des enseignements et leur partage en interne (la phase “Act”) permettront alors de constituer une bibliothèque de connaissances permettant d’éviter de nouvelles régressions similaires.

La systématisation des boucles PDCA est au cœur d’une démarche qualité permettant de créer les conditions d’une performance digitale constante

En conclusion

L’amélioration de la performance digitale est la combinaison de 2 facteurs :

  • Un dispositif existant qui génère une performance stable dans le temps.
  • Des nouvelles actions qui apportent des résultats incrémentaux.

Cet équilibre est précaire dans la mesure où la performance d’un dispositif existant peut être perturbée par des facteurs endogènes ou exogènes et des interventions censées améliorer la performance peuvent la dégrader.

La recette miracle n’existe pas. Les fluctuations de performance ne pourront pas toujours être expliquées. Néanmoins, un suivi régulier des performances, le recours à des outils “intelligents”, la documentation des événements et la systématisation des analyses d’impact via le PDCA pourront créer les conditions d’une performance durable.

Besoin d'aide, de conseils et de nouveautés ?

Ces articles peuvent vous intéresser

  • Data

Les principales alternatives à Google Analytics conformes au RGPD et validées par la CNIL

  • Data

Expressions régulières (ou RegEx) : définition, cas d'usages et exemples