La méthode frugale pour mettre en place des quality gates en production
L’expérience utilisateur conditionne les résultats des activités digitales. Une panne, une latence ou une exception non gérée qui perturbe le parcours utilisateur, c’est une opportunité perdue. Réussir l’expérience utilisateur est donc une priorité.
Sur cette page

Cette approche, connue sous le nom de shift-right, peut se mettre en œuvre de multiples façons. On peut choisir des solutions spécifiques d’observabilité, de test et d’alerting à déployer en production. Si cela fait une partie du travail, cela crée aussi un autre contexte, difficile à réconcilier pour l’équipe.
Dans cet article, nous proposons de nous appuyer sur vos actifs d’automatisation des tests pour construire des quality gates en production. Nous utiliserons Cerberus Testing pour montrer la valeur ajoutée d’une collaboration partagée et de bout en bout.
Dans un article précédent, nous avons expliqué comment faire du shift-right avec un framework de tests continus. Nous détaillons ici les étapes concrètes pour mettre en place vos quality gates en production :
- Clarifier vos actifs, vos hypothèses et vos objectifs
- Tester vos hypothèses clés de valeur et de croissance
- Planifier une campagne de tests automatisés en production
- Exploiter les données d’analyse pour améliorer l’expérience et la livraison
- Créer un contexte propice à l’amélioration continue de l’expérience
Commençons par clarifier les éléments clés de votre démarche.
Clarifier vos actifs, vos hypothèses et vos objectifs#
Il faut d’abord comprendre quels actifs digitaux sont concernés. Commencez par identifier le logiciel à tester. À partir de là, vous pouvez identifier les éléments associés : référentiel d’exigences, tests automatisés et mesures en production.
Ces éléments vous donnent une bonne image de l’expérience utilisateur à traiter. Vous devez connaître les différents personas concernés, leurs parcours clients et les appareils qu’ils utilisent le plus. L’objectif de vos quality gates est de garantir que ces différents contextes fonctionnent correctement en production.
Cela nous amène à nos hypothèses de valeur et de croissance, à la manière de la méthode Lean Startup (s’ouvre dans un nouvel onglet). Votre hypothèse de valeur représente la valeur que vous pouvez attendre de l’amélioration de l’expérience utilisateur identifiée. Votre hypothèse de croissance représente votre capacité à exécuter vos quality gates sur une variété de parcours et d’appareils, à une fréquence d’exécution élevée.
L’étape suivante consiste à valider ou invalider rapidement ces hypothèses, tout en vous engageant encore peu.
Tester vos hypothèses clés de valeur et de croissance#
Pas besoin de processus ni d’outils sophistiqués pour tester des hypothèses. Soyez pragmatique et cherchez les moyens les plus efficaces. Il suffit de poser les bonnes questions aux bonnes personnes et d’effectuer des tests minimaux sur votre outillage.
Votre analyse initiale vous a permis de conclure que les parcours utilisateurs identifiés méritent d’être mesurés et améliorés : c’est votre hypothèse clé de valeur. Préparez d’abord le terrain, puis impliquez les parties prenantes concernées.
Commencez par consulter le tableau de bord analytique de l’application, pour vérifier que ces parcours utilisateurs (s’ouvre dans un nouvel onglet) sont bien des chemins réellement empruntés par les clients, dans une proportion significative. Validez ensuite cette hypothèse auprès du product owner, du manager et des équipes plus proches des utilisateurs : « Est-ce important pour vous d’améliorer ces parcours utilisateurs, maintenant et dans les mois à venir ? »
Vous pouvez alors vérifier vos hypothèses de mise en œuvre. Vous devez exécuter vos tests sur une variété d’appareils, selon un planning régulier en production, et accéder au reporting. Vérifiez et posez les questions suivantes à votre équipe outillage : « Quels navigateurs et appareils mobiles sont disponibles ? Puis-je exécuter 50 à 100 tests toutes les 5 minutes ? Existe-t-il un système natif de reporting et de notification ? »
Si vous avez obtenu les bonnes réponses, vous pouvez continuer. Dans notre cas, avec Cerberus Testing, ces réponses sont positives : vous pouvez poursuivre.
Planifier une campagne de tests automatisés en production#
La définition d’une campagne de tests automatisés fait intervenir plusieurs éléments. D’abord, il faut configurer le périmètre des tests à exécuter. Ensuite, définir ses paramètres d’exécution, comme la fréquence et la traçabilité. On termine en configurant le ratio des quality gates et les notifications associées.
Le périmètre des tests à exécuter découle de votre analyse initiale. Vous pouvez configurer une liste fixe ou dynamique. Nous recommandons l’approche dynamique, qui offre plus de découplage et de scalabilité. Au lieu de configurer une liste fixe de tests, on configure les critères qui sélectionnent dynamiquement les tests correspondants.
L’étape suivante consiste à définir les paramètres d’exécution, à commencer par la fréquence. Comme vous mettez en place des quality gates en production sur l’expérience utilisateur, les tests doivent être assez fréquents. Même si vous ne faites pas de monitoring technique, les données collectées prendront de la valeur avec le temps.
Vous pouvez ensuite définir d’autres paramètres d’exécution, comme des captures d’écran systématiques en cas d’erreur, une traçabilité accrue du robot, voire la réexécution automatique. La réexécution est utile pour éviter les faux positifs, mais doit être utilisée à bon escient et pas par défaut. Sinon, vous finirez par masquer des problèmes et par perdre la mesure exacte des performances.
La dernière étape consiste à définir le ratio des quality gates et les notifications. Le ratio permet de définir le nombre de tests et leur priorité pour considérer la campagne comme OK ou KO. C’est utile lorsque votre suite de tests est plus volumineuse. Pour commencer, nous vous recommandons de le laisser tel quel. Enfin, configurez vos notifications Slack et e-mail pour être informé au plus vite du résultat de vos campagnes.
Vous êtes maintenant prêt à exploiter votre travail pour améliorer l’expérience utilisateur.
Exploiter les données d’analyse pour améliorer l’expérience et la livraison#
La valeur de l’analyse des résultats est d’apporter des enseignements inaccessibles autrement. Surtout, pour obtenir des résultats concrets, il faut prendre des décisions et agir sur la base de ces enseignements. Vous pouvez désormais tirer parti de vos quality gates en production.
Le tableau de bord analytique natif vous permet d’identifier des axes d’amélioration. Les performances sont-elles les mêmes sur tous les smartphones ? Un pays présente-t-il des performances anormales ? Y a-t-il un moment de la journée où certains parcours ne fonctionnent pas comme prévu ? Existe-t-il des parcours utilisateurs instables, et dans quelles conditions ? Vous pouvez aussi explorer le détail dans le pipeline CI/CD pour comparer certaines données.
Ces questions sont des indices à exploiter comme le ferait un détective. Vous devez analyser, échanger avec les personnes qui connaissent le sujet et poser d’autres questions. Vous pouvez vous appuyer sur la méthode des 5 pourquoi et d’autres frameworks de résolution de problèmes pour accélérer votre démarche. N’hésitez pas à impliquer des parties prenantes transverses sur certains sujets : certains problèmes ont par nature des causes multiples et demandent des expertises différentes pour être résolus.
Pas à pas, votre travail de capitalisation sur des actifs réutilisables peut véritablement alimenter l’amélioration continue.
Créer un contexte propice à l’amélioration continue de l’expérience#
Vos quality gates en production sont essentielles pour garder l’organisation concentrée sur l’expérience utilisateur. Nous avons vu les différents prismes nécessaires pour y parvenir : UX, gestion de produit, ingénierie et exploitation.
Favoriser l’amélioration continue est une nécessité lorsque l’expérience digitale est le moteur de la croissance. Dans le même temps, le besoin d’évolution permanente et la complexité des livraisons représentent un véritable défi.
Nous avons partagé une approche qui vous permet de capitaliser sur vos actifs existants, tout en limitant le coût de changement et la charge mentale de vos équipes. Résultat : une meilleure collaboration, avec un minimum de nouveaux processus ou outils.
Le temps file, agissez maintenant : accélérez dès aujourd’hui en essayant Cerberus Testing gratuitement.


