Comment faire du shift-right avec un framework de tests continus
Le shift-right permet à une organisation de se concentrer sur l’expérience réelle des utilisateurs en production. C’est une véritable pratique de la qualité, qui oriente l’équipe vers un objectif commun : apporter de la valeur à nos utilisateurs.
Sur cette page

Mais le shift-right est complexe. Il faut combiner diverses pratiques issues du monde des opérations sans tomber dans des solutions trop techniques, difficiles à maintenir et coûteuses. Une autre approche que « construisons quelque chose de nouveau » est possible.
Une démarche de tests continus nous amène à mettre en place des étapes qualité systématiques tout au long du cycle de livraison logicielle. Nous sommes généralement partis de la gauche, dès les exigences, pour sécuriser l’ensemble de la chaîne CI/CD avec des quality gates.
Cerberus Testing est un framework open source d’automatisation des tests qui vise à porter un effort qualité collaboratif et à grande échelle dans les organisations. Dans cet article, nous vous expliquons comment mettre en œuvre le shift-right avec un maximum de valeur et un minimum d’effort :
- Définir les objectifs du shift-right du point de vue de l’utilisateur
- S’appuyer sur les tests fonctionnels et de non-régression existants
- Exploiter le reporting en mode push et pull pour une collaboration transverse
- Mesurer la performance et la fiabilité de l’expérience utilisateur
- Boucler la boucle de feedback en améliorant le flux de travail initial
Apporter de la valeur par la qualité exige aussi de suivre des processus systématiques et structurés. Commençons par clarifier ce que nous voulons obtenir.
Définir les objectifs du shift-right du point de vue de l’utilisateur#
Le shift-right vise surtout, on le sait, à améliorer l’expérience réelle des utilisateurs en production. Il recouvre un ensemble de pratiques, existantes ou nouvelles, comme le monitoring, l’observabilité ou le SRE (Site Reliability Engineering), entre autres. Il peut être difficile de savoir par où commencer du point de vue des tests continus.
Nous prendrons l’exemple d’une application web et API déployée dans deux pays, avec des environnements de production et hors production. Notre premier objectif est de définir ce que nous pouvons faire pour mieux mesurer la qualité en production. Le meilleur moyen est d’adopter le point de vue de l’utilisateur, en réfléchissant à ce qui compte pour lui quand il utilise notre produit.
Notre site permet d’acheter des produits précis que nos utilisateurs peuvent rechercher. Notre approche shift-right se concentrera donc sur les cas d’usage clés nécessaires pour atteindre ce but : consulter le produit, l’ajouter au panier et payer. Nous devons aussi prendre en compte les cas non fonctionnels nécessaires, comme l’accès à la page d’accueil, la connexion et l’acceptation du consentement.
À partir de cette liste de cas d’usage, nous pouvons ensuite détailler les dimensions de la qualité (s’ouvre dans un nouvel onglet) à vérifier. Dans notre cas, la disponibilité, le comportement fonctionnel et le temps de réponse sont les critères clés pour que nos utilisateurs restent connectés. Nous pouvons alors regarder ce qui est réutilisable dans nos travaux de tests continus précédents.
S’appuyer sur les tests fonctionnels et de non-régression existants#
Nous avions créé une série de tests automatisés pour nos quality gates CI/CD. Leur but était de garantir que les cas d’usage sélectionnés restent fonctionnels à chaque modification du logiciel. Une campagne de non-régression est généralement plus large qu’une campagne de production et n’a pas besoin d’être exécutée régulièrement : il faut choisir les tests les plus utiles.
Pour atteindre rapidement notre objectif, nous pouvons compter sur une fonctionnalité et une pratique très utiles : l’étiquetage des tests. Chaque test porte une étiquette qui indique le domaine de l’expérience utilisateur couvert par le cas de test. Les métadonnées supplémentaires de pays et d’environnement nous permettent de confirmer que le périmètre d’exécution répond à nos besoins ; dans notre cas, une exécution sur l’application web, en environnement de production et dans les deux pays.
Notre sélection peut ensuite être ajoutée à une campagne Cerberus Testing dédiée aux besoins du shift-right. Au lieu d’être déclenchée dans le pipeline CI/CD, elle sera planifiée pour s’exécuter périodiquement en production, sur les appareils et navigateurs les plus utilisés. Nous pouvons ainsi vérifier systématiquement si l’expérience utilisateur répond aux exigences de qualité.
Ce travail nous permet de commencer à collecter des données, qui prennent toute leur valeur lorsqu’elles servent à améliorer l’expérience utilisateur.
Exploiter le reporting en mode push et pull pour une collaboration transverse#
L’intérêt d’un framework d’automatisation des tests est de disposer de fonctionnalités natives qu’il faudrait sinon développer. La traçabilité et le reporting des tests sont indispensables à l’automatisation des tests comme au shift-right, mais nous n’avons aucun intérêt à les développer nous-mêmes. Dans notre cas, commençons à les utiliser directement.
Cerberus Testing fournit nativement la traçabilité, le reporting et l’analytique de tous les tests exécutés sur la plateforme. Le reporting est consultable en mode pull via l’interface web, facile d’accès même pour des utilisateurs non techniques. Nous pouvons en outre pousser des notifications, par exemple sur Slack ou par e-mail, lors de l’exécution des campagnes. Bientôt, nous permettrons aussi de partager les données de reporting avec des solutions de gestion des tests comme Xray (s’ouvre dans un nouvel onglet).
La valeur ajoutée du reporting pour notre démarche shift-right réside dans la mesure et la prise de décision qui en découle. Un premier bénéfice est de donner des objectifs communs à différents acteurs comme le Product Owner, l’ingénieur qualité, l’ingénierie logicielle ou un SRE. L’étape suivante consiste à travailler ensemble pour mettre en œuvre les améliorations les plus utiles, en s’appuyant sur nos données.
Dans notre cas, nous pouvons commencer par agir sur les différents critères opérationnels de l’expérience.
Mesurer la performance et la fiabilité de l’expérience utilisateur#
Les cas d’usage retenus pour le shift-right sont orientés vers l’expérience utilisateur. En plus de vérifier le comportement fonctionnel, nous avons ajouté des contrôles d’exigences non fonctionnelles spécifiques, utiles pour vérifier que les besoins des utilisateurs sont satisfaits. Le reporting existant nous permet ensuite d’examiner les aspects de fiabilité.
Cerberus Testing permet de vérifier des exigences non fonctionnelles comme le temps de réponse, le contenu des logs du navigateur ou les appels effectués vers des API tierces. Concrètement, nous avons ajouté des contrôles pour garantir que chaque page se charge en moins de 2 secondes et que l’appel à l’API du partenaire de consentement réussit lorsque l’utilisateur l’accepte sur la page d’accueil. Toute dégradation d’une expérience donnée est alors signalée par les notifications du reporting.
Nous pouvons par exemple détecter un problème de temps de réponse limité à un seul pays, sur un navigateur donné. C’est toute la force des tests continus appliqués au shift-right : localiser rapidement le problème. Grâce aux rapports disponibles, nous pouvons vérifier des indicateurs de fiabilité comme le taux d’instabilité (« flakiness ») de nos campagnes, la stabilité des exécutions et la couverture réelle de la planification.
La puissance du shift-right se révèle quand on agit à partir des attributs de qualité.
Boucler la boucle de feedback en améliorant le flux de travail initial#
Nous avons vu comment réutiliser les acquis des tests continus (s’ouvre dans un nouvel onglet) dans une approche shift-right, en nous appuyant sur le framework d’automatisation des tests Cerberus Testing pour accélérer la mise en œuvre. La définition des objectifs et leur mesure en sont les deux piliers.
Les données sont au cœur de tout. Elles permettent des échanges bien plus factuels entre les différentes parties prenantes. Elles aident toute l’équipe à se concentrer sur des indicateurs standardisés, centrés sur l’expérience utilisateur.
Le Graal des tests continus est de combiner les pratiques les plus utiles pour améliorer sans cesse l’expérience utilisateur. Le shift-right n’est qu’une pièce du puzzle, à maîtriser en complément d’autres pratiques pour obtenir des résultats financiers concrets.
Vous pouvez accéder gratuitement aux tests continus dans le cloud : commencez maintenant.


