Tests continus : ce qu’il faut vraiment savoir

Antoine Craske9 min de lecture

Vos utilisateurs attendent une expérience client à la hauteur des standards élevés fixés par les leaders du marché. Offrir une expérience utilisateur de haut niveau exige une amélioration continue, d’où le besoin de livrer les logiciels plus vite.

Sur cette page7
Tests continus : ce qu’il faut vraiment savoir

Mais sans contrepoids, l’accélération a un effet secondaire : la dégradation de la qualité.

Le paradigme Quality at Speed résume bien ce que nous cherchons à atteindre : livrer vite des évolutions logicielles qui respectent les exigences de qualité. Les méthodes de test traditionnelles manquent de cet ingrédient essentiel qu’est la vitesse, d’où le besoin de tests continus (continuous testing) dans un environnement de livraison continue.

Le monde du test a évolué de multiples façons : shift-left, shift-right, tests en production, entre autres. Mais qu’est-ce qui change avec les tests continus ? Que cherchons-nous à atteindre ? Quels en sont les impacts, au bout du compte ?

Dans cet article, nous passons en revue les vrais changements qu’apportent les tests continus :

  • Les tests continus exigent un alignement de toute l’entreprise
  • Le Graal du shift-left et du shift-right continus
  • SDLC et STLC fusionnent en boucles de feedback unifiées
  • Un feedback continu pour toutes les parties prenantes, pas seulement le test ou l’IT
  • Viser l’utilité globale plutôt que l’optimisation locale d’un silo
  • La technologie doit être en libre-service, intégrée et intelligente

Pour mieux comprendre ce qui motive les tests continus, vous pouvez consulter les 5 raisons business d’adopter les tests continus.

Les tests continus exigent un alignement de toute l’entreprise#

Les tests continus sont la conséquence naturelle de pratiques qualité qui sortent de leur silo d’origine, celui des équipes de test et de QA. Des tests continus utiles ne naîtront que de la valeur apportée aux parties prenantes, d’où la nécessité, avant toute chose, d’un alignement transverse.

Pour aligner les priorités des tests continus, il faut d’abord mener un exercice de Shift-Up & Spread (s’ouvre dans un nouvel onglet). Cette pratique, partagée par Iman Benlekehal, illustre le besoin d’un alignement transverse entre parties prenantes sur les attentes, le sens et les attributs de la qualité. Une fois cet exercice réalisé, nous pouvons nous concentrer sur le Graal des tests continus : apporter la pratique de test la plus utile sur toute la chaîne de valeur logicielle.

Les pratiques fondamentales restent essentielles : exécuter des tests dans des environnements hors production, mettre en place des tests automatisés, maîtriser la qualité du code. La différence clé avec les tests continus, c’est de les appliquer systématiquement, au service de boucles de feedback rapides. Prenons l’exemple des tests automatisés : on ne va pas développer une suite de tests complète pendant des semaines. Il faut plutôt caler notre flux de travail, en juste-à-temps, sur les petites évolutions logicielles en cours. Nous pouvons ainsi donner rapidement un feedback sur les développements réalisés et corriger aussitôt si nécessaire.

Si les pratiques fondamentales sont essentielles, nous devons agir de manière transverse, en intervenant aussi bien en amont (shift-left) qu’en aval (shift-right) du cycle de vie logiciel.

Le Graal du shift-left et du shift-right continus#

Les pratiques fondamentales gardent toute leur valeur, mais c’est leur passage à l’échelle qui fait la différence. L’extension de la qualité à tout le cycle de vie logiciel se traduit par le shift-left (agir en amont, sur les exigences par exemple) et le shift-right (plus proche de l’expérience utilisateur réelle en production).

Côté shift-left, les tests continus exigent aussi de tirer parti de l’automatisation tout en travaillant par incréments plus courts. Exemple concret : vérifier tôt les cas d’usage et les exigences, en évaluant leur pertinence, leurs attributs qualité et leur description. Nous pouvons nous appuyer sur des pratiques BDD ou ATDD, avec des vérifications automatisées pour un premier niveau de contrôle, complétées ensuite par une revue humaine. Avec le temps, nous pouvons construire une meilleure bibliothèque de composants réutilisables, pour des boucles de tests continus plus rapides.

On passe dans le contexte du shift-right lorsqu’on se concentre sur l’expérience utilisateur, l’exploitation et le support du logiciel. Les pratiques SRE fondées sur le monitoring sont un exemple simple de tests continus : nous vérifions toutes les 5 minutes des parcours utilisateurs. Ce qui change avec les tests continus, c’est d’appliquer ce principe de boucles de feedback plus fréquentes à un large éventail de pratiques. Par exemple, un test de charge réalisé tous les 6 mois avant une grosse période de ventes est utile, mais reste risqué. Que se passe-t-il si des problèmes structurels, introduits il y a 4 mois, sont désormais trop difficiles à corriger ? C’est là que le test de charge continu peut nous aider à détecter plus tôt ce type de problème.

Les tests continus exigent donc de profonds changements du cycle de vie existant, à savoir celui de la livraison logicielle et celui du test logiciel.

SDLC et STLC fusionnent en boucles de feedback unifiées#

Le cycle de vie de livraison logicielle (SDLC) et le cycle de vie du test logiciel (STLC) étaient traditionnellement deux processus distincts. Le premier portait sur la spécification, le développement et le déploiement du logiciel ; le second, sur les tests. Les tests continus font évoluer ce paradigme vers des boucles de feedback unifiées.

Atteindre la Quality at Speed exige de livrer à la fois vite et bien. Les boucles de feedback unifiées, qui intègrent des étapes de développement et de test, permettent de répondre aux exigences de qualité tout au long de la chaîne. La CI/CD avec quality gates en est un exemple concret et utile : les pipelines CI/CD, issus du monde du développement, sont enrichis d’étapes de tests automatisés à leurs différents stades. On peut par exemple bloquer le pipeline dans un environnement de test lorsque des évolutions logicielles ne respectent pas les exigences de qualité attendues.

Un vrai changement apporté par les tests continus est l’intégration d’étapes qualité systématiques dans le processus de développement logiciel. Nos exercices précédents, qui visaient à identifier les pratiques de shift-left ou de shift-right les plus utiles, prennent ici tout leur sens. Nous pouvons prioriser les incréments de tests continus les plus utiles sur les étapes logicielles identifiées. Nous pouvons par exemple ajouter des contrôles de sécurité au moment du build ou à l’exécution des applications.

En mettant en place les tests continus, les acteurs collaborent plus étroitement autour d’une mission commune qu’ils doivent mesurer.

Un feedback continu pour toutes les parties prenantes, pas seulement le test ou l’IT#

Les approches de test traditionnelles tendent à optimiser le silo de la QA, avec des métriques propres au code ou aux tests. Si la couverture de tests peut être un indicateur d’appoint utile, elle ne mesure pas la création de valeur dans une perspective plus large. Les tests continus font la différence en apportant un feedback continu aux différentes parties prenantes.

Le feedback est la condition d’une adaptation plus rapide et plus efficace. Le feedback continu que permettent les tests continus est donc essentiel pour réduire le risque de gaspiller des efforts dans des activités sans valeur. Un point clé : mesurer la bonne métrique, dans le bon but. Les métriques de vanité, comme le nombre de tests, sont à oublier. Il faut là encore revenir au processus de Shift-up, où l’on identifie l’impact attendu par nos parties prenantes.

La mesure continue soulève une autre question : celle de la fréquence. Comme pour la tension artérielle ou une perte de poids, inutile de vérifier vos indicateurs chaque minute ou chaque jour. Dans les tests continus, tout dépend de la métrique concernée. Pour le SRE sur les parcours utilisateurs, on peut mesurer les indicateurs de service à la seconde, tout en utilisant des graphiques de séries temporelles pour l’analyse.

Cette vision partagée et globale qu’apportent les tests continus crée l’habitude de mesurer l’impact plutôt que de rechercher des optimisations locales.

Viser l’utilité globale plutôt que l’optimisation locale d’un silo#

Quand on démarre les tests continus, la première question est : « Par où commencer ? » On n’est plus limité à un environnement de test pour optimiser des tests automatisés. Les tests continus aident donc les acteurs à avoir une vision d’ensemble et à contribuer à un impact réel pour le client et pour l’organisation.

Cet impact global pose un autre défi aux acteurs de la QA et du test. Ils doivent s’ouvrir à un spectre d’interactions plus large pour apporter des éléments de qualité utiles, et travailler avec le product management, l’ingénierie, l’infrastructure et la plateforme. La liste des buzzwords qui illustrent cette transformation vers les tests continus est sans fin : DevTestOps, BusOps, etc. En partageant de manière transverse, chacun alignera davantage ses priorités sur les objectifs globaux du système.

Dès qu’un acteur QA sort de sa zone de confort, il doit relever le défi de mettre en œuvre des pratiques plus larges. Ce défi vaut pour tous les acteurs des tests continus : à mesure que l’équipe travaille de façon transverse pour accroître l’impact de ses activités, ses pratiques gagnent elles aussi en transversalité. Exemple concret : passer du SRE au Customer Reliability Engineering (CRE). On ne s’intéresse plus seulement aux métriques du site ou du service ; on remonte en amont, du point de vue de l’utilisateur.

Les tests continus posent un dernier défi pour aider les acteurs à atteindre cette transversalité : celui de la technologie.

La technologie doit être en libre-service, intégrée et intelligente#

Les boucles de feedback unifiées qu’apportent les tests continus exigent vitesse et capacité d’adaptation. Sur le plan technologique, on peut commencer par s’appuyer sur le libre-service et l’automatisation pour accélérer les temps de cycle. Ensuite, ce paradigme unifié impose de composer les différentes technologies du développement et du test pour qu’elles fonctionnent en harmonie. Enfin, des systèmes plus intelligents sont notre espoir pour l’outillage de demain.

Le libre-service passe par des processus automatisés matures. Nous avions l’habitude de travailler avec des processus papier, qui ont ensuite évolué vers des systèmes d’information. Aujourd’hui, un large éventail de services standard est disponible en libre-service : on peut par exemple effectuer de nombreuses démarches administratives depuis un portail. Les tests continus doivent franchir les mêmes étapes de maturité. Par exemple, déployer des quality gates à grande échelle exige une bibliothèque robuste de modèles et de connecteurs, pour que l’équipe d’ingénierie puisse les déployer en autonomie.

L’interdépendance entre les technologies de test et celles de la chaîne de livraison logicielle crée une exigence de composition. Nous devons pouvoir intégrer rapidement une nouvelle activité de test dans un processus existant, en quelques minutes. Dans le même temps, il nous faut une grande flexibilité pour adapter nos processus : certains outils deviennent obsolètes, d’autres processus évoluent, etc. La capacité d’intégration des outils de test est donc structurante. Un écosystème en évolution ne peut pas fonctionner en vase clos, verrouillé par un fournisseur (lock-in), sans que le système devienne obsolète à moyen terme.

Dernier impact des tests continus sur la technologie : faire plus avec moins d’efforts. Il faut maximiser la valeur et la fréquence des boucles de feedback. Du point de vue du système, l’humain est le facteur limitant. On peut automatiser les tests, le déploiement et l’observabilité en production, mais les décisions les plus complexes restent entre les mains des acteurs. C’est là que la data science peut nous aider, en automatisant à grande échelle des matrices de décision complexes. Nous visons une automatisation maximale des étapes pour des boucles plus rapides.

En réalité, les tests continus alimentent des boucles d’apprentissage continu au service de la proposition de valeur client.

Les tests continus apportent des boucles de feedback client continues#

Le mot « test » peut induire en erreur sur ce qu’exigent les tests continus. Il ne s’agit pas d’impacts venant du test ou destinés au test. Notre objectif est d’accélérer le rythme des adaptations utiles de l’expérience utilisateur et de la proposition de valeur.

Nous avons abordé les implications des tests continus dans une perspective plus large : processus, interactions. Au bout du compte, nous aidons les acteurs à s’appuyer sur des processus et des outils modernes pour atteindre ce haut niveau d’exigence.

Les tests continus apportent donc des boucles de feedback client continues pour améliorer sans cesse la valeur livrée aux utilisateurs. Il n’y a pas de ligne d’arrivée, seulement un chemin d’amélioration continue pour atteindre ce haut niveau d’exigence et s’y maintenir.

Pour la mise en œuvre, vous pouvez consulter cet article (en anglais) : This Is How To Make Continuous Testing (s’ouvre dans un nouvel onglet).

Vous cherchez un framework de tests continus ? Utilisez Cerberus Testing gratuitement.

Partager

Techniques de test

Quand utiliser le self-healing dans l’automatisation des tests

L’auto-réparation (« self-healing ») est devenue une exigence croissante en automatisation des tests pour les équipes qui cherchent à accélérer la livraison de logiciels à forte valeur ajoutée.

Antoine Craske3 min de lecture3 min