Mettre en place des tests continus en cinq étapes

Antoine Craske7 min de lecture

Les tests continus sont le moyen d’obtenir un feedback continu sur notre processus de livraison logicielle. Ils visent à évaluer régulièrement, et le plus tôt possible, la qualité de ce que nous construisons par rapport à nos attentes.

Sur cette page6
Mettre en place des tests continus en cinq étapes

Les tests continus (Continuous Testing) sont le moyen d’obtenir un feedback continu sur notre processus de livraison logicielle. Ils visent à évaluer régulièrement, et le plus tôt possible, la qualité de ce que nous construisons par rapport à nos attentes. C’est là que l’automatisation des tests prend tout son sens.

Bien menés, les tests continus accélèrent la livraison et améliorent l’ensemble des attributs qualité du logiciel livré. Les équipes corrigent plus facilement un problème détecté tôt.

Les tests continus s’étendent de l’expression des besoins jusqu’à l’exploitation du logiciel, là où se joue l’expérience de nos utilisateurs. Notre automatisation des tests doit donc pouvoir être déployée rapidement et exploitée par les acteurs du logiciel à chaque étape.

Ces acteurs nous amènent à une autre valeur ajoutée des tests continus : la transparence et une meilleure collaboration. Les acteurs doivent partager, aligner et co-construire les processus de test pour obtenir un feedback de bout en bout, précoce et utile, en évitant les optimisations en silo.

Dans cet article, nous expliquons comment mettre en place des tests continus avec Cerberus Testing, le framework d’automatisation des tests 100 % open source. Nous couvrons les étapes suivantes des tests continus :

  • Planification
  • Ingénierie
  • Déploiement
  • Exploitation (tests en production)
  • Mesure

Commençons par le commencement : la planification.

Commencer par la planification des tests continus#

Tout part d’une application. L’occasion d’apporter de la valeur à des utilisateurs donnés se traduit par le besoin de construire une application logicielle. Dès lors, il faut définir le quoi et le comment des tests automatisés.

Un référentiel d’applications est la première brique d’un framework de tests continus. Vous devez connaître l’ensemble des applications existantes, leur état, leur nombre de bugs, leurs environnements, etc. Le rôle d’un référentiel d’applications est donc de tenir à jour la vue d’ensemble, pour maîtriser le patrimoine informatique lors des étapes suivantes des tests continus.

Le deuxième élément est le référentiel de tests, qui contient tous les cas de test par application. Il doit préciser la typologie des tests, leur statut d’exécution et leurs étapes détaillées. Vous accédez ainsi aux tests déjà définis, très utiles pour comprendre la structure de l’application. Vous pouvez en outre réutiliser une partie des tests existants lors du remplacement d’une application.

Le dernier élément de la planification des tests continus consiste à définir comment les tests seront réalisés. Un framework qui offre des intégrations natives et automatise les différentes typologies de tests vous fait gagner du temps. Mieux vaut avoir une vision d’ensemble centralisée : le travail peut ensuite être décentralisé plus facilement.

Une fois que nous savons quel est le bon test à mettre en place, nous pouvons passer à sa bonne mise en œuvre.

Une mise en œuvre rapide grâce à l’ingénierie des tests continus#

L’ingénierie des tests reprend la structure du DevOps logiciel en l’appliquant aux tests. En ingénierie des tests continus, il faut mettre en place des boucles de feedback rapides : concevoir les tests planifiés, les implémenter, puis les déployer en production.

La conception des tests exige de transformer rapidement les exigences métier en une automatisation des tests efficace. Composer des modules mêlant éléments métier et techniques est donc essentiel pour éviter de passer sans cesse d’un monde à l’autre et de perdre un temps précieux.

Les approches ATDD (Acceptance Test Driven Development) et BDD (Behavior Driven Development) sont très utiles à cet égard. Combinées à un framework de test piloté par mots-clés (keyword-driven), elles comblent complètement le fossé, sans correspondance ni traduction spécifique à maintenir.

Si vous ajoutez la capacité de composer des tests à partir de modules réutilisables, vous pouvez rapidement créer de nouveaux tests et adapter les tests existants aux nouvelles exigences. Cette capacité du framework, c’est le test modulaire. C’est là que vous pouvez aller 10 fois plus vite, en implémentation comme en maintenance. Pour compléter la boucle de feedback, il faut vérifier l’implémentation par une exécution rapide.

Un framework d’automatisation des tests doit permettre une exécution rapide des tests. Un trafic réseau optimisé, l’exécution parallèle et une intégration souple avec des fermes locales ou distantes font donc la différence. Cerberus Testing répond à toutes ces exigences pour une exécution efficace des tests. Avec les fonctionnalités « Rerun » (s’ouvre dans un nouvel onglet), vous pouvez littéralement exécuter des boucles de test de quelques secondes.

En vous appuyant sur un framework, vous vous concentrez sur ce qui a le plus de valeur : déployer des tests utiles.

Un feedback de bout en bout grâce au déploiement des tests continus#

Le déploiement des tests automatisés place la barre haut en matière de tests continus. On ne se limite pas à un lancement manuel dans l’environnement de test : il faut garantir l’exécution automatique des suites de tests à chaque étape du processus de déploiement.

La première étape consiste à composer les différentes suites de tests avec facilité, rapidité et souplesse. Dans Cerberus Testing, vous y parvenez en créant des campagnes de test à l’aide de différents filtres : par cas de test, application, système, environnement ou tag. Vous les composez facilement depuis l’interface utilisateur. Vous pouvez en outre définir les paramètres de planification, les notifications et les scores des quality gates.

Vous pouvez ensuite traiter le déploiement de vos suites de tests. L’objectif est d’exécuter les campagnes de test le plus tôt possible aux étapes identifiées. Dans un environnement CI/CD classique, on veut exécuter les tests de non-régression rapidement après chaque déploiement de l’application, quel que soit l’environnement. Avec Cerberus Testing, vous vous appuyez pour cela sur les connecteurs natifs avec Jenkins et Azure DevOps, entre autres.

La valeur ajoutée d’un framework de tests continus est de vous fournir nativement l’ensemble des intégrations nécessaires. Le référentiel d’applications recense toutes les applications, les environnements et les informations de connexion. Vous disposez ensuite de toutes les définitions de tests, associées aux applications, aux tags et aux fonctionnalités. Les suites de tests réunissent enfin ces deux mondes, en définissant quels tests exécuter dans quel contexte d’application et d’environnement.

Vos boucles de tests continus se poursuivent lorsque vos utilisateurs commencent à se servir de l’application.

Un feedback utilisateur continu grâce aux tests continus en production#

En production, les tests continus peuvent poursuivre différents objectifs et reposent donc sur différentes mises en œuvre. Le test le plus évident est celui de l’expérience utilisateur, suivi des pratiques visant à améliorer la fiabilité et la performance.

Le monitoring de l’expérience utilisateur est couramment appelé monitoring des parcours clients (Customer Journey Monitoring). Il permet à l’équipe de garder le point de vue de l’utilisateur dans ses différents efforts de mesure. Google a largement diffusé le concept de SRE, qui vise à mesurer des indicateurs de niveau de service fondés sur les services clés pour l’utilisateur. Cerberus Testing vous permet nativement de planifier des campagnes de monitoring qui réutilisent vos tests de non-régression et des tags spécifiques.

Le second objectif, améliorer la fiabilité et la performance, relève de pratiques spécifiques généralement regroupées sous le nom de « test en production ». On y trouve le chaos engineering, les déploiements progressifs et la performance web. Ces pratiques sont plus techniques, même si, au bout du compte, elles améliorent l’expérience utilisateur. Cerberus Testing vous permet de mettre en place différents tests non fonctionnels, à intégrer aux différents outils disponibles. Vous pouvez par exemple prévoir une campagne post-déploiement spécifique, à lancer dès que 1 % de l’infrastructure dispose de la nouvelle version.

Si la boucle des tests continus est désormais complète, de la conception à la production, il reste à améliorer la vision d’ensemble. C’est là qu’intervient le reporting.

L’amélioration continue grâce à la mesure des tests continus#

Tout notre effort de tests continus vise à créer de la valeur pour les acteurs et les utilisateurs. Il faut avoir un impact au bout du compte ; sinon, nous sommes simplement occupés, sans nous concentrer sur les bonnes priorités. C’est là qu’une mesure globale, sur toute la chaîne, évite les optimisations locales et les écueils.

Notre première question en tests continus est de connaître l’existant (« as is »). C’est là que les fonctionnalités de reporting sont utiles. Il nous faut savoir combien d’applications nous avons, combien de tests et dans quels états, et quels sont les résultats de nos campagnes, y compris leur durée d’exécution et leur taux de stabilité. Cerberus Testing vous fournit nativement le reporting du référentiel de tests et des exécutions. Toutes les métadonnées des tests aident ensuite beaucoup à approfondir l’analyse (drill-down) et à gagner en visibilité.

Notre second type de questions porte sur l’amélioration de ce que nous faisons et de ses impacts. Dans le domaine de la donnée, on distingue le reporting de l’analytique, cette dernière étant davantage tournée vers les enseignements et la prise de décision. En automatisation des tests, l’analytique doit offrir une vue dans le temps de vos différents actifs de test. Dans Cerberus Testing, des tableaux de bord natifs vous aident à répondre à des questions comme « L’expérience est-elle stable sur tous les appareils et dans tous les pays ? », « Quel est le taux de tests instables (flakiness) de nos campagnes dans le temps ? » ou « Quelles fonctionnalités et quels cas d’usage sont les plus instables à chaque release ? ».

Le reporting et l’analytique répondent à ce besoin de mesure continue pour piloter les améliorations.

Les tests continus reposent sur des boucles de feedback continues#

Voilà ce que sont les tests continus : des boucles de feedback rapides et continues pour améliorer au plus tôt l’expérience de nos utilisateurs. Cette attention portée aux utilisateurs est essentielle pour s’aligner sur les tests les plus utiles ; sinon, nous risquons de gaspiller nos efforts dans des activités superflues.

Les tests continus doivent être disponibles partout et à tout moment dans la chaîne de valeur de la livraison logicielle. Un framework d’automatisation des tests doté de capacités natives d’intégration, de composition et de passage à l’échelle est indispensable.

Cerberus Testing offre ces capacités d’intégration tout en prenant en charge une grande variété de techniques et de typologies de test. Vous pouvez mettre en place des tests mobiles dans votre pipeline CI/CD, tout en ayant une campagne de monitoring en production pour vos expériences web et applicatives.

Pas le temps de coder un framework : nos utilisateurs n’ont pas le temps d’attendre les améliorations. Arrêtez de coder et commencez à tester avec Cerberus Testing, gratuitement.

Partager

Techniques de test

Quand utiliser le self-healing dans l’automatisation des tests

L’auto-réparation (« self-healing ») est devenue une exigence croissante en automatisation des tests pour les équipes qui cherchent à accélérer la livraison de logiciels à forte valeur ajoutée.

Antoine Craske3 min de lecture3 min