Automatiser vos tests de non-régression en 5 étapes

Antoine Craske5 min de lecture

Offrir une expérience utilisateur réussie est un vrai défi dans le contexte actuel. Les consommateurs du numérique attendent une interaction à la fois intuitive et fiable avec vos produits.

Sur cette page6
Automatiser vos tests de non-régression en 5 étapes

Vous devez en outre améliorer et faire évoluer votre offre en permanence pour rester en phase avec leurs attentes.

La capacité à apporter des changements rapides et robustes à votre plateforme numérique est donc essentielle. Quand vous adaptez une partie du système, la tester est assez simple. Mais comment vous assurer que vous n’avez rien cassé ailleurs ?

C’est là que les tests de non-régression (s’ouvre dans un nouvel onglet) apportent leur valeur, en retestant les parties de l’application qui n’ont pas changé. Ils s’appliquent à différentes techniques de test (tests fonctionnels, de sécurité, etc.) et à un périmètre donné (unitaire, complet ou partiel).

Dans cet article, nous détaillons, dans l’ordre, des étapes concrètes pour mettre en place des tests de non-régression robustes. Les fonctionnalités d’une plateforme e-commerce (recherche, connexion, achat) serviront d’exemple tout au long des sections suivantes, en appliquant les tests basés sur les processus métier (s’ouvre dans un nouvel onglet) (plutôt que d’autres techniques comme l’analyse des valeurs limites ou le partitionnement en classes d’équivalence).

Pour une vue d’ensemble, lisez aussi notre guide des tests de non-régression (TNR) et l’étude de cas AB Cube.

Situez les tests de non-régression dans votre stratégie produit#

La première étape consiste à prendre du recul sur le problème global que vous voulez résoudre pour votre organisation. Dans cette phase initiale, évitez de vous précipiter sur la mise en œuvre.

Si vous vous intéressez aux tests de non-régression, c’est probablement parce que des fonctionnalités clés ont été touchées par des mises en production récentes. C’est le moment de lister les fonctions clés que vous fournissez, en précisant leurs couches et leur niveau de changement.

À partir de ce périmètre, vous pouvez formuler la contribution de vos tests de non-régression à votre stratégie produit : « Garantir que mes fonctions clés fonctionnent partout et à tout moment ».

C’est aussi le moment de préciser à quoi les tests de non-régression ne servent pas. Ils ne peuvent pas corriger une architecture logicielle fragile. Ce ne sont pas des tests exploratoires, ni forcément des tests fonctionnels ou d’interface utilisateur.

Définissez un périmètre clair pour vos tests de non-régression#

Grâce au travail de l’étape précédente, vous disposez d’une liste exhaustive des tests de non-régression que vous aimeriez réaliser. Cette liste vous semblera sans doute énorme !

Pas de panique, une technique utile existe : la priorisation des tests (s’ouvre dans un nouvel onglet). Classez d’abord vos fonctions métier les plus critiques, en général en mettant en balance la valeur métier et la fréquence d’utilisation. Ordonnez-les ensuite selon leur fréquence de changement, en priorisant les parties qui changent le moins.

Vous pouvez alors appliquer ces règles pour prioriser des tests précis, filtrés par la matrice selon ce qui est pertinent dans votre contexte :

  • Les scénarios et cas de test complexes (souvent laissés de côté, manuels et sources d’erreurs)
  • Les cas de test qui échouent fréquemment (tests de non-régression existants mal conçus, jeu de données inadapté, etc.)
  • Les zones du système aux incidents récurrents (qui pénalisent déjà votre produit aujourd’hui)

Pour chaque test priorisé dans notre exemple, nous pouvons préciser le périmètre du test : front-end, API ou back-end. Nous pouvons ensuite définir les techniques de test les plus adaptées : tests d’interface utilisateur, de contrat, d’intégration ou fonctionnels.

Clarifiez votre reporting, vos mesures et vos KPI#

Là encore, résistez à la tentation de passer trop vite à la mise en œuvre. Il nous faut encore des objectifs et des mesures clairs pour réussir.

À partir de notre matrice de priorisation, nous pouvons calculer nos objectifs de couverture et les fixer à différents niveaux dans le temps. Commencez par définir votre vision et les premiers jalons, car vous devrez les ajuster en fonction de la mise en œuvre.

Le deuxième type de KPI à définir concerne la performance de vos tests de non-régression. Ils peuvent porter sur votre produit numérique ou sur les tests eux-mêmes. Dans notre exemple, les KPI du Site Reliability Engineering (SRE) (s’ouvre dans un nouvel onglet) sont bien adaptés pour mesurer la performance de votre plateforme.

Nous recommandons vivement de conserver ces trois catégories dans vos objectifs. Elles concernent en effet des profils différents (métier, Product Owner, développement, QA, exploitation) et favorisent une compréhension et une collaboration plus transverses.

Ajustez les valeurs selon votre contexte et vos enjeux. Dans la même logique, fixez un objectif ambitieux sur lequel itérer et progresser dans le temps.

Avancez par itérations, en appliquant le shift-left (s’ouvre dans un nouvel onglet) autant que possible#

Vous êtes maintenant prêt à démarrer la mise en œuvre sur de bonnes bases. Commençons par quelques bonnes pratiques d’organisation.

Pour l’implémentation des tests, nous vous recommandons de vous en tenir pour l’instant à des solutions connues, par exemple Selenium Webdriver (s’ouvre dans un nouvel onglet) pour les tests web. L’important est de commencer à implémenter des cas de test pour découvrir ce qui doit être traité de façon transverse.

Par exemple, en commençant à implémenter des tests front-end, vous découvrirez peut-être qu’il vous manque un identifiant fixe ou que votre framework masque des éléments par défaut. Ce sera alors le point le plus important à corriger avant d’enrichir votre suite de tests.

Une bonne pratique consiste à réaliser un premier test pour chaque typologie identifiée comme prioritaire. Vous bénéficierez ainsi d’un feedback rapide et d’une vision réaliste de ce qu’il reste à faire.

Une fois les différents cas d’usage démontrés, vous pouvez penser au passage à l’échelle de votre processus. C’est là que des sujets comme l’automatisation, le CI/CD et la conception des tests deviennent une vraie priorité.

Automatisez progressivement en gardant des tests maintenables#

Vos premiers tests de non-régression, nous vous recommandons de les automatiser directement. D’abord parce que les fonctions couvertes sont au cœur de votre produit et doivent être vérifiées à chaque mise en production. Ensuite parce que cela vous obligera à les rendre fiables pour en tirer de la valeur.

En réalité, le principal problème que vous rencontrerez en faisant grandir votre suite de tests de non-régression sera sa maintenabilité. C’est une exigence clé pour que vos tests gardent leur valeur dans le temps. Si vous négligez ce sujet, votre suite de tests posera plus de problèmes que les bugs que vous vouliez détecter au départ.

La conception des tests est une compétence, au même titre que l’architecture ou le développement logiciel. Sans elle, votre édifice finira par ressembler à la « tour de Pise ». Vos tests ont besoin d’éléments robustes, fiables et réutilisables, qu’on appelle couramment une bibliothèque de tests (s’ouvre dans un nouvel onglet) (Test Library) ou des modules.

Dans notre exemple e-commerce, la connexion est un cas classique pour tous les cas d’usage qui en ont besoin comme prérequis, que ce soit sur la couche front-end, back-end ou API. Le principe s’applique aussi aux parcours client en front-end : si un parcours précis change, vous ne mettez à jour le paramètre qu’à un seul endroit.

Les tests de non-régression, un processus continu de la conception à l’exploitation#

Avec un peu de recul sur la démarche présentée, les tests de non-régression demandent une approche structurée pour réussir.

Les premières étapes sont fondamentales pour formuler le problème à résoudre et les priorités qui en découlent. Les suivantes reposent sur une démarche itérative et incrémentale.

Dernière recommandation : faites aussi tourner vos tests de non-régression en production (s’ouvre dans un nouvel onglet) ! Vos fonctions clés ne doivent-elles pas, avant tout, être disponibles en production, dans un environnement d’exploitation complexe ? 😀

Partager