Test Reliability Engineering : fiabiliser vos tests automatisés dès la conception
Notre parcours d’automatisation des tests peut sembler un monde de problèmes sans fin. Il a fallu défendre l’initiative, implémenter les tests et les faire adopter par l’équipe ; il faut maintenant qu’ils restent fiables pour rester utiles.
Sur cette page

Le Test Reliability Engineering est la pratique qui consiste à mettre en place des tests automatisés qui gardent leur valeur dans le temps, pour éviter une énième campagne de test contournée parce que devenue trop lente. Les campagnes de test ont tendance à devenir « trop grosses pour réussir », d’où l’importance de bien les concevoir.
Cet article propose différentes techniques pour améliorer la fiabilité des tests, sans prétendre être exhaustif dans chaque catégorie. Nous verrons d’abord comment améliorer la fiabilité de nos tests avant même d’en implémenter un seul, puis les bonnes pratiques d’implémentation.
Automatiser les bons tests#
Il nous faut des objectifs clairs avant d’implémenter nos tests automatisés au service du métier. Dans le contexte des expériences numériques, on parle généralement de création de valeur pour nos utilisateurs, en répondant à des besoins non satisfaits.
Les techniques de découverte, le questionnement et la reformulation prennent ici toute leur place. Nous devons équilibrer notre approche entre données et intuition pour aller au fond des faits, des entretiens et des observations. Notre automatisation doit créer de la valeur.
Automatiser les bons tests est une question de valeur, pas de pyramide.#
Une approche consiste à décliner les attributs des cas d’usage clés : valeur, stabilité, fréquence de changement, complexité et faisabilité de l’automatisation. Leur combinaison dans une matrice peut nous donner une liste priorisée des scénarios à automatiser.
À partir de là, nous devons procéder à un tri supplémentaire, à la manière d’un affinage de backlog, en appliquant le principe de Pareto.
Appliquer le principe de Pareto#
Le principe de Pareto est bien connu pour son application transversale et sa formule « 80/20 ». L’assurance qualité et l’automatisation des tests ne font pas exception ; il peut même devenir un levier puissant pour améliorer la fiabilité de nos tests.
Notre suite de tests peut vite grossir et poser des problèmes de conception, d’exécution et de maintenance. La variété des environnements, des appareils et des pays concernés élargit le périmètre de nos tests ; on peut rapidement se retrouver avec une suite de tests pléthorique, trop lente pour apporter de la valeur.
Le principe de Pareto peut nous aider à prendre du recul sur les tests et le contexte réellement nécessaires. Les matrices permettent différentes analyses, comme les 20 % de tests les plus importants, les tests instables ou les plus lents.
Nous augmentons ainsi la fiabilité de nos tests en les limitant à l’essentiel et en améliorant nos performances. Pareto est un excellent moyen de se concentrer sur la valeur à atteindre tôt, de façon « juste suffisante ».
Des tests automatisés juste suffisants, au moindre effort#
Notre initiative d’automatisation des tests doit démarrer, mais aussi s’arrêter quelque part. Les matrices donnent envie de cocher toutes les cases pour avoir le sentiment de progresser et d’accomplir quelque chose ; nous devons changer de perspective grâce au principe du « juste suffisant ».
Notre automatisation est fondamentalement un processus émergent, une bonne raison de commencer petit et d’avancer par itérations avec le principe de Pareto. Une fois les « bons tests automatisés » identifiés, nous devons les implémenter en nous concentrant sur l’intégration de bout en bout et en mesurant la création de valeur effective.
Nos itérations doivent atteindre une valeur suffisante dans notre processus, généralement portée par la confiance nécessaire pour livrer des changements tout en préservant la qualité de l’expérience utilisateur. Nous devons évaluer la valeur supplémentaire apportée par des tests supplémentaires, car elle a tendance à décroître.
En complément, le principe du « juste suffisant » s’applique aux techniques de test à utiliser. On peut se référer à la pyramide des tests pour choisir la couche la plus basse qui répond à nos besoins de vérification ; les tests fonctionnels d’interface ne sont pas la seule réponse.
Une fois au clair sur nos tests automatisés essentiels, nous pouvons nous attacher à « bien les automatiser ».
Soigner la conception des tests#
L’investissement dans la conception est fondamental pour améliorer ensuite l’implémentation et la fiabilité. Construire un logiciel, une maison ou un immeuble commence par une bonne architecture ; il en va de même pour les tests automatisés.
La conception des tests est un art de l’équilibre entre utilisabilité, couplage, complexité et efficacité, entre autres. Comme pour une œuvre d’art, on n’atteint jamais d’état final avec un logiciel qui évolue, d’où la nécessité d’une conception des tests continue.
La conception et sa maintenance doivent être intégrées à chaque sprint pour en garantir l’exécution. La meilleure mise à l’épreuve de notre conception réside d’abord dans la fiabilité de son implémentation, puis dans sa compréhension, et se termine par l’efficacité de sa maintenance.
Une compétence de conception des tests ne s’acquiert pas du jour au lendemain ; les organisations doivent investir pour développer ces savoir-faire dans leurs équipes, quel que soit le profil qui implémente les tests automatisés. On peut s’appuyer sur des patterns courants, comme le page-object ou les tests modulaires, pour structurer notre travail.
Si la conception relève surtout de la structure, le fonctionnement interne de nos tests automatisés compte aussi.
Fiabiliser l’implémentation et l’exécution#
Le diable se cache dans les détails. Une implémentation médiocre des tests automatisés se manifeste par différents symptômes, dont leur manque de fiabilité. Nous pouvons agir à deux niveaux : l’implémentation et l’exécution.
L’implémentation des tests doit servir à la fois ceux qui les construisent et ceux qui les utilisent. L’utilisabilité, la lisibilité et la documentation sont donc essentielles. Concrètement, faire passer ces critères avant les optimisations purement techniques nous aidera sur le long terme. Vos tests doivent survivre au turnover d’une équipe, être rapides à déboguer, et donc faciles à comprendre.
Côté exécution, nous devons d’abord garder à l’esprit l’utilisateur, le client et la valeur. On peut tomber dans le piège de vouloir des tests tous au vert alors que l’objectif est de vérifier la création de valeur ; quelques signaux orange ou rouges peuvent être préférables.
La fiabilité de l’exécution des tests peut ensuite être traitée à plusieurs niveaux. Il faut éviter les attentes fixes et les remplacer par une attente conditionnelle (« wait until ») assortie d’un délai d’expiration (timeout). Ce délai doit avoir du sens pour l’utilisateur, et non être une simple valeur technique de 30 secondes par défaut. On peut aussi recourir à des relances (retries) sur certains cas d’usage pour éviter la fatigue des alertes, sans pour autant masquer les échecs : il faut traiter les causes profondes de l’instabilité.
Un autre détail d’implémentation est essentiel : nos localisateurs.
Construire ensemble une stratégie de localisateurs#
Les localisateurs sont souvent un casse-tête en automatisation des tests : ils accumulent pièges et anti-patterns, hérités d’exigences de testabilité oubliées dès le départ. Une stratégie de localisateurs fait la différence pour la fiabilité de nos tests.
Le cas typique : démarrer l’automatisation des tests tard dans le processus et découvrir que le framework logiciel ne donne même pas accès aux localisateurs, ou en génère de nouveaux à chaque exécution. On peut alors envisager de créer des localisateurs si la charge de travail le permet ; sinon, une stratégie de reconnaissance d’image servira de plan de secours.
Autre cas où la testabilité n’a pas été discutée : ne disposer que de localisateurs instables. Cela tient généralement au hasard du framework logiciel utilisé. Les équipes peuvent alors retenir le localisateur le plus stable, y combiner la reconnaissance d’image ou mettre en place une stratégie de localisateurs fixes.
Une stratégie de localisateurs fixes est l’une des solutions pour disposer d’identifiants stables au fil des évolutions de l’application. Elle peut se justifier pour des cas et des exigences particuliers, pas pour chaque cas de test. Elle a généralement du sens pour les tests de non-régression sur les systèmes cœurs, tandis que les tests exploratoires, les tests de comparaison et d’autres techniques restent utiles.
La stratégie de localisateurs est un exemple d’exigence de testabilité que l’équipe doit identifier en amont.
Le shift-left au service du Test Reliability Engineering#
Ces pratiques interviennent tout au long du cycle de développement logiciel. Comme pour les bugs, plus elles sont identifiées tôt, mieux elles sont intégrées à l’implémentation. Le shift-left est donc essentiel pour améliorer la fiabilité de nos tests automatisés.
Notre objectif est d’équilibrer valeur, qualité et vitesse dans notre effort d’implémentation des tests automatisés. La fiabilité des tests est aussi importante que celle de nos expériences. On peut sans doute parler de « Test Reliability Engineering ».
Nous espérons qu’une forme d’IA nous aidera dans ce parcours ; ce sera un processus long, incrémental et itératif. Nous travaillons sur une fonctionnalité d’auto-réparation (self-healing) pour améliorer la stratégie de localisateurs des applications qui évoluent.
Ce prochain incrément de Cerberus Testing est à suivre !


