Les éléments clés d’un framework d’automatisation des tests
L’automatisation des tests est souvent vue comme une activité technique, menée une fois le développement logiciel terminé. Pour apporter de la valeur, elle doit permettre aux différents acteurs de résoudre leurs problèmes : c’est là qu’un framework devient utile.
Sur cette page

Un framework a pour but de structurer la façon dont certaines activités sont menées. Il vise à la fois à accélérer la mise en œuvre et à contenir la complexité dans la durée. Un framework d’automatisation des tests doit offrir ces capacités pour produire des tests automatisés.
Cet article présente les éléments clés d’un framework d’automatisation des tests, Cerberus Testing. Il s’appuie sur l’expérience acquise en construisant ce framework depuis 2010, en itérant sur la création de valeur.
Un framework ne se résume pas à des aspects techniques. « La qualité, c’est de la valeur pour quelqu’un qui compte » : notre framework doit donc soutenir la collaboration entre les différents acteurs impliqués dans les processus d’automatisation des tests.
Favoriser une compréhension commune et la collaboration#
Créer de la valeur grâce à l’automatisation des tests exige d’aligner les différents acteurs. Par défaut, ils ont des profils différents et ne se connaissent pas forcément. Un alignement initial, puis continu, est donc nécessaire.
En automatisation des tests, on obtient cet alignement en définissant les attributs de qualité du produit, puis en déclinant leur traduction dans les tests automatisés. Le point critique est d’éviter l’écart entre le référentiel de tests métier et le référentiel technique, qui tendent naturellement à s’optimiser chacun de leur côté avec le temps.
Il faut maintenir cet alignement tout au long de la mise en œuvre, ce qui suppose un vocabulaire, des processus et une formulation partagés. Le premier élément est une interface utilisateur commune, facilement accessible depuis un navigateur web. L’élément complémentaire est la structure des tests. La formalisation en texte clair, dans le style BDD, favorise une compréhension commune et offre une structure reproductible. En outre, les tests pilotés par mots-clés (keyword-driven testing) permettent une mise en œuvre cohérente et plus accessible.
Une meilleure collaboration ouvre la voie à d’autres bénéfices, comme des boucles de feedback plus rapides.
Permettre des boucles de feedback rapides pour différents types de tests#
Les évolutions logicielles exigent des itérations plus rapides pour adapter l’offre aux clients. C’est une nécessité dans une concurrence mondiale où de nouveaux acteurs peuvent émerger et bousculer les entreprises en place. Un framework d’automatisation des tests qui soutient cette dynamique doit offrir des boucles de feedback rapides.
Notre framework doit être un accélérateur plutôt qu’un frein. Les boucles de feedback de l’automatisation des tests consistent à définir, concevoir, implémenter, exécuter, produire les rapports et améliorer. Ces activités peuvent nécessiter d’orchestrer diverses tâches et divers outils. Un framework d’automatisation des tests utile doit donc offrir une expérience unifiée.
Dans Cerberus Testing, trois grands espaces couvrent le cycle de vie au sein d’une interface unifiée : Test Repository, Test Execution et Test Reporting. Le référentiel de tests permet la définition, la conception et l’implémentation de tests manuels ou de différents tests automatisés (web, mobile, API). Une bibliothèque d’actions et de contrôles est disponible nativement pour aller plus vite, et une bibliothèque de modules personnalisée peut être construite.
L’expérience d’exécution des tests est elle aussi centralisée dans Cerberus Testing (s’ouvre dans un nouvel onglet). Différents robots peuvent être configurés pour exécuter différents types de tests. Une fois l’exécution terminée, on veut une visibilité immédiate sur les résultats et pouvoir réagir aussitôt. C’est là que le reporting et l’analytique intégrés, disponibles par défaut, prennent toute leur valeur. Un ensemble de notifications et de messages peut également être personnalisé.
Obtenir des boucles de feedback rapides avec notre framework suppose des capacités d’intégration.
S’intégrer à l’environnement pour accélérer#
La transformation numérique renforce la collaboration entre les acteurs grâce à la technologie. Le besoin de réactivité et de collaboration en temps réel accroît l’interdépendance des systèmes. Dans ce contexte, la facilité d’intégration est devenue une question de survie.
Le premier domaine à intégrer est le référentiel de tests. Cerberus Testing peut importer des scénarios Selenium IDE et des tests auto-réparants Erratum tout en conservant l’identifiant des tickets JIRA. Pour faciliter l’exécution, diverses fermes internes et externes peuvent être connectées nativement, comme Browserstack ou LambdaTest (s’ouvre dans un nouvel onglet). Cerberus Testing prend en charge l’exécution en parallèle de tests web, mobiles, d’API, Kafka, de bases de données, voire d’applications desktop.
En complément, les suites de tests peuvent être lancées, planifiées ou déclenchées manuellement ou via la CI/CD. Des connecteurs natifs sont fournis pour Jenkins, Gitlab, Bitbucket ou Azure DevOps. Des API publiques permettent en outre des intégrations sur mesure. Rapports de bugs, alertes et notifications sont disponibles pendant ou après l’exécution des tests via divers outils comme Slack ou l’e-mail.
Des boucles de feedback rapides, appuyées sur des intégrations natives, sont le socle d’une démarche de tests continus.
Soutenir des démarches de tests continus de bout en bout#
Les tests continus s’inspirent des méthodes TQM pour soutenir un processus reproductible : Plan, Do, Check, Act. On retrouve des techniques similaires dans les rituels agiles de planification et de rétrospective. Un modèle dont on peut s’inspirer est le Holistic Testing (s’ouvre dans un nouvel onglet) de Janet Gregory.
Les tests continus consistent à agir sur l’ensemble de la chaîne de valeur du cycle de vie logiciel. Pour créer de la valeur pour les utilisateurs du produit, il faut prioriser les pratiques de test les plus utiles du Shift-Up, du Shift-Left et du Shift-Right. Pour un framework d’automatisation des tests, cela signifie s’exécuter sans friction sur les différents environnements et soutenir aussi bien la définition des exigences que les processus de tests continus.
Cerberus Testing intègre nativement la gestion des applications. Une même application peut être définie sur ses différents environnements, ce qui simplifie l’exécution de bout en bout. Au milieu de la chaîne, on peut s’appuyer sur la planification et les capacités CI/CD. En bout de chaîne, le monitoring des parcours utilisateurs est un exemple de démarche de tests continus prise en charge par Cerberus Testing.
Nous terminons ce tour d’horizon de notre framework par l’amélioration continue.
Mesurer et donner de la visibilité#
On ne peut pas améliorer ce qu’on ne mesure pas. La mesure est indispensable pour évaluer la valeur de notre effort d’automatisation des tests. Par défaut, un framework offrira un reporting absent ou pauvre, puisque ce n’est pas au départ le cœur du moteur. Or l’amélioration et l’utilisabilité sont des exigences d’un framework d’automatisation des tests qui apporte de la valeur.
Les métriques classiques sont la couverture, le taux d’instabilité (« flakiness ») et la traçabilité détaillée des tests. La mesure de la valeur doit dépasser le périmètre de l’automatisation des tests et porter sur la satisfaction liée à l’expérience utilisateur, comme le NPS, le temps d’engagement et l’activité. Des mesures de fiabilité sont en outre indispensables, car elles sont au cœur d’une expérience client réussie.
Concrètement, les utilisateurs du framework ont l’habitude des interfaces web, voire des applications mobiles, pour leurs tableaux de bord. Notre framework doit donc présenter les différentes métriques de façon graphique. Le reporting commence par le référentiel de tests : savoir combien de tests nous avons, sur quels domaines, avec quel statut et quelle composition interne.
L’étape suivante consiste à mesurer la phase d’exécution, avec la traçabilité de chaque test comme une vision d’ensemble. Les rapports de tests et de campagnes sont disponibles nativement dans Cerberus Testing, ce qui évite de développer des tableaux de bord sur mesure. L’analytique des tests va plus loin en proposant des analyses de tendances sur une période plus longue, porteuses de nouveaux enseignements.
Construire un framework d’automatisation des tests en partant de zéro est un long chemin.
Apporter de la valeur à tout le processus et à tous les acteurs#
Un framework d’automatisation des tests (s’ouvre dans un nouvel onglet) vaut par la valeur qu’il apporte à ses acteurs. Il s’agit d’abord d’automatiser les bons tests, puis de bien les implémenter. Soutenir la collaboration et offrir un framework fiable sont donc deux exigences essentielles.
Pouvoir couvrir les processus de bout en bout avec une interface unifiée permet des boucles de feedback rapides. On peut ainsi commencer par expérimenter avant d’étendre et d’optimiser l’effort d’automatisation des tests. C’est pourquoi les modules réutilisables, la mesure et les fonctionnalités de rework font la différence.
Construire un framework d’automatisation des tests ne se fait ni en une nuit ni par une seule personne. Cela demande du temps, de l’engagement et des itérations. Nous avons lancé Cerberus Testing en 2010 et l’avons publié en open source en 2013 (s’ouvre dans un nouvel onglet). Si vous avez des besoins similaires, nous serons ravis d’échanger sur son usage, ses capacités, et même sur d’éventuelles contributions.
Quel que soit votre choix, un framework d’automatisation des tests qui apporte de la valeur est notre objectif commun.
Vous pouvez utiliser Cerberus Testing gratuitement : commencez maintenant.


