Reporting de tests : accélérer sans sacrifier la qualité

Antoine Craske4 min de lecture

Nous définissons la stratégie de test, mettons en place le framework de test et commençons à constituer notre suite de tests. Ces tâches prennent déjà beaucoup de temps. Nos parties prenantes attendent des résultats, et le reporting y est essentiel.

Sur cette page4
Reporting de tests : accélérer sans sacrifier la qualité

Un framework d’automatisation des tests mature, qui offre nativement des fonctionnalités de reporting, apporte une vraie valeur ajoutée à l’équipe : elle peut se consacrer davantage à la qualité qu’au développement d’un framework d’automatisation.

Mais le reporting de tests ne se limite pas au rapport d’une exécution. Nous devons répondre rapidement à des questions différentes, pour des parties prenantes et des points de vue différents, afin de garder des boucles de feedback courtes.

Cet article explique le pourquoi et le quoi des fonctionnalités de reporting de tests, en illustrant leur mise en œuvre dans Cerberus Testing.

Commencer par le rapport de test individuel#

La première chose que l’équipe demandera, c’est le reporting de chaque test. Elle a besoin de connaître le statut du test tout au long de son cycle de vie, de ses premières itérations jusqu’à ce qu’il soit entièrement implémenté et prêt à être utilisé par le reste de l’équipe.

La traçabilité est une exigence fondamentale pour implémenter rapidement les tests et analyser leurs résultats. Pour un rapport de test individuel, cela signifie fournir le détail de toutes les actions et de tous les contrôles exécutés, ainsi que leur contexte. La traçabilité de l’exécution en direct est très utile pendant les cycles d’implémentation, ou pour rejouer un test afin d’aider les développeurs à corriger les bugs.

Dans Cerberus Testing, le reporting de test individuel est un ensemble de fonctionnalités natives accessibles depuis l’interface web. Un rapport détaillant chaque action et chaque contrôle est disponible, avec les logs du robot, le contexte d’exécution et les variables d’environnement. Captures d’écran et vidéos sont disponibles ; elles se configurent dans le test ou au moment de l’exécution. Il est aussi possible d’ouvrir un bug dans JIRA en un clic, pour faciliter le cycle de débogage.

Une fois satisfaite d’un test, l’équipe commence à constituer une suite de tests. Et avec elle arrive un nouveau défi de reporting.

Le reporting de campagne de test pour l’exécution des suites de tests#

Une suite de tests permet de regrouper des exigences précises à vérifier dans un contexte donné. On peut exécuter une suite de tests de non-régression en CI/CD pour chaque environnement, ou lancer un ensemble de tests après un déploiement en production. À la différence d’un test isolé, le statut global apporte des informations supplémentaires sur la qualité de l’application.

Le reporting d’une suite de tests comporte un statut global, paramétrable en fonction des résultats des tests qui la composent. Par exemple, on peut considérer une suite comme validée uniquement si les tests de priorité 1 sont confirmés, ceux de priorité 2 servant de contrôles complémentaires. En complément, une suite de tests offre d’autres vues fondées sur les métadonnées des tests : fonctionnalités couvertes, personas, écrans concernés. Il devient ainsi plus facile de rendre compte de domaines précis pour répondre aux questions des parties prenantes, par exemple « l’espace client est-il sous contrôle ? ».

Cerberus Testing met en œuvre les suites de tests à travers le concept de campagne de test. Une campagne regroupe les tests de façon logique et flexible : par référence de cas de test, par application, par système, entre autres. Une fois définie, la campagne de test peut être déclenchée depuis l’interface web, par planification ou manuellement. Le reporting de campagne donne alors le statut global et le statut par métadonnée disponible. Ces statuts peuvent servir dans les pipelines CI/CD pour décider du go/no-go de l’étape de déploiement. Pour vous faire gagner du temps, nous calculons aussi les ratios utiles, comme le taux d’instabilité des tests (flakiness) ou le pourcentage de réussite.

Au fil du temps, nous exécutons de nombreux tests individuels et de nombreuses suites de tests : c’est là que l’analytique change la donne.

L’analytique des tests#

Pouvoir collecter, stocker et exploiter les données de test, c’est l’analytique des tests. Elle donne aux parties prenantes accès à des analyses riches d’enseignements et à une aide à la décision impossible autrement. Elle devient indispensable pour les équipes plus matures, qui ont davantage de tests, afin de garder une vue d’ensemble sur toute la pratique.

L’analytique des tests consiste à agréger les vues de nombreuses exécutions sur une période donnée. Il nous faut pour nos tests la même visibilité que Google Analytics : un tableau de bord pour comparer les exécutions précédentes, des tableaux de bord permettant de descendre dans le détail, des analyses de tendances. L’analytique des tests est donc toute une suite de reporting et d’exploration à construire.

Cerberus Testing fournit nativement l’analytique des tests dans la même interface web. Le reporting des tests et des campagnes de test est disponible sur des périodes plus longues. Les filtres et les tableaux de bord permettent d’analyser les indicateurs globaux et les tendances, et de repérer facilement les pics. De plus, un même rapport peut être personnalisé dynamiquement, en ajoutant ou en retirant des données pour explorer une question précise. Le taux global d’instabilité est également disponible : c’est un indicateur clé pour accélérer sans sacrifier la qualité.

L’analytique vient compléter l’ensemble de nos besoins en reporting de tests.

Accélérer sans sacrifier la qualité exige des boucles de feedback rapides#

Des boucles de feedback rapides en test, c’est itérer vite sur la conception, l’exécution et le reporting des tests. Le reporting est donc une composante essentielle d’un framework d’automatisation des tests, du rapport de test individuel aux suites de tests, jusqu’à l’analytique.

Seul cet ensemble complet de fonctionnalités permet de répondre aux besoins de nos parties prenantes. Choisir un framework d’automatisation des tests qui les fournit toutes nativement est une décision déterminante pour réellement accélérer sans sacrifier la qualité. Sinon, les équipes qualité perdent un temps précieux à développer des fonctionnalités de reporting.

Cerberus Testing est le framework open source d’automatisation des tests qui permet de tester plutôt que de coder. Vous pouvez le prendre en main et l’utiliser gratuitement pour simplifier et accélérer l’automatisation de vos tests. Commencer à tester avec Cerberus Testing.

Voir la démonstration en vidéo : https://www.youtube.com/watch?v=pxVjMoZSQ6Y (s’ouvre dans un nouvel onglet)

Partager

Techniques de test

Quand utiliser le self-healing dans l’automatisation des tests

L’auto-réparation (« self-healing ») est devenue une exigence croissante en automatisation des tests pour les équipes qui cherchent à accélérer la livraison de logiciels à forte valeur ajoutée.

Antoine Craske3 min de lecture3 min