La méthode éprouvée pour bâtir un framework d’automatisation des tests UI

Antoine Craske7 min de lecture

Réussir ses interfaces utilisateur est l’un des grands défis de la transformation numérique. Il faut sans cesse itérer pour améliorer l’expérience, tout en apportant régulièrement de la nouveauté pour maintenir l’engagement des utilisateurs.

Sur cette page7
La méthode éprouvée pour bâtir un framework d’automatisation des tests UI

Cette accélération des changements d’interface pose un défi aux équipes d’ingénierie : comment s’assurer que nos fonctionnalités clés marchent toujours ? Les cas d’usage essentiels se comportent-ils comme prévu ? Tout fonctionne-t-il sur les différents navigateurs web ?

Les équipes QA mettent en place des tests automatisés pour aider l’équipe à garder confiance dans ses changements. L’équipe voudra construire un framework d’automatisation UI pour disposer d’une solution reproductible, fiable et extensible.

Cet article présente les exigences clés d’un framework d’automatisation UI et la façon dont nous l’avons mis en œuvre avec une approche open source.

Quelles sont les exigences d’un framework d’automatisation UI ?#

La préparation est essentielle pour garantir la réussite par la suite. Construire un framework d’automatisation UI ne fait pas exception. On peut vite réaliser un POC, mais un vrai framework exige un ensemble de fonctionnalités de base.

Commençons par le pourquoi, en clarifiant ce que nous cherchons à accomplir avec notre framework d’automatisation UI. Les fonctionnalités évidentes viennent naturellement à l’esprit, comme définir la structure des tests et les exécuter. D’autres apparaissent avec le temps, comme le reporting, les composants réutilisables ou l’exécution en parallèle.

On peut résumer ces fonctionnalités dans la liste suivante :

  • Définir une structure de cas de test pour l’application testée
  • Interagir avec les différents localisateurs (locators) de l’interface via une couche d’abstraction
  • Exécuter en parallèle et sur plusieurs plateformes
  • Visualiser les résultats grâce au reporting et à l’analyse des tests
  • Faciliter la maintenabilité en créant des modules et des composants réutilisables

Voici un exemple d’InfoQ sur les patterns d’automatisation des tests fonctionnels d’interface graphique (Functional GUI Testing Automation Patterns).

Il faudra garder notre objectif initial en tête au fil des itérations : permettre une vérification rapide de l’interface utilisateur, tout en garantissant les exigences non fonctionnelles d’utilisabilité, de portabilité ou de maintenabilité.

Commençons par la première partie : la définition de la couche de test.

Commençons par le commencement : définir la structure des cas de test#

Une structure de cas de test comporte des éléments essentiels : une description, une série d’actions et des contrôles. Les décisions de conception clés portent sur les relations et les attributs des différents objets. On peut par exemple regrouper logiquement actions et contrôles au sein d’une étape (step).

Les tests automatisés ont ensuite leurs spécificités par rapport aux tests manuels. On voudra par exemple définir les différents environnements applicatifs concernés par notre test. Si l’on a besoin de données dynamiques, on peut aussi utiliser des jeux de données spécifiques qui récupèrent les données automatiquement.

Dans Cerberus, nous avons choisi une structure de cas de test compatible avec les tests UI et d’autres typologies, inspirée de la structure BDD. Actions et contrôles peuvent être regroupés dans une étape, le tout faisant partie d’un cas de test. Chaque action est ensuite définie par une description, un type d’action spécifique et des paramètres.

Un cas de test est rattaché à une application et peut être activé pour des environnements donnés.

Interagir avec les éléments en simplifiant leur usage#

Construire un framework UI implique naturellement d’interagir avec les éléments de l’interface utilisateur. Il faut prendre en compte les différentes interfaces : web, application mobile ou desktop. Les interfaces conversationnelles ne sont pas directement considérées comme faisant partie de la catégorie UI.

Une approche classique s’appuie sur des drivers standard disponibles, comme Selenium Driver (s’ouvre dans un nouvel onglet) ou Appium (s’ouvre dans un nouvel onglet) pour les applications mobiles. Pour un framework, une décision de conception clé est de construire ou non une couche d’abstraction, indépendante de la typologie des tests à réaliser.

Rendre les compromis explicites est une pratique précieuse pour prendre du recul sur certains choix. Dans notre cas, nous voulions construire un framework d’automatisation des tests multiplateforme : une couche d’abstraction était donc un choix pertinent. Le prix à payer : gérer la complexité de l’interface et du moteur de cette couche d’abstraction.

Le moteur peut réaliser des tests UI web, mobile et desktop à partir de la même structure de cas de test. Les équipes métier et techniques peuvent ainsi collaborer plus facilement sur un format en langage naturel de type BDD, qui masque les détails d’implémentation.

Nos tests sont définis et prêts à interagir avec les couches d’interface ; il faut maintenant les exécuter.

Exécuter les tests UI dans des contextes variés, rapidement#

Les tests d’interface utilisateur ont la particularité de s’exécuter dans de très nombreux contextes : il faut les lancer sur différents systèmes d’exploitation, appareils et navigateurs. Comme pour le driver, il nous faut une couche d’abstraction d’exécution.

Les tests UI peuvent s’exécuter sur des appareils physiques ou virtuels, via une API qui lance un test et exécute une série d’actions et de contrôles. Selenium Grid est un choix courant pour les tests web, tandis qu’Appium Hub est une option pour les applications mobiles.

Pour Cerberus Testing, nous nous sommes appuyés sur des solutions ouvertes, conformément à notre philosophie open source. Nous avons en outre introduit la notion de « Robots », pour garder la liberté de se connecter à une plateforme locale ou distante. L’exigence clé : être compatible avec les drivers ouverts intégrés.

Vous remarquerez une série d’options d’exécution disponibles nativement, comme le niveau de verbosité, les captures d’écran et les paramètres de timeout. Ces fonctionnalités sont autant d’ajouts dont un framework d’automatisation UI aura besoin au fil du temps pour répondre aux différentes exigences.

Le reporting est un aspect clé de l’automatisation des tests. On ne peut améliorer que ce que l’on mesure, et on n’a pas le temps d’éplucher des logs ou de construire un nouveau tableau de bord à chaque besoin.

Visualiser les résultats grâce au reporting et à l’analyse#

Le premier besoin qui se présente est de visualiser le statut des tests et les indicateurs clés. Il faut répondre aux questions habituelles : statut global de la campagne, durée, santé des fonctionnalités dans un contexte d’exécution donné.

Pour un framework UI réussi, notre couche de reporting doit fournir ces tableaux de bord clés en main. Plusieurs niveaux de zoom sont nécessaires : d’abord une vue d’ensemble de l’exécution sur notre plateforme, puis la possibilité de descendre de la campagne jusqu’au rapport de chaque cas de test.

Le reporting des cas de test exige un niveau de traçabilité précis, pour plusieurs raisons. Pour la compréhension, il faut savoir clairement quelles actions et quels contrôles ont été réalisés, avec les données associées. L’exécution est également essentielle : logs du robot, capture d’écran en cas d’erreur, durée de chaque étape. Idéalement, le framework fournit ces fonctionnalités, ce qui libère le cas de test de ces exigences.

Au fil du temps, on accumule une série de données d’exécution des tests. Notons que conserver l’historique est aussi une exigence critique à cet égard : les données ont de la valeur. Des besoins d’analyse peuvent alors apparaître pour étudier nos données de tests automatisés dans la durée. On peut par exemple suivre notre stabilité dans le temps, en identifiant les contextes plus sujets aux erreurs.

Avec davantage de tests vient aussi l’exigence de grandir sur des fondations stables. Le framework doit offrir scalabilité et maintenabilité.

Fournir des modules et des composants réutilisables pour la maintenabilité#

La maintenabilité recouvre plusieurs aspects, mais signifie avant tout adapter rapidement nos tests à l’évolution du comportement de l’application ou des exigences. Comme pour tout logiciel, il faut le faire vite, en confiance et avec peu d’effort dans la durée.

Une partie de la maintenabilité de l’automatisation des tests se joue en dehors du framework. Prioriser et sélectionner les tests qu’il est pertinent d’automatiser est une bonne pratique pour éviter d’emblée le travail inutile. Pour ceux qui sont implémentés, on peut aussi s’appuyer sur plusieurs méthodes adaptées.

Notre framework d’automatisation des tests doit permettre de réutiliser les éléments pour optimiser l’effort d’implémentation. La modularité peut s’appliquer aux cas de test, étapes, actions, contrôles et propriétés, en fournissant des composants réutilisables dès leur définition. Exemple concret dans Cerberus Testing : la bibliothèque d’étapes, d’actions et de contrôles que vous pouvez composer.

L’outillage ne fait pas tout. Même avec un très bon framework d’automatisation des tests UI, nos décisions de conception et d’implémentation restent déterminantes. Équilibre et compromis sont des points clés à sécuriser : on ne peut pas toujours avoir des solutions parfaites ou extrêmes.

La modularité en est un bon exemple. Il faut « juste assez de modularité » pour une automatisation des tests efficace. Ne pas respecter ce principe aboutit à des tests fortement couplés, impossibles à modifier, à l’opposé de notre objectif initial.

Construire un framework d’automatisation des tests UI est un travail de longue haleine.

Une plateforme de tests UI automatisés, plus qu’un framework#

Nous avons passé en revue les éléments clés d’un framework d’automatisation UI, en identifiant les composants essentiels pour des boucles de feedback rapides dans notre démarche d’automatisation des tests. Les complexités identifiées montrent qu’il faut une plateforme plutôt qu’un framework.

Un framework d’automatisation UI fournira les fonctionnalités clés pour implémenter nos tests dans une structure définie. Nous exécuterons aussi les cas de test dans certaines limites et certains contextes, selon le temps dont nous disposons sous la pression des délais.

Une plateforme d’automatisation UI a davantage de sens dans notre contexte actuel d’accélération et de diversification des interfaces utilisateur. Nous devons renforcer notre qualité et notre automatisation des tests face au nombre croissant d’applications et de changements sur les produits numériques.

Cette pression du temps exige des boucles de feedback rapides : nos tests UI ne peuvent pas durer des heures avant de donner leurs résultats. Il nous faut une solution scalable pour obtenir des résultats rapides sur les différents environnements, d’où l’intérêt d’une plateforme prête à l’emploi, avec intégrations natives, exécution en parallèle et utilisation simplifiée.

Cerberus Testing, ce sont des années de développement menées avec la communauté open source pour offrir un framework et une plateforme d’automatisation des tests utiles, pour l’UI comme pour d’autres cas d’usage. Nous serions ravis que vous décidiez d’y contribuer et de l’utiliser.

Vous pouvez facilement démarrer avec l’offre gratuite de Cerberus Testing.

Partager

Outils de test open source

Cerberus Testing, la plateforme d’automatisation des tests tout-en-un

L’écosystème de l’automatisation des tests est en pleine évolution. Longtemps considérée comme une activité secondaire, elle n’était menée que s’il restait du temps une fois le développement terminé.

Antoine Craske4 min de lecture4 min