Tests en parallèle : comment les maîtriser dès maintenant

Antoine Craske6 min de lecture

Pour rester compétitives, les entreprises recherchent la qualité à grande vitesse.

D’où une forte volonté d’accélérer les itérations d’incréments logiciels utiles et fiables.

Sur cette page9
Tests en parallèle : comment les maîtriser dès maintenant

Les vérifications qui se prêtent bien à l’automatisation sont largement confiées aux tests automatisés, de plus en plus adoptés par les différents acteurs en quête d’agilité.

La plateforme de test et sa capacité de parallélisation deviennent alors un appui essentiel de votre démarche d’automatisation, faute de quoi vous risquez de ne pas pouvoir soutenir les équipes produit.

Dans cet article, nous présentons les concepts clés de l’exécution des tests en parallèle et leur mise en œuvre dans Cerberus Testing.

Pourquoi paralléliser l’exécution des tests automatisés#

Le besoin de paralléliser l’exécution des tests se fait de plus en plus sentir dans notre écosystème.

Des rapports comme le World Quality Report 2020-21 (s’ouvre dans un nouvel onglet) montrent un investissement important dans l’automatisation des tests, qui fait croître le nombre de suites de tests à exécuter.

Nos tests doivent couvrir une variété croissante d’appareils : navigateurs web, smartphones et objets connectés (IoT) de toutes sortes.

De plus, le besoin de boucles de feedback rapides dans un contexte comme le CI/CD pousse à paralléliser au maximum pour réduire le plus possible le temps d’exécution.

Tous ces facteurs mettent l’assurance qualité sous pression : l’exécution des tests doit être rapide et fiable si nous voulons tenir la promesse de valeur faite à l’équipe.

Les exigences de l’exécution parallèle automatisée#

Bien paralléliser ses tests, c’est plus facile à dire qu’à faire.

Si vous avez déjà programmé ou tenté de développer des applications multithread, vous savez à quel point c’est douloureux.

Pour l’automatisation des tests, les principales exigences fonctionnelles sont :

  • Lancer les tests en parallèle au niveau de parallélisme souhaité
  • Pouvoir tester les différents appareils visés par l’application testée
  • Pouvoir prioriser l’exécution de différents tests
  • Définir un seuil de parallélisme différent selon le contexte de test

Les exigences non fonctionnelles peuvent faire la différence, à savoir :

  • Performance de la solution pour une exécution rapide
  • Portabilité sur les infrastructures internes et externes
  • Compatibilité avec les exigences des différents appareils
  • Facilité d’utilisation pour simplifier l’intégration et le déploiement
  • Haute disponibilité always-on du service d’exécution parallèle
  • Fiabilité de l’exécution pour éviter les relances et les retours tardifs
  • Sécurisation de l’exécution vis-à-vis des sources externes
  • Traçabilité de l’exécution et du contexte de test (captures, vidéos…)
  • Supervision pour pouvoir alerter et rétablir le service si besoin
  • Optimisation des coûts, avec une capacité qui augmente et diminue à la demande et un temps de démarrage minimal

Une architecture de framework de test open source adaptée#

Notre mise en œuvre dans la plateforme Cerberus Testing devait répondre à ces différentes exigences.

Une décision de conception clé a été de découpler le référentiel de tests de leur exécution :

  • Référentiel de tests
    • Stocker les tests, actions et contrôles
    • Maintenir les robots, les suites de tests et les paramètres d’exécution prédéfinis
    • Conserver les contextes d’exécution souhaités
  • Exécution des tests
    • Exécuter et sécuriser les mécanismes d’exécution
    • Gérer la parallélisation de l’exécution sur les différents appareils
    • Collecter les données des tests, des robots et des exécutions

Nous obtenons ainsi une séparation claire des responsabilités, qui permet l’abstraction et la mise à l’échelle indépendante de chaque partie.

Le Robot : concept et définition#

Nous avons introduit le concept de Robot pour faire abstraction de la configuration de l’environnement d’exécution.

Un Robot doit être défini notamment pour les tests web, mobiles et desktop ; les tests d’API et de bases de données sont gérés automatiquement dans Cerberus Testing.

Chaque robot contient le type de test, les capacités d’exécution et les informations de connexion comme l’identifiant, les URL et le mot de passe, ce dernier étant ensuite masqué automatiquement.

L’intérêt du Robot réside dans sa souplesse de configuration :

  • Un test peut s’exécuter sur autant de robots que nécessaire
  • Un robot peut s’exécuter dans n’importe quel environnement de test
  • La charge d’un robot peut être répartie entre plusieurs fermes (internes ou externes)
  • Le mécanisme de haute disponibilité est au choix (actif/passif, round-robin)

L’introduction de la file d’exécution#

L’élément clé suivant a été le concept de gestion de la file d’exécution (s’ouvre dans un nouvel onglet) (Execution Queue Management), pour répondre au besoin de priorisation.

Cas d’usage classique : des tests fonctionnels réguliers supervisent les parcours clients en production, tandis qu’en journée une campagne de tests de non-régression tourne dans un environnement de test.

Vous voulez que vos tests de parcours clients s’exécutent comme prévu, à l’heure, sans attendre la fin des tests UAT, surtout si ceux-ci ne sont pas encore assez rapides.

Cette couche permet de prioriser les différents tests lancés en parallèle dans différents contextes, et règle ainsi ce problème.

Vous pouvez aussi administrer votre file d’exécution : annuler certaines exécutions, mettre à jour le backlog et effectuer d’autres tâches courantes.

Les types de tests en parallèle disponibles dans Cerberus Testing#

Tous les types de tests pris en charge par Cerberus Testing peuvent être parallélisés.

À ce jour, cela couvre le web, le mobile, les API, le desktop et les bases de données, sur toute la variété d’appareils et de fournisseurs pris en charge.

Vous pouvez combiner à votre guise différents types d’exécution parallèle au sein d’une même instance de Cerberus.

Les principales contraintes à gérer sont l’infrastructure d’exécution et les appareils disponibles.

Par défaut, le Cerberus Testing Free Cloud permet d’exécuter des tests web sur Firefox et Chrome, ainsi que des tests d’API et de bases de données.

Si vous avez besoin d’autres navigateurs, d’appareils mobiles ou du desktop, une configuration supplémentaire est nécessaire.

Les intégrations de tests en parallèle dans Cerberus Testing#

Vous pouvez intégrer différentes fermes : en local sur votre ordinateur portable, en cloud privé, en cloud public, voire des services SaaS.

Figure X : les principales fermes de test prises en charge par Cerberus Testing

Cerberus Testing prend en charge les principales intégrations standard du marché :

  • Selenium Hub et Zalenium pour le web
  • Appium Hub pour le mobile
  • Sikuli pour le desktop
  • API standard et pilotes JDBC pour les API et les bases de données

Vous pouvez combiner librement infrastructures internes et externes pour les optimiser.

Une configuration classique consiste à utiliser chaque brique pour ses points forts :

Les différentes façons de lancer des tests en parallèle#

L’exécution parallèle doit être disponible dans les différents contextes pris en charge par Cerberus Testing.

Le cas d’usage principal : utiliser l’interface web de Cerberus pendant la mise au point du cas de test, puis l’automatiser via le CI/CD ou des mécanismes de planification.

Voici les trois façons de lancer des tests en parallèle dans Cerberus Testing :

  • Depuis l’interface web
  • Avec les API publiques
  • Avec le planificateur de campagnes

Vous pouvez ainsi l’intégrer comme bon vous semble, par exemple avec l’intégration CI/CD native à Bitbucket, ou votre propre planificateur qui appelle les API.

Les campagnes sont très utiles pour définir vos suites de tests, que vous exécutez ensuite dans votre pipeline CI/CD pendant le cycle de développement, puis que vous planifiez en production.

Nos bonnes pratiques pour l’automatisation des tests en parallèle#

La valeur des tests automatisés dépend de leur performance, de leur fiabilité et de leur maintenabilité.

On entend régulièrement parler de suites de tests abandonnées parce qu’elles étaient trop lentes à exécuter, truffées de tests instables (« flaky ») et devenues difficiles à faire évoluer.

C’est pourquoi vous devez sécuriser votre investissement dans votre suite de tests automatisés.

Comme nous l’avons vu, le sujet relève vraiment des intégrations, des processus et de la conception.

Nous vous recommandons de veiller avant tout à garder votre suite de tests rapide et fiable.

Ensuite seulement, ajoutez progressivement d’autres tests en surveillant la performance globale de la campagne et la complexité de sa maintenance.

Vous pourrez ensuite affiner les campagnes plus volumineuses avec les relances automatiques et les paramètres de gestion de la file, même si nous recommandons de rester simple au début.

Plusieurs itérations sont normalement nécessaires pour améliorer vos tests et votre architecture parallèle, un peu comme si vous pratiquiez le TDD sur l’implémentation de vos tests automatisés.

Envie d’expérimenter et d’en savoir plus ?

Essayez la version gratuite (Free Trial) : commencez maintenant.

Partager

Techniques de test

Quand utiliser le self-healing dans l’automatisation des tests

L’auto-réparation (« self-healing ») est devenue une exigence croissante en automatisation des tests pour les équipes qui cherchent à accélérer la livraison de logiciels à forte valeur ajoutée.

Antoine Craske3 min de lecture3 min