Comment tester un consumer Kafka avec Cerberus Testing

Antoine Craske4 min de lecture

Bienvenue dans ce tutoriel pas à pas Cerberus Testing consacré aux tests des producers et consumers Apache Kafka® (s’ouvre dans un nouvel onglet).

Étapes3
Comment tester un consumer Kafka avec Cerberus Testing

Ce guide vous aidera à comprendre le workflow d’automatisation des tests et les bonnes pratiques que le framework open source Cerberus Testing prend en charge.

À la fin de cet article, vous saurez automatiser un cas d’usage (s’ouvre dans un nouvel onglet) de consumer Kafka. Vous apprendrez à configurer votre bibliothèque de services, puis à créer et exécuter le cas de test.

Nous réaliserons le test avec un broker Kafka, sur un topic, un producer et un consumer d’exemple. Vous pourrez vous appuyer sur ce tutoriel pour mettre en place votre propre test de consumer Kafka reposant sur des messages JSON.

Si vous découvrez Cerberus Testing, nous vous conseillons de commencer par parcourir notre page GitHub (s’ouvre dans un nouvel onglet), notre site et notre vidéo de présentation (s’ouvre dans un nouvel onglet). Ce tutoriel existe aussi en vidéo (s’ouvre dans un nouvel onglet).

Prérequis pour mettre en place un test de consumer Kafka#

Pour suivre ce tutoriel jusqu’au bout, il vous faut :

  • une instance Cerberus Testing en version 3.8 minimum, auto-hébergée ou en SaaS ;
  • un accès à un compte Cerberus Testing doté du rôle « Test » ;
  • un environnement Cerberus Testing configuré (« QA » et « UAT » sont configurés par défaut) ;
  • un certificat SSL (s’ouvre dans un nouvel onglet) configuré entre votre instance Cerberus et le broker Kafka, si nécessaire.

Si vous choisissez de mettre en œuvre votre propre test, vous devez :

  • avoir accès au broker Kafka, au topic et à l’environnement concernés ;
  • définir les actions et les contrôles de test à réaliser.

Ce schéma résume les étapes que nous allons suivre.

Pour toute question sur ces prérequis, consultez notre documentation (s’ouvre dans un nouvel onglet) et nos vidéos (s’ouvre dans un nouvel onglet), ou contactez votre administrateur. N’hésitez pas à échanger avec la communauté sur notre canal Slack (s’ouvre dans un nouvel onglet) ou à ouvrir une issue GitHub (s’ouvre dans un nouvel onglet).

Étape 1 — Configurer le producer et le consumer Kafka dans Cerberus Testing#

Cette section décrit la définition des services (s’ouvre dans un nouvel onglet) producer et consumer Kafka.

Vous devez connaître l’endpoint de votre broker Kafka. Cette information vous est généralement fournie par votre fournisseur ou par l’équipe interne concernée.

Le champ Service URL contient l’hôte (Host) et le Port. Si vous utilisez SSL, les informations du certificat s’y trouvent également.

1.1. Configurer le producer Kafka#

Commençons par configurer le producer Kafka.

Ouvrez la Service Library, puis cliquez sur « Add Service ».

Vous pouvez maintenant renseigner les informations du producer Kafka. Veillez à sélectionner le type « Kafka Service », à choisir l’option « PRODUCE » et à renseigner l’endpoint.

Passez à l’onglet « Request » pour confirmer le Kafka Topic et la Service Request que votre test utilisera.

Dans notre exemple, les données sont fixes. Cerberus Testing permet toutefois de mettre en place des scénarios de données de test plus complexes.

Le dernier onglet à configurer est l’onglet « Header », qui attend les informations de connexion.

1.2. Configurer le consumer Kafka#

La définition d’un consumer Kafka est très proche.

Première différence : il faut choisir la méthode « SEARCH ».

Il faut ensuite indiquer le Kafka Topic dans lequel le consumer devra rechercher le message.

Cela fait, votre producer et votre consumer Kafka sont prêts à être utilisés dans la définition de votre cas de test.

Étape 2 — Définir les actions et les contrôles du cas de test#

Cette section explique comment configurer le test du consumer Kafka.

Le cas de test consiste à produire un message, puis à le rechercher dans le topic Kafka. Différentes actions et contrôles (s’ouvre dans un nouvel onglet) peuvent s’appliquer à ce processus.

2.1. Comment produire un message Kafka#

On retrouve ici les principaux éléments à définir dans Cerberus Testing : l’étape, l’action et le contrôle (Step, Action, Control).

Pour produire un message dans le topic, nous utilisons le service producer Kafka de la section précédente. L’action à utiliser est « callService », qui référence notre bibliothèque.

Les autres paramètres n’ont pas besoin d’être renseignés pour le producer.

2.2. Comment consommer un message Kafka#

Une fois le message publié sur le topic, nous voulons vérifier sa présence.

Pour cela, nous utilisons la même action « callService », en précisant les critères de recherche adaptés : le nombre d’événements à récupérer et le délai d’expiration (timeout) de la recherche.

2.3. Comment tester le consumer Kafka#

Les actions précédentes vérifient déjà que le producer et le consumer sont bien reliés.

Nous pouvons ajouter des contrôles plus avancés, par exemple sur le contenu du message. Il suffit pour cela d’ajouter des contrôles classiques avec « verifyElement » et le chemin correspondant, comme « $.data.messageHeader ».

Les différents cas d’usage et contrôles sont décrits dans la documentation (s’ouvre dans un nouvel onglet) en ligne.

Étape 3 — Exécuter le test et vérifier les résultats#

Reste à exécuter le cas de test et à consulter son rapport.

3.1. Lancer le test Kafka automatisé#

Ouvrez la page Run de Cerberus Testing.

Sélectionnez le test Kafka et l’environnement de test correspondant. N’importe quel robot peut assurer l’exécution.

Cliquez sur « Run Test Case (and See Result) » pour suivre l’exécution.

3.2. Suivre l’exécution en temps réel#

Une fois le test lancé, vous pouvez suivre l’exécution du cas de test en direct.

On y voit le contenu de la requête et de l’appel de service. En bleu, on voit aussi le consumer rechercher le message que nous venons de produire.

Le consumer trouve ensuite le message attendu.

3.3. Vérifier les résultats et la traçabilité du cas de test#

Les différents onglets donnent accès à plusieurs éléments de traçabilité du test, dont les robots.

Par exemple, le détail de la requête s’affiche en cliquant sur l’image « Service Call ».

Nous pouvons aussi confirmer que le message a bien été produit dans notre topic Kafka.

Aller plus loin dans l’automatisation des tests Kafka#

Au terme de ce tutoriel, vous devriez avoir mis en place votre test de consumer Kafka.

Nous espérons avoir clarifié les principales étapes pour automatiser les tests de vos applications Kafka (s’ouvre dans un nouvel onglet).

Vous pouvez étendre cette approche en exploitant les différentes fonctionnalités de données de test, de propriétés et d’exécution.

Un cas d’usage typique consiste à intégrer ces tests à votre pipeline CI/CD, en tirant parti de l’exécution parallèle et de la gestion des campagnes.

Le même principe vaut pour les API REST : suivez notre tutoriel d’automatisation des tests d’API REST.

Bonne continuation dans l’automatisation de vos tests !

Partager

Tutoriels

Comment créer un pipeline de tests continus avec GitHub Actions

« Pouvez-vous déployer des tests dans la CI/CD en une heure ? » Suivre le rythme des équipes de développement tout en livrant une automatisation des tests réellement utile est un défi quotidien.

Antoine Craske3 min de lecture3 min
Tutoriels

Automatisation des tests mobiles avec Appium, sans coder

Tester une application mobile est pénible. Il faut d’abord trouver un moyen d’exécuter l’application mobile, sur un appareil local ou distant, le plus souvent émulé.

Antoine Craske7 min de lecture7 min