Afin d'accélérer les délais de mise sur le marché et d'optimiser considérablement les flux de travail liés à l'assurance qualité, a1qa a créé pour nous un framework d'automatisation des tests sur lequel nous avons pu continuer à développer. Une fois ce framework mis en place, l'équipe d'a1qa a dispensé une formation et apporté son soutien à notre équipe grâce à un modèle de renforcement des capacités, afin de continuer à étendre les fonctionnalités de la suite d'automatisation...

... leur esprit d'initiative : ils ne sont pas simplement une « main-d'œuvre supplémentaire » ; ils abordent les tâches de manière réfléchie et proposent toujours des options, des bonnes pratiques, des améliorations de performance, etc.

Vice-président des opérations produits

Le client conçoit des expériences innovantes dans le domaine des jeux d'argent en ligne, tant pour les établissements physiques que pour les plateformes numériques. Ses actifs couvrent un large éventail d'offres de loisirs : de vastes salles de jeux équipées de terminaux électroniques, un parcours de golf soigneusement conçu dans un environnement urbain à forte densité de population et un hippodrome historique fort de plusieurs décennies d'existence. L'entreprise intègre de manière fluide des programmes de fidélité tant physiques que virtuels, reliant ainsi les expériences traditionnelles au divertissement mobile.

Le client a développé et exploite une plateforme de paris sportifs, ainsi que des produits web et mobiles comprenant des jeux de casino et des intégrations avec des tiers. Afin de soutenir son expansion dans de nouveaux États américains et d’accélérer la création de valeur, le client a fait appel à un partenaire spécialisé dans l’assurance qualité pour renforcer la livraison de logiciels dans un environnement impliquant plusieurs fournisseurs.

Afin de soutenir des lancements fréquents dans le cadre d’un flux de travail Scrumban, a1qa a mis en place une équipe dédiée qui s’est développée au même rythme que le produit et a résolu les incidents à mesure que de nouvelles fonctionnalités étaient intégrées.

Tests fonctionnels

Avant de commencer les tests, les ingénieurs assurance qualité ont créé et mis à jour des cas et des scénarios de test détaillés afin de garantir une couverture claire des exigences fonctionnelles et de soutenir des processus de test structurés. Ils ont effectué des tests sur les nouvelles fonctionnalités pour confirmer le comportement attendu et leur conformité aux règles métier. De même, ils ont effectué régulièrement des tests de régression afin de s’assurer que toutes les fonctionnalités existantes (inscription, placement de paris, consultation des listes de joueurs et d’événements, jeux de casino en ligne, paiements, etc.) restaient stables et n’étaient pas affectées par les modifications apportées dans les nouvelles versions, en couvrant à la fois les parcours utilisateurs critiques et les fonctionnalités de base déjà mises en place.

L'équipe a répertorié tous les défauts, en précisant notamment les étapes de reproduction, les résultats attendus et les détails de l'environnement, afin d'accélérer l'analyse et la correction. Elle a également testé à nouveau les corrections pour s'assurer qu'elles avaient bien résolu le problème et détecter d'éventuels effets secondaires.

De plus, a1qa a aidé le client à se conformer aux dernières politiques et directives réglementaires établies par la Commission des jeux du Royaume-Uni (UKGC). Au cours du processus d'inscription, les utilisateurs finaux doivent confirmer leur identité en fournissant les documents requis afin d'obtenir un accès complet au compte et aux fonctionnalités de la plateforme. Ce processus de vérification prend du temps. Les ingénieurs en assurance qualité ont vérifié que le cycle de vérification d’identité fonctionnait comme prévu (par exemple, que certaines fonctionnalités restaient limitées pendant la période de validation).

Tests de compatibilité

Les ingénieurs en assurance qualité ont aidé le client à garantir un fonctionnement cohérent du système et une expérience utilisateur homogène dans une grande variété d'environnements. Des tests de compatibilité ont été effectués sur différents navigateurs de bureau afin de vérifier l'affichage, le fonctionnement et la réactivité du système dans différentes configurations.

Parallèlement, l'équipe a validé le comportement de l'application sur divers appareils mobiles et tablettes fonctionnant sous iOS et Android, confirmant ainsi que les fonctionnalités fonctionnaient comme prévu sur différentes tailles d'écran, différents systèmes d'exploitation et différents profils matériels. Ces activités ont permis d'identifier très tôt les incidents spécifiques à chaque environnement et de garantir une performance fiable du produit sur toutes les plateformes.

Tests d'applications mobiles

Les spécialistes ont utilisé de véritables appareils mobiles disponibles dans les laboratoires internes d'a1qa afin d'améliorer la précision des tests et de détecter un plus grand nombre de défauts. Ils se sont principalement concentrés sur la version iOS en raison des particularités de son développement.

Outre la validation des principales fonctionnalités, les ingénieurs d'a1qa ont effectué des vérifications spécifiques concernant les interruptions et les actions externes.

Automatisation des tests

Les ingénieurs ont calculé l'augmentation de la couverture des tests et le retour sur investissement (ROI) afin de quantifier les économies de temps réalisées et l'amélioration de la capacité de détection des erreurs. Par la suite, les spécialistes ont poursuivi le travail d'automatisation, en C#, des tests d'intégration, des tests de bout en bout, des tests d'API et des opérations sur les bases de données.

Pour soutenir ces activités, a1qa :

Il a mis en place un framework personnalisé d'automatisation des tests

a1qa a mis en place une solution d’automatisation des tests adaptée aux besoins du client, en utilisant Dramaturge comme framework principal et environnement d’exécution. Les tests ont été développés en TypeScript par des ingénieurs QA aux compétences pluridisciplinaires. Les ingénieurs ont automatisé des scénarios basés sur une approche de développement guidée par le comportement (BDD) afin de vérifier les différentes formes d’interaction des utilisateurs avec le logiciel et de garantir que le système fonctionne exactement comme défini par l’entreprise. Sérénité et l’automatisation basée sur Java ont également fait partie des premières étapes de la mise en place, reflétant l’évolution de la stratégie d’automatisation du client au fil du temps.

Le pipeline CI/CD a été amélioré

Dans le but d'accélérer la mise sur le marché et d'améliorer la réactivité du service, les ingénieurs ont mis en place un processus quotidien de compilation de référence. Chaque nuit, le système CI/CD récupérait les dernières modifications du code, créait un nouvel environnement, compilait et déployait une version complète de l'application afin d'y effectuer des tests.

En plus d'assurer un processus de livraison fluide, a1qa a réussi à identifier les tests ayant échoué et à améliorer le niveau global de qualité.

Il a mis en place des rapports transparents

a1qa a intégré TestRail afin de faciliter la gestion des tests et le suivi des résultats. De même, l'équipe a mis en place et amélioré le système interne Aquality Tracking pour générer des rapports clairs comprenant des statistiques et des captures d'écran. Après chaque compilation et chaque exécution automatisée des tests, des rapports étaient générés et joints.

L'un des défis concernait un jeu sur navigateur développé par un prestataire externe. L'automatisation traditionnelle basée sur les repères d'interface n'étant pas envisageable, l'équipe a eu recours à la vision par ordinateur via OpenCV pour identifier des éléments sur des captures d'écran, calculer leurs coordonnées et effectuer des actions telles que des clics sur des boutons.

Tests de performance

Afin de s'assurer que le logiciel puisse supporter des charges élevées et rester opérationnel à long terme, a1qa a évalué les performances d'une API basée sur SOAP. Côté client, les ingénieurs ont testé des processus tels que l'inscription des utilisateurs, la connexion, la mise, la navigation sur le Web et bien d'autres encore.

L'équipe a également vérifié le tableau de bord d'administration utilisé par les gestionnaires pour créer des événements, répondre aux utilisateurs finaux, interagir avec leurs profils, attribuer des paris gratuits et effectuer d'autres opérations. Pour ce faire, l'équipe d'assurance qualité a appliqué les approches suivantes :

• Tests indépendants: chaque test évaluait la qualité d'un seul élément. Pendant 15 minutes, les ingénieurs augmentaient progressivement la charge et la maintenaient pendant les 15 minutes suivantes afin de déterminer si le système était capable de supporter la charge cible requise.
• Tests combinés: chaque test évaluait la qualité de plusieurs composantes (par exemple, une composante principale comprenant les paris, les retraits et l'historique, ce qui permettait d'intégrer d'autres éléments supplémentaires). La charge augmentait progressivement pendant 45 minutes, puis restait constante pendant les 15 minutes suivantes.
• Prise en charge des événements: chaque test évaluait l'ensemble des fonctionnalités, y compris le panneau d'administration et les fonctionnalités principales, en utilisant, par exemple, des statistiques issues de l'environnement de production concernant les paris placés lors d'événements sportifs au cours des dernières 24 heures.

Pour tester chaque scénario, a1qa a recensé des objectifs issus de l'environnement de production ainsi que des objectifs liés au nombre de transactions par seconde pour chaque composant. Lorsque les tests dépassaient ces objectifs, l'équipe augmentait la charge de 50 % afin d'identifier les limites du système et les goulots d'étranglement en termes de performances. Après avoir créé des tickets afin que les développeurs puissent y remédier, a1qa a réexécuté les tests et validé les corrections.

La création des scripts s'est avérée complexe, car chaque composant présentait des exigences spécifiques. Plutôt que d'enregistrer des sessions utilisateur, l'équipe a généré une charge à l'aide de requêtes API et a utilisé la paramétrisation en Java pour répondre aux exigences de la conception des tests.