Comprendre les différents
types de test A/B.

Comprendre les différents types de tests A/B, MVT, par redirection, multi-pages ou bandit et quand les utiliser.

Qu'est ce que le test A/B ?

L’objectif du test A/B est de tester 2 interfaces différentes au même moment et sur 2 groupes d’utilisateurs distincts, mais homogènes. L’A/B testing est une étape dans le processus CRO et permet uniquement de mesurer l’impact d’une nouvelle interface sur le comportement utilisateur et sur les performances business de l’entreprise avec une précision scientifique. C’est aussi un moyen de sécuriser le lancement d’un nouveau projet pour une entreprise.

Plusieurs types de tests sont disponibles dans tous les outils du marché (ABTasty, Kameleoon, Optimizely, Google Optimize, VWO,…). Certains sont à privilégier en fonction de la maturité de l’équipe CRO ou pour rechercher une information précise.

Enfin pour les équipes les plus matures, les expérimentations peuvent être lancées sur un site internet, une application mobile ou même une application TV grâce au test côté serveur.

Définition test A/B

Le test A/B classique permet de tester 2 interfaces différentes sur des groupes distincts, mais avec une composition similaire (mêmes volumes, types ou appareils). L’outil permet de rediriger un utilisateur vers la combinaison A ou B et de conserver l’affichage de celle-ci tant que le test n’est pas terminé. Dans le cas où vous souhaitez tester plus de combinaisons, on parlera de test A/B/C/D/n.

Réalisé sur une ou plusieurs URL, vous pourrez mesurer la différence de performance business (taux de conversion, panier moyen, etc..) ou de comportements entre la version originale (version de contrôle) et la combinaison de test.

Vous pouvez modifier un élément simple comme le label d’un call to action ou toute la structure de la page. Sa mise en place est simple et c’est surement ce qui fait son succès dans les équipes marketing ou CRO.

definition test a/b par FWO
Définition du principe de l'A/B Testing.

Définition Multivariete testing (MVT test)

Le Multivariete testing ou test MVT permet de modifier plusieurs éléments en même temps et de mesurer leur impact de manière isolée ou combinée. Dans le cas où vous souhaitez optimiser un call to action, vous pourriez tenter de modifier sa couleur, son label et sa position. Les résultats du test MVT vous permettront de comprendre que le nouveau label fonctionne bien avec le coloris jaune, mais pas bleu.

Qu’est-ce qu’un composant MVT ou une variation de test MVT ? Voici quelques définitions :

  • Composant de test : Un composant de test MVT fait référence à un type de modifications comme la couleur du bouton.
  • Variation de test : Une variation de test fait référence aux différentes variantes d’un composant de test. Par exemple, la couleur du bouton a comme variante le bleu et le jaune.
  • Combinaison de test : Une combinaison de test est constituée d’une ou plusieurs variations de composant. Par exemple, une combinaison V2 modifiera la couleur en jaune et le label, mais pas sa position.
Définition test multivariete par Mathieu Fauveaux consultant cro indépendant FWO
Définition du principe d'un test MVT avec 2 composants et 2 variations.
Exemple d'un plan de test MVT avec 2 composants et 2 variations.

Le nombre de combinaisons créé évolue de manière exponentielle. Par exemple, avec 3 composants et 2 variations par composant, vous obtiendrez 8 combinaisons (2 x 2 x 2). En ajoutant une variante à l’un des composants (3 x 2 x 2), le nombre grimpe à 12 combinaisons.

Sa complexité et les ressources nécessaires (trafic, temps d’analyse ou de développement…) pour que ce type de test soit efficace réduit son utilisation dans les équipes CRO ou marketing.

Définition test par redirection (split testing)

Le split testing ou test par redirection permet de rediriger un groupe d’utilisateurs vers une nouvelle URL. Le développement du test ne se fait pas en surcouche comme pour un test A/B, mais directement côté serveur. L’équipe technique interne duplique une page et la renomme pour générer l’URL souhaitée.

Ce type de test est intéressant pour des tests sur des landing pages ou des refontes de parcours comme un tunnel de commande.

définition test par redirection url FWO
Définition du principe de l'A/B Testing.

Définition bandit test

Le bandit test est un type de test A/B automatisé. Il est piloté par un algorithme qui calcule la probabilité de réussite d’une combinaison et si ses performances sont bonnes, l’algorithme lui envoie davantage de trafic.

Il y a plusieurs bénéfices avec cette technique :

  • le risque financier est limité puisque les combinaisons négatives reçoivent moins de trafic jour après jour 
  • la détection d’une combinaison gagnante est accéléré
  • la phase d’analyse est déléguée à un algorithme et cela peut-être intéressant pour des équipes avec des compétences limitées

 

Ce type de test A/B est proposé par quelques éditeurs comme Google Optimize, Optimizely ou AB Tasty.

Néanmoins, la pertinence de ces tests est limitée aux données auxquelles l’outil a accès et sa compréhension aux effets externes (opération marketing, météo, évolutions du site ..).

Quelles sont les conditions pour utiliser le test A/B ?

Tous les sites ecommerce, de génération de lead ou même des blogs avec un trafic suffisant peuvent l’utiliser. Le test A/B est l’outil le plus fiable et objectif pour mesurer la pertinence des évolutions d’un site dans un environnement contrôlé.

Toutes les équipes marketing peuvent utiliser un outil de test A/B. Des éditeurs comme AB Tasty, Kameleoon ou VWO proposent une approche simplifiée via un éditeur WYSIWIG. Il permet de modifier le design du site en quelques clics, même si celui-ci n’est pas recommandé (qualité du code).

Une approche plus avancée permet de développer une combinaison de test A/B ou MVT grâce à du JS et du CSS. Ce second type de test s’adresse plutôt à des équipes matures en optimisation de la conversion.