Un test A/B est une expérience contrôlée en ligne qui permet de tester une expérience utilisateur par rapport à une autre. La version de contrôle aussi appelée version A est la version originale du site. Elle sert de référentiel de mesure sur les différents indicateurs de succès par rapport à la version B. D’autres variantes peuvent être ajoutées et on parlera alors de test A/B/C/n.
Les utilisateurs sont attribués d’une manière aléatoire dans un groupe ou l’autre. Cette technique assure que les populations sont identiques et ne viennent pas biaiser les résultats du test A/B.
Le test A/B permet de tester une hypothèse d’optimisation qui se traduit en interface ou en parcours utilisateur sur un site e-commerce. Les résultats permettent de déterminer l’impact sur le comportement utilisateur et l’impact business associé. L’objectif business est très souvent l’indicateur principal du test et les indicateurs comportementaux secondaires.
Un autre avantage du test A/B est de limiter le risque business dans le déploiement de nouveautés pour une organisation. Elle peut être testée sur une faible part de trafic et son impact business est contrôlé avant un déploiement total.