Est t’il encore possible de faire des tests A/B en 2019 ?

Le titre est volontairement provocateur. Je continuerais à faire de l’A/B testing et de l’analytics, mais les pièges sont plus en plus nombreux.

L’A/B testing permet de prendre des décisions en se basant sur des données qui valident ou invalident des hypothèses scientifiquement.

Mais certains éléments me laissent penser qu’il est très important de rester critique dans l’analyse des résultats issus de ces A/B tests. Et la situation ne fait que s’empirer progressivement.

Le consentement via poursuite de la navigation

Afin d’éviter de trop gêner l’internaute, mais également d’augmenter le taux de consentement / la précision de la collecte, bien souvent, la poursuite de la navigation (clic, scroll..) est considérée comme un un consentement implicite.

Les nouveaux visiteurs qui arrivent sur un site, ne sont donc comptabilisés dans l’outil d’analytics qu’après un test ou un scroll significatif. L’outil d’analytics permettant d’aller bien plus loin dans l’analyse que l’outil d’A/B testing, il est souvent utilisé pour le pilotage, le bilan des tests A/B.

L’outil d’A/B testing est régulièrement positionné par les annonceurs sans prise en compte du consentement. Ce n’est pas toujours le cas, et n’est pas nécessairement la recommandation des éditeurs.

Un déclenchement de la solution d’A/B testing suite à poursuite de la navigation n’est pourtant vraiment pas l’idéal. Cela implique que des éléments de la page visitée lors de l’arrivée de l’internaute sur le site, seront modifiés lors d’un clic voire d’un scroll “significatif”.

Certaines solutions (AB Tasty) proposent d’appliquer la variante à l’arrivée de l’internaute sur la page mais de n’envoyer les données à la plateforme qu’après consentement de l’internaute. Cette solution est bien préférable pour l’expérience utilisateur, mais me fait craindre un “biais du survivant”.

Le biais du survivant

Le biais du survivant est un problème assez courant en statistique. Il se produit je pense de plus en plus dans le web analytics et l’optimisation de la conversion.

Voici : un célèbre exemple du biais du survivant issu du domaine militaire. Pendant la seconde guerre mondiale, un statisticien a étudié les dégâts qui avaient été causés aux avions rentrant de missions. Contre tout attente, le statisticien a recommandé de blinder les appareils sur les endroits qui n’avaient pas été endommagés sur les appareils étudiés.

Son hypothèse était la suivante : les avions qui avaient été touchés aux autres emplacements, étaient dans l’incapacité de revenir à la base. Les parties endommagées des appareils étudiées n’étaient donc pas les plus vulnérables.

Le piège de l’A/B test d’une landing page

Prenons le cas d’une landing page, sur laquelle vous attirez des nouveaux visiteurs (qui n’ont donc pas encore consenti à la collecte de données). Un clic, un scroll significatif est considéré comme un consentement implicite via poursuite de navigation.

Dans le cas où la version originale est repoussante / très mauvaise, seules les personnes initialement très motivées vont être comptabilisées dans l’outil de web analytics / l’outil d’A/B testing (des personnes qui ont déjà entendu parlé de votre marque en bien par des amis…).

En revanche, si dans la nouvelle version testée, les utilisateurs ont naturellement envie de scroller, et d’effectuer différentes micro-interactions sur cette page, ils seront beaucoup plus nombreux à être comptabilisés sur cette variante.

En conséquence, le taux de conversion de la version améliorée sera bien plus faible. Pourtant dans la réalité, commercialement, elle restera bien supérieure.

On a donc bel et bien un biais du survivant dans ce cas.

Des segments de votre audience sous représentés

Les AdBlocker sont utilisés par plus de 11% des internautes sur Internet. Certains adblockers (uBlock) bloquent l’analytics.

Cela nuit bien sûr à la précision. Ce ne serait pas trop gênant si cela impactait de manière équitable l’ensemble de vos variantes.

Mais, plus grave, l’impact sur la précision va varier suivant l’âge de vos utilisateurs, et probablement la maîtrise de la technologie. En effet, suivant certaines études, les bloqueurs de publicité étant surtout utilisés par les jeunes (20% des internautes entre 16 et 34 ans en 2016 utilisent un adblocker).

Le problème se pose peut-être également pour les internautes qui prennent le temps de refuser les cookies.

Plus que 7 jours pour se décider

Des navigateurs souhaitent limiter la durée de stockage des cookies déposés via Javascript à 7 jours. Je pense à ITP 2.1, sur Safari mais également à Firefox qui semble avoir un projet très similaire. Conséquence indirecte de cela, les bandeaux cookies vont être ré affichés très régulièrement sur les sites, et les internautes agacés risquent d’être de plus en plus nombreux à installer des bloqueurs.

Cela va être également gênant pour l’A/B testing. Un A/B test doit durer au grand minimum deux cycles de vente pour mieux comprendre le comportement des utilisateurs dans la durée. Avec ces restrictions, au bout d’une semaine, l’utilisateur sera considéré comme “nouveau”. Une autre variante lui sera peut-être affichée.

La plupart des solutions d’A/B testing utilisent le localStorage en complément des cookies. L’impact de ce problème est probablement réduit grâce à cela.

E-Privacy

La loi RGPD a déjà été très contraignante pour les web analystes, mais celle-ci n’avait aucun rapport avec les cookies. Ce n’est pas le cas du réglement e-privacy qui arrivera fin début 2019 / début 2020. La poursuite de la navigation ne pourra plus être considérée comme du consentement.

Il n’est pas impossible que le projet n’empire pas encore les problèmes de précision.