Dans cet article, nous discuterons des valeurs aberrantes dans les tests fractionnés SEO A/B. Nous mettrons en lumière certains des problèmes qui provoquent l’apparition de valeurs aberrantes tout en faisant des recommandations pour les traiter.
Plongeons dedans.
Parfois, nous voyons des pics de trafic dans un test fractionné SEO A/B ; c’est une indication qu’il existe des URL aberrantes dans l’ensemble de données. Le pic de trafic se produit car il y a un mauvais alignement des données.
Il existe plusieurs types de valeurs aberrantes dans les tests fractionnés SEO A/B :
Comment le trafic organique affecte-t-il les tests fractionnés SEO A/B avec des valeurs aberrantes ?
Les tests SEO A/B nécessitent qu’un groupe de pages soit divisé en deux groupes équitables (contrôle et variante) en fonction du trafic organique.
Il a également fallu 100 jours de trafic organique de pré-test avant de diviser les URL en groupes de contrôle et de variantes.
Chaque test nécessite un minimum de 100 000 clics sur l’ensemble d’URL faisant l’objet d’un test fractionné pour obtenir un résultat de test statistiquement significatif.
Lorsque les anomalies de trafic au sein du groupe sont divisées, ces valeurs aberrantes de trafic sont exclues des groupes de contrôle et de variantes.
Un exemple de pics de trafic organique aberrant :
*Le modèle de 100 jours dans l’exemple ci-dessus s’exécute entre le 30 janvier 2022 et le 9 mai 2022.
Bien que la période de test de 30 jours ne soit pas encore terminée, nous pouvons voir qu’il y a des problèmes avec le modèle précédent de 100 jours à cause des pics de trafic.
Lorsque nous avons des pics dans le modèle de 100 jours entre les groupes de contrôle et de variantes, cela indique que le modèle n’est pas adapté aux tests fractionnés SEO A/B en raison du trafic qui ne correspond pas.
De plus, le large ombrage bleu clair nous montre que le modèle de trafic n’est pas bon.
Lisez notre article de base de connaissances sur Comment lire les résultats des tests SplitSignal.
Pertinence thématique dans les URL et la modélisation du trafic
Certains sites ont des différences de trafic en fonction des sujets, même si le modèle de page de test est le même. La différence de trafic peut créer des valeurs aberrantes.
Lorsque cela se produit, nous vous recommandons d’utiliser des URL provenant de sujets similaires. Ces URL peuvent ensuite être téléchargées dans SplitSignal, où vous relancerez ensuite votre test.
Comment les valeurs aberrantes peuvent-elles se produire avec des éléments de page ?
Des valeurs aberrantes dans les éléments de page peuvent se produire lors du test d’une modification des éléments de page. Vous devez vous assurer que toutes les URL de vos groupes de contrôle et de variantes contiennent l’élément sur la page que vous souhaitez modifier. Les pages incluses qui ne contiennent pas l’élément seront considérées comme des valeurs aberrantes.
Exemple de valeur aberrante d’éléments de page :
Si nous cherchions à remplacer une balise h3 dans les articles de blog par une balise h2 dans notre test, nous ne supposerions pas que toutes les pages ont la balise h3.
Au lieu de cela, votre équipe interne ou une agence SplitSignal approuvée doit explorer le site avec un outil tel que Screaming Frog ou Deep Crawl pour saisir l’ensemble exact d’URL dans la structure du site que vous cherchez à faire votre test qui a l’élément souhaité sur la page. .
Dans l’exemple ci-dessus, nous chercherions uniquement à trouver les pages de blog avec un en-tête h3 dans la structure du site.
Qu’est-ce qui cause les valeurs aberrantes de saisonnalité dans les tests fractionnés SEO A/B ?
Lorsque vous exécutez un test fractionné SEO avant, pendant ou après des vacances, vous pouvez constater que vos résultats de test contiennent un pic de trafic.
Cela est dû aux URL associées aux vacances. Ce pic de trafic fausse les résultats des tests.
La clé ici est d’identifier la ou les URL en question, de les examiner pour voir si elles sont saisonnières en raison des vacances et de les supprimer du groupe de test.
SplitSignal vous permet de filtrer vos pages pour exclure les pages aberrantes. Vous pouvez alors relancer le test. Si vous constatez toujours un pic de trafic, vous devrez revoir votre ou vos URL plus en détail, car certaines pages supplémentaires sont aberrantes. Répétez le processus ci-dessus.
Exemple de saisonnalité aberrante :
Dans cet exemple, nous montrerons trois tests d’un marché mondial pour la création de conceptions et de produits uniques avec personnalisation.
Essai 1 :
Période : du 29 juillet 2021 au 2 novembre 2021
Hypothèse : En ajoutant du personnalisé au h1, on augmentera les clics.
Analyse:
Le test a eu une taille d’effet positive de 30,7 %.
Parce que la taille de l’effet était si grande, nous avons décidé de relancer le test pour garantir la précision.
Le test a montré un changement positif du nombre total de clics au sein du groupe de variantes.
Essai 2 :
Période : du 8 octobre 2021 au 12 janvier 2022.
Hypothèse : En supprimant le personnalisé au h1, on augmentera les clics.
Analyse:
Le test a eu une taille d’effet positive de 8,6 %.
Le test a montré un changement positif dans les clics prévus au sein du groupe de contrôle.
Notre test n’a changé que parce que le test n° 1 incluait le texte : personnalisé à la balise h1. Dans le test #2, nous l’enlevions du h1.
Pourquoi avons-nous analysé les deux tests plus en détail ?
- Les deux tests fractionnés SEO A/B ont eu des résultats positifs.
- Le test n° 1 a des résultats positifs pour le groupe variant.
- Le test # 2 a des résultats positifs pour le groupe témoin.
- Il y avait des vacances importantes entre les deux périodes : Noël, Hanoucca et le Nouvel An.
Voici ce que nous avons trouvé :
Les deux groupes de test fractionné ont eu un test positif qui nous a amenés à rechercher une URL avec une plus grande quantité de trafic pendant la période de test fractionné, mais pas dans le modèle de 100 jours avant le test.
Nous avons pu isoler une URL : /ornaments, et cette URL a reçu un plus grand nombre de clics que les autres URL des deux groupes, et elle était liée aux vacances.
De plus, dans le test n° 1, il résidait dans le groupe variant, et dans le test n° 2, il résidait dans le groupe témoin.
Étant donné que les irrégularités de trafic se sont produites lors des tests et non dans le modèle de 100 jours précédent, SplitSignal n’a pas exclu l’URL.
Nous avons manuellement exclu cette URL et relancé le test une fois de plus.
Essai 3 :
Période : du 10 novembre 2021 au 16 février 2022
Hypothèse : En supprimant le personnalisé au h1, on augmentera les clics.
Clics supplémentaires
Pages testées
*Nous avons supprimé manuellement l’URL aberrante avant d’exécuter ce test.
URL visitées par Googlebot :
Analyse:
Ce test a eu une taille d’effet positive de 3,7 %.
Pendant que ce test est toujours en cours, nous pouvons vous apporter ces résultats car Googlebot a visité toutes les 128 URL du groupe de variantes.
Ces résultats de test se sont normalisés maintenant que l’URL saisonnière aberrante a été supprimée.
Nous savons également que le test est statistiquement significatif car le niveau de confiance est de 96 % et qu’un niveau de confiance de 95 % ou plus est requis pour la signification statistique.
Les tests 1 et 2 étaient également statistiquement significatifs. Cependant, leurs résultats ont mis en évidence des facteurs supplémentaires qui nécessitaient une analyse plus approfondie pour confirmer ces résultats. Ces facteurs nous ont finalement permis de voir l’URL saisonnière aberrante. Les tests n° 1 et n° 2 étaient faussés en raison d’une URL saisonnière aberrante.
Exclusions d’URL que SplitSignal supprime automatiquement
SplitSignal exclut les URL du trafic organique des 100 jours précédents :
- URL avec incohérence du trafic—Les URL dont le trafic de clics est incohérent avec les autres URL du modèle de trafic de 100 jours du pré-test sont exclues.
SplitSignal fait un excellent travail pour gérer les exclusions d’incohérence du trafic, mais parfois les URL qui sont incluses n’ont pas d’incohérences de trafic dans le modèle de pré-trafic de 100 jours.
- URL redirigées—Les URL avec des redirections sont exclues de l’inclusion.
- URL introuvables—Les URL introuvables sont exclues de l’inclusion.
- URL bloquées—Les URL qui sont bloquées via des méta-robots de page ou un fichier robots.txt sont exclues de l’inclusion.
SplitSignal respecte les directives d’un fichier robots.txt et des méta-robots de page, car il s’agit du même comportement que Google bot aurait.
