A/B Test Significance
Comparer deux taux de conversion indépendants avec effets, intervalle à 95 % et test z/Fisher bilatéral.
À propos de cet outil
Saisissez utilisateurs et utilisateurs avec conversion des groupes indépendants A et B, puis Comparer. Une issue binaire par utilisateur. Chiffres entiers uniquement : utilisateurs 1–1 000 000 000, conversions 0–utilisateurs. Aucun arrondi. Les modifications effacent le résultat ; champs en mémoire entre outils, sans envoi ni stockage. Recharger rétablit l’exemple.
Effets B − A : différence en points de pourcentage (pp), variation relative (taux B − taux A)/taux A, indéfinie si A=0. Le signe ne désigne ni gagnant ni bénéfice.
Test z groupé bilatéral sans correction de continuité si chaque cellule attendue groupée atteint 5, sinon test exact bilatéral conditionnel de Fisher : somme des tableaux au plus aussi probables que celui observé. Le support complet clairsemé est borné par les limites d’entrée. Aucune conversion ou conversion de tous donne Fisher p=1, sans démontrer l’égalité des taux réels.
Intervalle à 95 % de B − A selon Newcombe combinant deux intervalles de Wilson sans correction de continuité. Il n’inverse pas Fisher ni le test z : les décisions par intervalle et seuil p peuvent différer. Petites valeurs p en notation scientifique, sous-flux flottant affiché <1e-300, jamais zéro exact.
Hypothèses : observations de Bernoulli indépendantes et taille/horizon prévus. Randomisation, trafic représentatif et définition des conversions non vérifiés. Pas de suivi séquentiel, regards répétés, comparaisons multiples, données appariées/répétées, grappes, probabilités bayésiennes, puissance ni planification de taille. Une valeur p n’est pas la probabilité que B soit meilleur ou que l’hypothèse nulle soit vraie.