A/B-Test
Zwei unabhängige Conversion-Raten mit Effektgrößen, 95-%-Intervall und zweiseitigem z-/Fisher-Test vergleichen.
Über dieses Tool
Nutzer und Nutzer mit Conversion für unabhängige Gruppen A und B eingeben, dann Vergleichen. Jeder Nutzer liefert ein binäres Ergebnis. Nur ganze Ziffernfolgen: Nutzer 1–1.000.000.000, Conversions 0–Nutzerzahl. Keine Rundung von Anzahlen. Änderungen löschen das Ergebnis; Felder bleiben beim Toolwechsel nur im RAM, ohne Upload oder Browserstorage. Neuladen setzt das Beispiel zurück.
Effekte beziehen sich auf B − A. Absolute Differenz in Prozentpunkten (pp), relativer Lift (Rate B − Rate A)/Rate A; bei Rate A=0 nicht definiert. Aus dem Vorzeichen wird kein Sieger oder Nutzen abgeleitet.
Sind alle gepoolten erwarteten Erfolgs-/Misserfolgszellen mindestens 5, wird der zweiseitige gepoolte Zwei-Proportionen-z-Test ohne Stetigkeitskorrektur verwendet. Sonst der zweiseitige bedingte Fisher-Test: Summe der Tafeln, die höchstens so wahrscheinlich wie die beobachtete sind. Der vollständige dünn besetzte Wertebereich ist durch die Eingabegrenzen beschränkt. Konvertiert niemand oder jeder, liefert Fisher p=1; das belegt keine gleichen wahren Raten.
Das 95-%-Intervall für B − A kombiniert nach Newcombe zwei Wilson-Score-Intervalle ohne Stetigkeitskorrektur. Es invertiert weder Fisher- noch gepoolten z-Test; Intervall und p-Schwelle können daher unterschiedlich entscheiden. Kleine p-Werte in wissenschaftlicher Schreibweise; Gleitkomma-Unterlauf als <1e-300, niemals als exakte Null.
Annahmen: unabhängige Bernoulli-Beobachtungen und vorab festgelegte Stichprobe/Laufzeit. Randomisierung, repräsentativer Traffic und sinnvolle Conversion-Definition werden nicht geprüft. Wiederholtes Nachschauen, Mehrfachvergleiche, sequentielles Stoppen, gepaarte/wiederkehrende Nutzer, Cluster, Bayes-Wahrscheinlichkeiten, Teststärke und Stichprobenplanung sind nicht abgedeckt. Ein p-Wert ist nicht die Wahrscheinlichkeit, dass B besser oder die Nullhypothese wahr ist.