Bayesian A/B-Testing und Prior-Probabilities
Definition: Bayesian A/B Testing ist ein statistisches Verfahren, das Prior-Wahrscheinlichkeiten mit beobachteten Daten kombiniert, um die Posterior-Verteilung der Conversion-Rate jeder Variante zu berechnen. Im Gegensatz zur Frequentistischen Methode liefert es direkte Wahrscheinlichkeitsaussagen zur Überlegenheit einer Variante und ermöglicht sequentielle Auswertungen ohne feste Stichprobengrößen.
Was ist Bayesian A/B Testing?
Bayesian A/B Testing ist ein Verfahren, das klassische A/B-Tests um eine entscheidende Fähigkeit erweitert: Es rechnet mit Vorwissen. Statt einfach nur zwei Varianten zu vergleichen, kombiniert es explizite Annahmen über die Conversion-Rate mit den im Test beobachteten Daten. Das Ergebnis ist eine aktualisierte Wahrscheinlichkeitsverteilung für jede Variante.
Die Kernidee stammt aus dem Bayes-Theorem:
P(H|D) = P(D|H) × P(H) / P(D)
Dabei steht H für eine Hypothese, D für die Daten, P(H) für die Prior-Wahrscheinlichkeit und P(H|D) für die Posterior-Wahrscheinlichkeit. Für A/B-Tests übersetzt sich das in: Wie wahrscheinlich ist eine bestimmte Conversion-Rate, nachdem ich die Daten gesehen habe?
Wie funktionieren Prior-Probabilities?
Prior-Probabilities, also Prior-Wahrscheinlichkeiten, sind Ihre informierten Annahmen vor dem Test. Sie können aus früheren Experimenten, Branchen-Benchmarks oder Expertenwissen stammen. Ein gut gewählter Prior verhindert, dass ein Test mit extremen oder unrealistischen Schätzungen beginnt.
Ein Beispiel: Wenn eine Landingpage seit Monaten eine Conversion-Rate von 3 % aufweist, setzen Sie den Prior für die Kontrollvariante nahe diesem Wert. Für die Testvariante wählen Sie einen breiteren Prior, weil Sie noch nicht wissen, wie sie abschneidet.
Diese Priors werden durch die beobachteten Klicks und Conversions zu Posterior-Verteilungen aktualisiert. Die Posterior-Verteilung zeigt die plausible Spannweite der Conversion-Rate nach dem Test – direkt interpretierbar.
Die Posterior-Verteilung ist eine gewichtete Synthese aus Vorwissen und empirischen Daten. Je mehr Daten vorliegen, desto stärker dominiert die Evidenz den Prior.
Warum ist der Bayesianische Ansatz im Vorteil?
Der wohl größte Unterschied zu frequentistischen Tests liegt in der Aussagekraft. Ein frequentistischer p-Wert sagt: „Wenn die Nullhypothese wahr wäre, wäre dieses Ergebnis extrem unwahrscheinlich.“ Ein Bayesianisches Modell liefert hingegen eine direkte Aussage: „Die Wahrscheinlichkeit, dass Variante B besser ist als Variante A, beträgt 87 %.“
Dazu kommen praktische Vorteile:
| Aspekt | Frequentistischer Test | Bayesianischer Test |
|---|---|---|
| Ergebnis | p-Wert, Konfidenzintervall | Posterior-Verteilung, Wahrscheinlichkeiten |
| Stichprobenplanung | feste Stichprobengröße in der Regel nötig | flexibel, sequentielle Auswertungen möglich |
| Interpretierbarkeit | indirekt, fehleranfällig | direkt, intuitiv |
| Vorwissen | wird ignoriert | wird als Prior integriert |
| Abbruchkriterien | feste Regeln, oft starr | flexible Regeln, z. B. bei hoher Sieger-Wahrscheinlichkeit |
Ein weiterer Punkt: Bayesianische Tests erlauben eine sequentielle Auswertung („Continuous Monitoring“). Sie können den Test jederzeit beenden, sobald die Daten ausreichen – allerdings nur, wenn die Stoppregel zuvor definiert wurde, um Fehlentscheidungen zu vermeiden. Das spart Zeit und Ressourcen.
Feynman-Analogie: Lernen vom Ball
Stellen Sie sich ein Kind vor, das einen Ball zum ersten Mal fallen lässt. Bevor es überhaupt wirft, hat es eine vage Erwartung: Der Ball wird wohl nach unten fallen. Diese Erwartung ist der Prior. Der erste Wurf bestätigt die Erwartung. Beim zweiten Wurf auf einem Tisch prallt der Ball ab. Das Kind aktualisiert seine Erwartung: Bälle können springen. Mit jedem weiteren Wurf nähert sich sein Bild der Physik immer genauer an.
Genau so arbeiten Bayesianische A/B-Tests: Sie starten mit einer informierten Vermutung (Prior-Probability), sammeln Daten aus dem Experiment und aktualisieren die Vermutung zur Posterior-Verteilung. Je mehr Nutzer die Varianten sehen, desto präziser wird die Schätzung. Am Ende steht keine starre Ja/Nein-Antwort, sondern ein Wahrscheinlichkeitsprofil, das alle Entscheidungsoptionen abbildet.
Das ist der eigentliche Wert: Sie treffen keine Entscheidung auf Basis eines einzelnen Schwellenwerts, sondern auf Basis einer vollständigen Verteilung aller plausiblen Ergebnisse.
« Back to Glossary Index