Wann lohnt sich ein A/B-Test?

Welche Entscheidung soll der Test ermöglichen?

Ein A/B-Test vergleicht Varianten unter kontrollierten Bedingungen. Geeignete Besucher werden zufällig zugeordnet; die vorab festgelegte Zielgröße wird anschließend zwischen den Gruppen verglichen. Beginne mit einer konkreten Entscheidung: Soll etwa eine andere Angebotsdarstellung dauerhaft übernommen werden? „Wir wollen etwas testen“ ist noch keine brauchbare Fragestellung.

Die Hypothese benennt Problem, Änderung und erwarteten Zusammenhang. Beispielsweise könnte eine klarere Beschreibung des Erstgesprächs Unsicherheit vor der Buchung reduzieren. Das ist eine prüfbare Annahme, kein versprochener Effekt. Lege auch fest, welche Nachteile du beobachten musst, etwa schlechtere Anfragequalität.

Welche Daten werden benötigt?

Prüfe zunächst, ob Zuweisung und Ereignisse zuverlässig funktionieren. Ein Kauf muss in beiden Varianten gleich definiert sein. Unterschiede in Einwilligung, Gerätewechseln oder fehlerhafter Auslieferung können die Interpretation erschweren. Eine auffällige Abweichung vom geplanten Gruppenverhältnis ist ein Grund, die technische Ursache zu untersuchen. Microsoft Research beschreibt diese Prüfung als Sample Ratio Mismatch.

Effektgröße und Laufzeit planen.

Eine universelle Mindestzahl an Besuchern gibt es nicht. Ausgangsrate, kleinster geschäftlich relevanter Effekt, gewünschte Teststärke und Fehlerrisiko bestimmen den Datenbedarf. Die verfügbaren geeigneten Besucher pro Tag beeinflussen, wie lange dieser Bedarf voraussichtlich braucht. Saisonale Wechsel und lange Entscheidungswege gehören ebenfalls in die Planung.

Rechenbeispiel zur Interpretation: Von 2 % auf 2,2 % sind 0,2 Prozentpunkte beziehungsweise 10 % relative Veränderung. Diese zwei Angaben dürfen nicht verwechselt werden. Das Beispiel sagt weder, wie viele Besucher nötig sind, noch dass eine solche Verbesserung wahrscheinlich ist. Die Stichprobe wird mit dem passenden statistischen Verfahren geplant.

Welche Fehlschlüsse solltest du vermeiden?

Beende einen Test nicht einfach beim ersten erfreulichen Zwischenstand. Die Auswertungs- und Abbruchregel muss zum gewählten Verfahren passen. Viele nachträglich durchsuchte Kennzahlen oder Teilgruppen erhöhen die Gefahr zufälliger Treffer. Dokumentiere Hauptmetrik, Einschränkungen und Abweichungen vom Plan, bevor du einen Gewinner ausrufst.

Ein nicht eindeutiger Befund bedeutet nicht automatisch, dass Varianten gleichwertig sind. Möglicherweise reichen die Daten nicht aus. Umgekehrt ist ein statistisch erkennbarer Unterschied nicht automatisch wirtschaftlich wichtig. Betrachte Unsicherheit, Effektgröße, Umsetzungskosten und Qualitätskriterien gemeinsam.

Was tun bei zu wenig Traffic?

Prüfe Nutzbarkeit, technische Fehler und Verständnisprobleme mit geeigneten qualitativen Methoden. Beobachtete Probleme können konkrete Verbesserungen begründen, auch wenn ihre Umsatzwirkung nicht isoliert messbar ist. Ein kaputtes Formular braucht eine Reparatur, keinen Wettbewerb gegen eine funktionierende Variante.

Halte vor dem Start fest: Was soll entschieden werden? Welche Messung ist verlässlich? Ist die geplante Datensammlung realistisch? Wer setzt das Ergebnis um? Fehlt eine dieser Grundlagen, ist eine vorbereitende Analyse häufig die sinnvollere Investition.

Quellen und weiterführende Dokumentation

Microsoft Research: Diagnosing Sample Ratio Mismatch in A/B Testing

Microsoft Research: Patterns of Trustworthy Experimentation – Pre-Experiment Stage

Passende Vertiefung

Conversion-Optimierung

Tracking & Analytics

Was ist Conversion-Optimierung?