Foto: Jirsak - shutterstock.com
Betreiber von Websites und Online-Shops möchten ihren Nutzern stets das beste Einkaufs- und Surferlebnis bieten. Im immer weiter steigenden Wettbewerb unter einer Vielzahl von Shops und Websites gilt es, sich von der Konkurrenz abzuheben. Doch welche Möglichkeiten der Optimierung und Individualisierung des Einkaufsvorgangs im Web bringen wirklich einen Mehrwert – sowohl für Website- und Webshop-Betreiber, als auch für die Nutzer? Zur Beantwortung dieser Frage werden A/B-Tests eingesetzt. Denn sie liefern statistisch valide Ergebnisse, ob Optimierungspotenziale sinnvoll genutzt werden.
A/B-Testing: Definition
Bei A/B-Tests handelt es sich um eine Variante des Testings, also des Experimentierens auf einer Website oder in einer App. Da hierbei zwei verschiedene Varianten (A und B) gegeneinander getestet werden, wird der A/B-Test auch Split-Test genannt. Eine der Varianten wird den Nutzern dabei per Zufallsprinzip angezeigt. Die Nullgruppe sieht Variante A: die Website oder App ohne Veränderung. Der Testgruppe wird Version B gezeigt – das veränderte Element der Website oder App. Wie groß die zwei Gruppen im Test sind, kann der Shop- oder Website-Betreiber selbst entscheiden. Klassisch ist jedoch eine 50:50-Verteilung.
Weitere Testing-Optionen sind Multivarianten- oder Split-URL-Tests. Bei ersteren werden mehrere Varianten einer Änderung gleichzeitig getestet. Bei Split-URL Tests wird der Traffic auf verschiedene URLs geleitet, um zu untersuchen, welche Variante besser performt.
Getestet werden können sehr viele Elemente und Inhalte der Website. Beispielsweise können nur einzelne Elemente, wie die Farbe eines Buttons oder der Text einer Headline geändert werden. Auch das Ersetzen eines ganzen Teils der Seite sowie das Hinzufügen neuer Inhalte ist möglich. Diese Veränderung wird im Test dann bezüglich ihres Einflusses auf Key Performance Indicators (KPIs), wie zum Beispiel die Conversion-Rate, untersucht.
Der Nutzen von A/B-Testing
A/B-Tests sind eines der wichtigsten Mittel zur Conversion Rate Optimierung. Für eine gute Conversion-Rate müssen Shop-Betreiber den Nutzern ein individuelles, einfaches und bequemes Einkaufs- und Surferlebnis bieten. Ohne zu verstehen, was die Nutzer wollen, ist das nicht möglich. Um herauszufinden, welche Maßnahmen zur Optimierung und Personalisierung der Website wirklich funktionieren, ist Testing ein wichtiges Mittel. Denn A/B-Tests helfen, objektiv und valide zu entscheiden. So kann das Einkaufserlebnis mittels kontinuierlichem Testing immer weiter verbessert werden. Die Conversion-Rate steigt bei gleichbleibendem Traffic.
Voraussetzungen für AB-Testing
Voraussetzung für erfolgreiche Tests sind eine sorgfältige Planung und eine Testing-Strategie. Denn nur wer Optimierungen sauber plant und durchführt, wird am Ende valide Ergebnisse erhalten. Zu Anfang gilt es herauszufinden, wo es Probleme im Shop oder auf der Website gibt – beispielsweise hohe Bounce-Rates. Die verschiedenen "Baustellen" werden aufgelistet und priorisiert. Denn zum einen ist es nicht sinnvoll, zu viele Tests auf einmal anzustoßen, die sich möglicherweise gegenseitig beeinflussen. Zum anderen spielen auch die internen Ressourcen eine wichtige Rolle. Entsprechend werden die Tests nach Relevanz, Umsetzbarkeit und Potenzial priorisiert.
Nach der Priorisierung werden für die jeweiligen Tests Hypothesen formuliert. In eine Hypothese fließt ein, was das Problem ist, wo die Ursache liegen könnte und wie sie behoben werden soll. Ebenfalls sollten konkrete KPIs als Ziele mit aufgenommen werden. Springen beispielsweise vergleichsweise viele Nutzer bei der Newsletter-Anmeldung ab, könnte das Problem an zu vielen Feldern liegen. Die Lösung wäre, die Zahl der Felder auf das Nötigste zu reduzieren. So soll die Abschlussrate (Conversion-Rate) möglichst auf einfache Weise erhöht werden.
AB-Test: Der Aufbau und die Durchführung
Der Aufbau und die Durchführung von Tests unterscheidet sich je nach gewähltem Testing-Tool. In der Regel kann folgender Aufbau grob beschrieben werden:
Im A/B-Testing-Tool werden die Varianten der zu untersuchenden Verbesserungen angelegt. Bei klassischen AB-Tests wird eine Veränderung angelegt, der eine Nullgruppe zugeordnet wird. Bei Multivarianten-Tests werden mehrere, unterschiedliche Veränderungen angelegt, die gegeneinander getestet werden sollen.
Im nächsten Schritt wird die Zielgruppe festgelegt: Welche Nutzer sollen zu welchem Zeitpunkt in den Test fallen? Zudem kann auch eingestellt werden, wie der Traffic verteilt werden soll. In der Regel gibt es eine 50/50-Verteilung, genauso kann die Verteilung aber je nach Ermessen des Website-Betreibers eingestellt oder auch vom Tool dynamisch verteilt werden.
Nach der Liveschaltung wird der Test regelmäßig überwacht, um Fehler schnell erkennen zu können – beispielsweise wenn die ursprünglich eingestellte Verteilung stark abweicht.
Ausgewertet werden sollte der Test erst, wenn die statistische Signifikanz erreicht ist. Nur so ist ein valides Ergebnis sichergestellt. Dieser Wert liegt meist bei mindestens 95 Prozent. A/B-Testing-Tools haben in der Regel einen integrierten Signifikanz-Rechner, um den Status eines Tests schnell ablesen zu können.
Stolperfallen beim Testing
Einer der wohl häufigsten Fehler ist es, mehrere Fliegen mit einer Klappe schlagen zu wollen: Zu viele Tests parallel laufen zu lassen, kann sich aber als fatal erweisen. Sie könnten sich gegenseitig beeinflussen und das Testergebnis unbrauchbar machen.
Eine weitere Stolperfalle ist das Testen zur falschen Zeit. Möchte man ein aussagekräftiges Ergebnis, sollten Test-Setups eher in "kaufneutralen" Monaten aufgesetzt werden. Traffic-Spitzen mit vielen unbekannten Besuchern, zum Beispiel zu Black Friday, könnten das Testergebnis verfälschen.
Des weiteren sollten Tests nie zu früh beendet werden. Nicht auf die Signifikanz zu achten, kann dazu führen, dass zu früh die falschen Schlüsse gezogen werden. Mit steigenden Nutzerzahlen ändern sich die Testergebnisse häufig noch. Erst mit Erreichen der Signifikanz läst sich die Gewinnervariante klar identifizieren.
A/B-Testing als kontinuierlicher Prozess
Testing ist ein laufender Prozess. Nur weil ein Test erfolgreich abgeschlossen wurde, bedeutet das nicht, dass sich der Website-Betreiber nun zurücklehnen kann. Vielmehr können A/B-Tests als Grundlage für weitere Tests gesehen werden. Waren sie nicht erfolgreich, ist das auch eine Erkenntnis und eine Grundlage, das Test Setup noch einmal zu überdenken. Erfolgreiche A/B-Tests sind natürlich das Ziel! Die Gewinnervariante wird dann meist fest auf der Website übernommen und an alle Nutzer ausgespielt. Aber es gibt immer Luft nach oben. Deshalb handelt es sich beim Testing um einen kontinuierlichen Prozess der Verbesserung – eben mehr Marathon als Sprint.
Mehr zu A/B-Tests:
In zehn Schritten zum effizienten Online-Shop
Das hat sich für Online-Händler seit dem 1. Juli 2021 geändert
Warum A/B-Testing nicht immer funktioniert