Konsumenten erwarten heutzutage eine exzellente Customer Experience und digitale Angebote, die ihren Wünschen und Bedürfnissen entsprechen. Unternehmen wie Uber oder Netflix haben dies erreicht, indem sie Testing als einen wesentlichen Geschäftsprozess etabliert haben. Das bedeutet, dass ihre Entwickler und Produktmanager jede Veränderung und jedes neue Feature durch einen A/B-Test an realen Kunden in einer kontrollierten Umgebung testen. So überprüfen sie, wie sich verschiedene Testvarianten auf das Benutzerverhalten auswirken. Messkriterien dafür sind beispielsweise Kundenbindung, Produkt-Usability und Umsatz.
Foto: Olivier Le Moal - shutterstock.com
Diese Beispiel-Organisationen haben komplexe, unternehmenseigene Software-Plattformen erschaffen, um die digitaleProduktentwicklung im Sinne ihrer Kunden umzusetzen. Möchten andere Unternehmen diesem Beispiel folgen und ihre Entscheidungen durch Daten validieren, müssen sie ihren Produkt- und Entwicklerteams eine entsprechende Plattform zur Verfügung stellen.
Dazu stehen ihnen verschiedene Möglichkeiten zur Verfügung:
Bau einer eigenen, serverseitigen A/B-Testing-Lösung
Integration einer Open-Source-Lösung
Investition in eine professionelle Experimentation-Plattform
Folgende vier Bereiche helfen Unternehmen dabei, sich über die verschiedenen Möglichkeiten zu informieren und zu bestimmen, welcher Ansatz für sie am sinnvollsten ist.
1. Statistische Validität
Arbeit das System zuverlässig und sind die erhaltenen Resultate glaubwürdig?
Werden Experimente korrekt umgesetzt, erkennen Teams sehr schnell, welche Features und Veränderungen den Unternehmenswert steigern, und welche nicht. Die besten Teams stürzen sich auf den Misserfolg, um daraus zu lernen. So können sie sich auf Ideen konzentrieren, die funktionieren. Dafür müssen sie darauf vertrauen können, dass Tests korrekt durchgeführt werden und die Ergebnisse valide sind.
Allerdings unterschätzen viele Unternehmen die schwierige Aufgabe, Daten verlässlich zu erfassen und die Analysekanäle dauerhaft zu pflegen. Wenn Tests nicht richtig nachverfolgt werden oder Integrationen nicht korrekt arbeiten, ergeben sich Verzögerungen oder langsamere Experimente.
In vielen Organisationen sind üblicherweise Analyse- oder Datenwissenschaftler dafür verantwortlich, die Größe der Tests zu bestimmen und die Ergebnisse auszuwerten. Weiten sich Experimente über mehrere Abteilungen aus, fungieren die Analyse-Teams zur Koordination aller Aktivitäten als Schaltzentrale.
Wenn Unternehmen die richtige Plattform für sich suchen, sollten Analyse-Teams in die Auswahlentscheidung eingebunden werden. Sie wissen am besten, welche Lösung ihnen den einfachsten Zugriff auf Daten gewährleistet, um die Ergebnisse am besten an die Stakeholder zu kommunizieren.
2. Einfache Bedienbarkeit
Ist das System für Entwickler leicht zu benutzen und für Business-Nutzer zugänglich?
Teams auf der ganzen der Welt führen jährlich Tausende von Experimenten durch, um möglichst viele Erkenntnisse zu gewinnen. Die einfache Bedienbarkeit einer Plattform sowohl für Profis als auch für Laien entscheidet darüber, ob Unternehmen eine hohe Zahl an Experimenten umsetzen können, oder ob es bei ein paar wenigen bleibt.
Bei den meisten Produktteams implementieren die Entwickler Tests direkt in die Codebasis. Deshalb treffen sie oftmals die erste Entscheidung darüber, mit welcher Lösung gearbeitet wird. Viele Open-Source-Lösungen oder selbst entwickelte Systeme sind anfangs nur über den Code umsetzbar. Das heißt, dass für jede Änderung am Experiment der Code angefasst werden muss. Das bedeutet für Produktmanager oder Analysten, dass sie ohne händische Auswertungen von Daten oder Reports keinen Einblick in laufende Tests erhalten.
Unternehmen erkennen die einfache Bedienbarkeit eines Systems für Business-Nutzer daran, dass eine Fernkonfigurierung möglich ist und es eine simple Benutzeroberfläche bietet. Um die Durchführung der Experimente zu beschleunigen, sollten die Tests von der Installation entkoppelbar und unternehmensweit einfach zugänglich sein.
Für die Produktivität der Entwickler ist es wichtig, dass die Lösung Features wie eine gute Dokumentation und die Unterstützung mehrerer Programmiersprachen anbietet. Hilfreich sind auch Programmierschnittstellen (APIs), die dafür verwendet werden können, bestimmte Aufgaben zu automatisieren oder die Testing-Lösung tiefer in die Workflows der Entwicklerteams zu integrieren.
3. Gesamtbetriebskosten
Wie wird das System erhalten und dauerhaft weiterentwickelt?
Normalerweise ist eine relativ geringe finanzielle Vorleistung notwendig, um eine In-House-Lösung oder ein Open-Source-System umzusetzen. Auf Dauer könnten jedoch zusätzliche Features und Anpassungen notwendig sein, da möglicherweise immer mehr Teams die Plattform Client- oder Server-seitig nutzen werden. An diesem Punkt werden die Entwickler durch die Wartungslast vom eigentlichen Produktfokus abgelenkt.
Um unvorhergesehene Wartungskosten zu vermeiden, sollten Unternehmen daher eine Aufwandseinschätzung vornehmen und folgende Fragen klären:
Werden mehrere Experimente parallel ohne Interaktionseffekte durchgeführt, oder sind die Targeting-Features so konzipiert, dass dies nicht passiert?
Ist genügend Zeit für die Einbindung komplexerer Features oder Bug Fixes zu einem späteren Zeitpunkt einkalkuliert worden?
Es ist wichtig, zu bestimmen, wie zeitintensiv diese Anpassungen sein werden und auszurechnen, welche Ressourcen für die Entwicklung und die Wartung notwendig sind. Diese Einschätzung hilft Organisationen dabei, über die ursprünglichen Entwicklungskosten hinaus zu planen und die richtige Lösung für ihr Unternehmen zu finden. Die erfolgreiche Implementierung einer Testing-Plattform stellt sicher, dass grundlegende Features direkt vorhanden sind, wenn die Teams sie am meisten brauchen.
4. Mitarbeiter und Arbeitsabläufe
Wer implementiert eine Experimentierkultur im gesamten Unternehmen?
Für die gewinnbringende Durchführung von Experimenten ist die Unternehmenskultur genauso wichtig wie die Technik. Die erfolgreichsten Teams investieren in Mitarbeiter und den Prozess, mit dem der Kulturwandel im Unternehmen Fuß fasst und datengestützte Entscheidungen Standard werden.
Egal ob sich Unternehmen dafür entscheiden, selbst eine Experimentation-Plattform zu bauen oder in eine professionelle Lösung zu investieren - es braucht die richtigen Mitarbeiter und Abläufe. Um den größtmöglichen Nutzen aus der gewählten Lösung herauszuholen, müssen Organisationen die passenden Teams zusammenstellen, die die Schlüsselmetriken festlegen und eine datengestützte Experimentierkultur unternehmensweit umsetzen.