A/B-Tests auf Amazon: Ein erster Überblick

Ein erster Blick auf Amazons A/B-Testing-Tool

Zunächst raten wir davon ab, ein Produkt zu launchen, ohne den Markt und die Zielgruppe zu kennen. Wichtige Produkt- und E-Commerce-Entscheidungen sollten auf konkreten Daten beruhen, sonst besteht die Gefahr, dass Monate oder Jahre harter Arbeit ins Leere laufen.

Leider macht Amazon Vendoren und Sellern den Zugriff auf die Daten, die die Grundlage für wichtige Entscheidungen bilden, oft nicht gerade leicht. Die eher mangelnde Transparenz auf der Plattform bedeutet, dass Verkäufer nicht immer die Möglichkeit haben, die Tests durchzuführen oder die Daten zu bekommen, die sie gerne hätten.

2021 hat Amazon ein neues Tool gelauncht, um das Sammeln von Daten zu vereinfachen. Zunächst war die Funktion nur für Vendoren und Seller in den USA verfügbar, nun sind A/B-Tests auch in Europa möglich. In diesem Artikel erklären wir, wie Amazons neues A/B-Testing-Tool funktioniert und berichten über das Fazit unseres US-Teams, nachdem es das Testing selbst ausprobiert hat. 

Was ist A/B-Testing?

A/B-Testing, auch bekannt als Split-Testing, ist eine Testmethode, die häufig in der Produktentwicklung und im Marketing eingesetzt wird. Bei A/B-Tests werden den User*innen zwei verschiedene Versionen einer Variable im gleichen Zeitraum gezeigt. Eine Version fungiert als “Kontrolle”, während mit der anderen ein neues Seiten- oder Produkt-Element getestet wird.  

Nach dem Ende des Tests zeigen Metriken zum Nutzer*innenverhalten (z. B. die Conversion Rate oder die verkauften Einheiten), welche Version mehr Einfluss auf die User*innen hat, wodurch letztendlich eine “Gewinner-Version” ermittelt wird. Diese Tests können als Entscheidungsgrundlage dafür dienen, welche Ansätze zur Content-Erstellung für eine bestimmte Produktlinie oder Zielgruppe verwendet werden sollten. 

A/B-Tests liefern wertvolle Erkenntnisse – zum Beispiel beim Erstellen von neuem A+ Content. Ein neuer Style kann getestet werden, während der ältere Content als Kontrollversion dient.

Warum ist es spannend, dass Amazon A/B-Tests anbietet?

A/B-Tests sind ein mächtiges Werkzeug, weil sie eine Optimierung auf Basis des Verhaltens von Kund*innen und damit ein besseres Verständnis für bestimmte Zielgruppen ermöglichen. Das isolierte Testen einzelner Elemente ermöglicht es, durch mehrere kleine Änderungen eine maximale Effektivität zu erzielen, ohne das Risiko einer kompletten Überarbeitung des Contents einzugehen. Es ist ein kostengünstiger und einfacher Weg, um konkrete und relevante Daten zu sammeln.

Doch obwohl A/B-Tests wertvolle Einblicke in die Effektivität von Content liefern, war es bisher nur mit Hilfe von Drittanbietern möglich, diese auf Amazon durchzuführen. Ohne ein zusätzliches Tool zu kaufen oder mit einem Unternehmen zusammenzuarbeiten, konnten Verkäufer lediglich versuchen, verschiedene Content-Ansätze auszuprobieren und zu beobachten, wie sie sich auf das Nutzer*innenverhalten auswirken. 

Die Einschränkungen auf Amazon bedeuten jedoch, dass es notwendig war, entweder 

• den zu testenden Content-Versionen auf zwei Produkte zu verteilen oder 
• die Content-Versionen bei dem gleichen Produkt, aber in aufeinander folgenden Zeiträumen anzuwenden. 

Da die zwei Content-Versionen natürlich nicht zur gleichen Zeit auf das gleiche Produkt angewendet werden konnten, war es unmöglich herauszufinden, ob das Content-Element selbst die Metriken beeinflusst oder ob andere Einflüsse wie z. B. Saisonalität oder Trends im Spiel waren.

Wann ist es sinnvoll, A/B-Tests zu nutzen?

A/B-Tests auf Amazon sind ein besonders mächtiges Tool, wenn neue Produkte eingeführt oder neue Zielgruppen erschlossen werden sollen. Verkäufer können Tests mit einer kleinen Anzahl von Produkten durchführen, um erste Erkenntnisse darüber zu sammeln, wie Kund*innen oder auch der Amazon-Algorithmus auf bestimmte Elemente reagieren – und diese Learnings dann bei der Einführung weiterer Produkte nutzen. Generell ist es immer dann sinnvoll, einen Split-Test durchzuführen, wenn eine Änderung an der Produktdetailseite in Erwägung gezogen wird, bevor die Änderungen für eine breite Palette von Produkten implementiert werden. 

Wer hat Zugang zu Amazons neuem Test-Feature?

Derzeit befindet sich die Funktion in der Beta-Testphase und ist kostenlos verfügbar. Sie ist nur für Seller und Vendoren verfügbar, die ihre Marke registriert haben und mindestens eine ASIN haben, die ausreichend Traffic verzeichnet. Um für A/B-Tests in Frage zu kommen, müssen ASINs je nach Kategorie mehrere Dutzend Bestellungen pro Woche oder mehr erhalten. Diese Maßnahme stellt sicher, dass die Produkte genügend Traffic und Verkäufe haben, um aussagekräftige Ergebnisse zu liefern.  

Guide: Aufsetzen von Amazon A/B-Tests 

Um einen A/B-Test einzurichten, gelangt man im Vendor Central oder Seller Central über den Reiter “Marketing” zur Seite “Ihre Experimente verwalten”.

Auf dieser Seite können Benutzer*innen über “Neues Experiment erstellen” zwischen den Elementen wählen, die derzeit getestet werden können: der Produkttitel, das Hauptbild, die Produktbeschreibung, Bullets und der A+ Content. Anschließend können die gewünschten Produkte aus einer Liste der in Frage kommenden ASINs ausgewählt werden. Es kann immer nur ein Split-Test pro ASIN durchgeführt werden. Wenn also bereits ein Test läuft, steht der Artikel für weitere Experimente erst dann zur Verfügung, wenn der erste Test abgeschlossen ist.

Der Test kann anschließend benannt und eine Hypothese für das Ergebnis des Tests eingefügt werden, sofern es eine Erwartung gibt. Zusätzlich kann eine Laufzeit des A/B-Tests zwischen 4 und 10 Wochen gewählt werden, wobei 8 – 10 Wochen für aussagekräftigere Ergebnisse empfohlen werden. 

Bei der Auswahl der zu vergleichenden Content-Versionen wird der aktuelle Content auf der Produktdetailseite automatisch zur “Version A” oder zur Kontrollvariablen im A/B-Test bestimmt. Dann kann eine zweite “B”-Version zum Vergleich hinzugefügt werden. Wenn es sich bei der Variablen um A+ Content handelt, muss auch die “B”-Version bereits genehmigt und der ASIN im Vendor oder Seller Central zugeordnet worden sein. Sind diese Schritte durchlaufen, wird die A+ Page im Dropdown-Menü angezeigt.

Während der A/B-Test läuft, müssen die Kund*innen in ihren Amazon-Konten eingeloggt sein, damit die Daten aufgezeichnet werden können. Das bedeutet, dass alle Seitenaufrufe, die nicht über ein Kund*innenenkonto getätigt werden, nicht in den Test einbezogen werden. Wir warnen außerdem davor, Experimente vorzeitig zu beenden, wenn es einen klaren Favoriten zu geben scheint: Die Testergebnisse der ersten Wochen sind noch nicht repräsentativ und können ein irreführendes Bild liefern. 

Die Ergebnisse des A/B-Tests verstehen

Während des gesamten Tests werden die Ergebnisse auf wöchentlicher Basis aktualisiert. Die Daten werden mit einer Bayesschen Statistik gemessen – die Ergebnisse basieren also nicht nur auf den gesammelten Daten des Tests, sondern auch auf einem statistischen Wahrscheinlichkeitsmodell. Sofern ein signifikanter Unterschied zwischen den Content-Elementen gefunden wird, werden am Ende des A/B-Tests mehrere Ergebnisse angezeigt:

• Die Wahrscheinlichkeit, dass eine Version effektiver ist als die andere
• Metriken wie Units, Sales, Conversion Rate, verkaufte Einheiten pro unique User und die Größe der Stichprobe für jede Version
• Die prognostizierte Auswirkung des erfolgreicheren Contents (hochgerechnet auf ein Jahr) mit einer Schätzung der möglichen zusätzlichen Sales und verkauften Units 

Wenn die Ergebnisse nicht eindeutig sind oder unzuverlässig wirken, kann das bedeuten, dass es sich nicht lohnt, diese Content-Elemente zu testen, weil sie das Kund*innenverhalten nicht beeinflussen, oder dass beide Versionen ähnlich erfolgreich sind. 

Fazit unseres Teams und Ausblick

In den ersten Experimenten hat unser Team festgestellt, dass Amazons A/B-Testing-Funktion zwar viel Potenzial hat, aber noch einige kleinere Pannen aufweist und noch nicht ganz reibungslos funktioniert. 

Zum Beispiel zeigte ein Testergebnis trotz nur geringer Unterschiede zwischen den Metriken der beiden Versionen eine sehr hohe Wahrscheinlichkeit an, dass eine Version überlegen war. In einigen wenigen Tests gab es Wochen, in denen für eine der Versionen scheinbar keine Daten gesammelt wurden, was uns an der Zuverlässigkeit der Ergebnisse zweifeln ließ. Außerdem gab es häufig eine Verzögerung von ein bis zwei Wochen, bevor uns Daten zur Verfügung standen, obwohl die Ergebnisse der Experimente eigentlich wöchentlich aktualisiert werden sollten. 

Dies sind unserer Meinung nach Anzeichen dafür, dass Amazons A/B-Testing noch etwas Zeit benötigt, bevor es komplett zuverlässig ist. Dennoch hatten wir mehrere Tests, die starke und zuverlässige Resultate gezeigt haben, und wir hatten das Gefühl, dass wir mit dieser Funktion wertvolle neue Erkenntnisse gewinnen konnten. Da die Metriken für jede Version direkt sichtbar sind, ist es möglich, die Zahlen selbst mit dem Urteil des Tools zu vergleichen – so kann eine endgültige Schlussfolgerung auch selbst gezogen werden. 

Unser Fazit: Amazons A/B-Testing ist das Ausprobieren definitiv wert – aber gerade in den ersten Monaten sollte man die Ergebnisse kritisch betrachten.