A/B Testing su Amazon: Un primo sguardo

Una prima analisi della funzione A/B Testing di Amazon

Non raccomandiamo di lanciare un prodotto senza conoscere il mercato e il target che si intende raggiungere. Metaforicamente tale approccio sarebbe come lanciare degli spaghetti contro il muro per vedere quale di loro si attacca. Decisioni così importanti riguardo e-commerce e singoli prodotti dovrebbero sempre essere basate su dati concreti, altrimenti il rischio di sprecare mesi o anni di lavoro di progettazione è decisamente concreto.

Sfortunatamente, Amazon non sempre mette a disposizione tutti i dati necessari per intraprendere le importanti decisioni che riguardano la strategia dell’e-commerce. Tale mancanza si traduce a volte nell’impossibilità per i venditori di condurre test o registrare i dati di cui hanno bisogno.

Recentemente Amazon ha introdotto un nuovo strumento per facilitare la raccolta di dati, disponibile per vendor e seller negli Stati Uniti e in Europa. Nei seguenti capitoli si analizzerà come funziona il tool di A/B Testing di Amazon e quali sono state le conclusioni del nostro team USA in merito alla sua efficacia dopo averlo provato.

Cosa è l’A/B Testing?

L’A/B Testing, anche conosciuto come split testing, è un metodo di sperimentazione usato frequentemente nel marketing, per sviluppare nuovi prodotti o aggiornare quelli più datati. Negli esperimenti A/B vengono mostrate ai clienti due diverse versioni di una variabile durante lo stesso arco di tempo. Una versione agisce come controllo, l’altra invece testa una nuova pagina, layout, o elemento del prodotto.  

Al termine del test i dati relativi al comportamento dei consumatori (come le unità vendute e la percentuale di conversione) indicano quale versione ha avuto un impatto maggiormente positivo sull’utente, evidenziando quindi un modello “vincitore”. Questi test aiutano a individuare quale approccio di creazione dei contenuti dovrebbe essere usato per una determinata linea di prodotti o target di consumatori.

L’A/B Testing fornisce insights molto interessanti, per esempio, quando si introduce un nuovo contenuto A+. L’efficacia del nuovo stile può essere testata mentre la versione precedente assume il ruolo di versione di controllo.

Perché l’introduzione di questo tool da parte di Amazon è così importante?

L’A/B Testing è uno strumento potente perché consente di ottimizzare i contenuti a seconda dei gusti dei consumatori e aumenta la possibilità di comprendere meglio specifici segmenti di target. Sperimentare singoli elementi in maniera isolata aiuta a raggiungere la massima efficacia attraverso un processo graduale di implementazione di piccole modifiche, evitando così di cambiare tutto il contenuto in una volta senza raccogliere alcun dato. I benefici sono evidenti sia sul piano dei costi che su quello della raccolta di dati utili per le operazioni di marketing.

In ogni caso, sebbene gli esperimenti A/B forniscano importanti insights riguardo l’efficacia dei contenuti, in precedenza era possibile condurli su Amazon solamente con l’aiuto di agenzie terze. Senza comprare un tool dedicato o lavorando con un’altra azienda i seller potevano comunque con alcuni limiti provare differenti contenuti per capire come reagivano gli utenti, per farlo era però necessario

• eseguire l’esperimento su due diversi prodotti o
• eseguirlo sullo stesso ASIN in due periodi differenti.

Dal momento che il contenuto non poteva essere applicato in due forme diverse nello stesso momento, era impossibile capire se l’andamento dei dati fosse realmente influenzato dalla modifica di tale elemento o se invece fosse dovuto ad altre variabili, come i trend o la stagionalità.

Quando è utile utilizzare l’A/B Testing?

L’A/B Testing di Amazon è fondamentale per preparare il lancio di un nuovo prodotto o espandere il target di riferimento ad altre audience. I seller possono condurre esperimenti su una piccola selezioni di prodotti per collezionare importanti insights su come i consumatori o l’algoritmo di Amazon rispondono a determinate modifiche, per poi adottarle per il lancio dei nuovi prodotti in caso di esito positivo. In generale, ogni volta che si considera di apportare una modifica a una pagina di prodotto, è conveniente fare un test prima di introdurre la nuova versione su un ampio range di prodotti.

Chi ha accesso all’A/B testing di Amazon?

Lo strumento è disponibile gratuitamente per gli account seller e vendor che possiedono un proprio brand e possiedono almeno un ASIN che registra un traffico rilevante. Per ottenere l’eleggibilità per il testing, gli ASINs devono aver ricevuto dozzine di ordini a settimana o più, in base alla categoria. Tale limitazione assicura che gli esperimenti vengano condotti esclusivamente su prodotti che vantano il traffico necessario da poter registrare dati e condurre a risultati precisi.

Come impostare un A/B test

Per impostare un A/B test è necessario accedere alla pagina “Gestisci le tue prove” attraverso il menù “Attività promozionali” del Vendor o Seller Central. È poi possibile selezionare il bottone “Crea un nuovo esperimento” per scegliere tra i due elementi che al momento è possibile testare: titolo del prodotto e immagine principale. Negli Stati Uniti si possono effettuare questi tipi di ricerca anche sulle componenti delle A+. 

A questo punto non resta che scegliere il prodotto sul quale si vuole condurre questa ricerca selezionandolo dalla lista degli ASINs eleggibili. Si può condurre un solo test alla volta su un ASIN specifico, dunque dal momento in cui si imposta un A/B testing su un ASIN non sarà possibile condurne altri su quello stesso prodotto finché il test precedente non sarà terminato.

Dopo averlo creato è possibile dare un nome all’esperimento e, se ritenuto necessario, è possibile aggiungere una ipotesi del risultato che si prevede di ottenere. Un singolo esperimento può durare dalle 4 alle 10 settimane, la durata che si raccomanda per ottenere dei risultati accurati è quella di 8-10 settimane.

Quando si scelgono le versioni del contenuto da comparare, quella corrente (ovvero quella live sulla pagina del prodotto, che sia un contenuto A+, un titolo o una immagine) diventa la versione A o anche detta variabile di controllo dell’esperimento. Chi imposta l’A/B testing può poi aggiungere la seconda versione “B”. Se la variabile è un contenuto di una pagina A+, allora la versione B deve essere stata già approvata e applicata all’ASIN in Vendor Central. Se questo è stato fatto, l’A+ allora apparirà nel menù a tendina.

Durante lo svolgimento dell’esperimento, un utente deve essere loggato nel suo account per far sì che si registrino le informazioni, il che vuol dire che qualsiasi view della pagina eseguita da un accesso non registrato ad Amazon non verrà tenuta in considerazione. Si suggerisce di non terminare l’esperimento nei casi in cui dopo un breve periodo di tempo sembra sia già chiaro il modello vincente: i risultati delle prime settimane non sono rappresentativi e potrebbero portare a deduzioni e scelte sbagliate.

Capire i risultati dei test

I risultati vengono caricati a cadenza settimanale mentre l’esperimento è in corso. I dati vengono misurati con un’analisi Bayesiana, il che vuol dire che i risultati non sono solamente basati sui dati raccolti durante il test, ma anche su un modello statistico di probabilità. 

Quando viene rilevata una differenza fra i due elementi indagati, vengono forniti numerosi risultati e dati a sostegno della indicazione del contenuto migliore: 

1. La probabilità che una versione sia più efficiente dell’altra
2. Metriche come unità, vendite, percentuale di conversione, unità vendute per visitatore e il volume di dati raccolto per ogni versione.
3. La proiezione di impatto su un anno del contenuto vincitore, la quale stima il possibile incremento di unità e vendite.

Se i risultati sono inconclusivi o non indicano chiaramente che un elemento sia più efficace dell’altro, è un indizio che lascia immaginare che non vale la pena investire tempo per quel contenuto perché o si tratta di un dettaglio che non influisce in modo importante sul comportamento dei consumatori, oppure la modifica apportata è troppo minima e simile alla versione originale.

Osservazioni e conclusioni del nostro team

Dopo aver condotto i primi esperimenti, il nostro team ha osservato che lo strumento A/B Testing di Amazon ha un ottimo potenziale ma è ancora grezzo e non completamente fluido.

Per esempio, al termine di un test una versione è stata riportata come migliore di un’altra con alte probabilità nonostante ci fossero solo differenze minime nei dati dei due contenuti comparati. Nel corso di alcuni test, inoltre, abbiamo notato che in alcune settimane non è stato fornito alcun dato per una delle due versioni, facendoci dubitare della credibilità dei risultati. In più, abbiamo spesso notato un ritardo di 1-2 settimane prima che venissero forniti i dati nonostante i risultati dell’esperimento dovrebbero essere aggiornati su base settimanale.

Questi sono segnali che dimostrano che lo strumento di A/B Testing di Amazon ha bisogno di ancora un po’ di tempo e miglioramenti prima di affermarsi come un tool affidabile. Detto ciò, al termine di altri test abbiamo ugualmente ottenuto risultati credibili e fondati al che ci hanno evidenziato dati interessanti. Dal momento che le metriche di ogni versione sono direttamente visibili, è possibile paragonarle al giudizio finale espresso dallo strumento, per arrivare poi a un giudizio totale finale da parte di chi conduce l’esperimento.

Il nostro verdetto è che il tool A/B Testing di Amazon merita assolutamente di essere provato – ma soprattutto nei primi mesi si ritiene opportuno osservare i risultati con un approccio critico e attento.