Pruebas A/B en Amazon: Un primer vistazo

Un primer vistazo a la herramienta de pruebas A/B de Amazon

No recomendamos intentar lanzar un producto sin conocer el mercado y público objetivo. Citando el tópico, ese enfoque es como tirar espaguetis a la pared para ver si se pegan. Las decisiones importantes sobre el producto y el e-commerce deben basarse en datos concretos, o de lo contrario se corre el riesgo de que meses o años de duro trabajo puedan, por así decirlo, deslizarse por la pared.

Desafortunadamente, Amazon puede dificultar el acceso a los datos que necesitamos para tomar decisiones importantes en e-commerce. La relativa falta de transparencia de la plataforma significa que los vendedores no siempre tienen la habilidad de crear pruebas o monitorizar los datos que necesitan.

Recientemente, Amazon ha introducido una herramienta nueva para facilitar la recolección de datos, aunque por ahora, solo está disponible para Vendors y Sellers en Estados Unidos y para Sellers en Europa. Continúa leyendo para encontrar detalles sobre cómo funciona la nueva herramienta de Amazon para realizar A/B test y para saber las conclusiones que ha sacado nuestro equipo de Estados Unidos sobre esta nueva función después de haberla probado.

¿Qué es la prueba A/B?

La prueba A/B, también conocida como test por redirección, es un método de experimentación que se usa frecuentemente en el desarrollo y marketing de un producto. En los experimentos A/B, se enseñan dos versiones diferentes de una variable durante el mismo período de tiempo. Una versión actúa como “control”, mientras que la otra testea una página nueva o un elemento del producto.

Una vez que la prueba ha finalizado, las métricas del comportamiento del usuario (como el ratio de conversión o las unidades vendidas) indican qué versión tiene más impacto en los consumidores, revelando un “ganador”. Estas pruebas pueden influenciar a la hora de tomar decisiones sobre qué enfoques de creación de contenido deberían utilizarse para un producto en particular o público objetivo.

Las pruebas A/B aportan detalles valiosos – por ejemplo cuando creamos nuevo contenido A+. La efectividad de los estilos nuevos de contenido puede ser testada mientras que el contenido antiguo puede servir como versión de control.

¿Por qué es interesante que Amazon ofrezca esta función?

La prueba A/B es una herramienta potente, ya que permite optimizar en función del comportamiento del consumidor y mejora el entendimiento de diferentes segmentos objetivos. Testar elementos específicos aislados permite producir una máxima  efectividad a través de la acumulación de pequeñas modificaciones, sin riesgo de tener que llevar a cabo una revisión completa del contenido. Es una manera eficaz, rentable y fácil de recolectar datos concretos y relevantes.

Sin embargo, aunque los experimentos A/B aportan conocimientos valiosos sobre la efectividad del contenido, antes solamente era posible realizar estos test en Amazon con la ayuda de terceras empresas. Sin la necesidad de adquirir una herramienta extra o trabajar con otra empresa, los vendedores podían intentar diferentes enfoques de contenido y monitorizar los datos para analizar cómo afectaron esos cambios al comportamiento del usuario.

No obstante, las restricciones inherentes a la plataforma de Amazon hicieron que fuera necesario llevar a cabo alguna de las siguiente opciones

• aplicar el elemento de contenido experimental a dos productos o 
• aplicarlo al mismo producto durante un periodo de tiempo diferente.

Ya que el contenido no podía aplicarse al mismo producto en el mismo período de tiempo, era imposible saber si el elemento de contenido en sí mismo estaba afectando a las métricas o si había otras influencias en juego, como la estacionalidad o las tendencias.

¿Por qué tiene sentido utilizar las pruebas A/B?

La prueba de A/B de Amazon es una herramienta potente a la hora de lanzar nuevos productos o expandir el público objetivo. Los Sellers pueden llevar a cabo experimentos en grupos pequeños de productos para recoger datos iniciales sobre cómo responden los consumidores o el algoritmo de Amazon a ciertos elementos a usar a la hora de lanzar productos adicionales. En general, cuando se considera un cambio en la página de producto, tiene sentido realizar una prueba antes de implementar modificaciones a un grupo más amplio de productos.

¿Quién tiene acceso a la prueba A/B de Amazon?

Por ahora, la función es beta y está disponible sin coste. Tan solo está disponible para Sellers ( y en EE.UU. también para Vendors) que poseen una marca o tienen, por lo menos, un ASIN que tiene suficiente tráfico. Para cumplir los requisitos para la prueba, los ASINs deben recibir una alta cantidad de docenas de pedidos por semana, o incluso más, dependiendo de la categoría. Esta medida asegura que los productos tendrán suficiente tráfico y ventas para conseguir resultados significativos del experimento.

Guía: Cómo comenzar las pruebas A/B

Para realizar una prueba A/B, nos dirigimos a “Gestionar Experimentos” a través de la pestaña “Marketing” en Vendor o Seller Central. Una vez en esa página, los usuarios pueden seleccionar el botón de “Crear un nuevo experimento” para elegir entre los dos elementos que pueden ser testados hasta ahora: el título del producto y la imagen principal. En los Estados Unidos, las páginas A+ también pueden testarse. Una vez elegido el elemento que queremos testar, el producto deseado puede seleccionarse de una lista de ASINs elegibles. Tan solo se puede realizar un experimento en un ASIN particular en un momento dado, por lo tanto, si un experimento se encuentra en proceso, esta opción no estará disponible para otros tests hasta que el inicial haya concluido.

El experimento puede tener un título y, si es necesario, los vendedores pueden incluir una hipótesis de lo que esperan que suceda durante el experimento. Además, se puede seleccionar la duración de la prueba de 4 a 10 semanas, sin embargo, se recomienda llevarla a cabo de 8 a 10 semanas para unos resultados más precisos.

A la hora de elegir las versiones de contenido a comparar, el contenido actual que se encuentra en la página de detalle de producto (ya sea su página A+, el título o la imagen principal) se convierte en la “Versión A” o la variable “control” en el experimento. Después, los usuarios pueden añadir una segunda versión “B” para comparar.  Si la variable es contenido A+, la versión B de la página A+ debe estar ya aprobada y el ASIN aplicado en Vendor Central. Si ya se ha hecho, la página A+ aparecerá en el menú desplegable.

Mientras el experimento se está llevando a cabo, el cliente tiene que estar conectado desde su cuenta para que los datos sean recogidos, lo que significa que cualquier visita a la página que no esté asociada a una cuenta, no será incluida en la muestra. Además, se debe tener cautela a la hora de terminar el experimento demasiado pronto si parece que hay un claro favorito: Los resultados de las pruebas en las primeras semanas no son representativos y podrían proporcionar datos engañosos.

Cómo interpretar los resultados del experimento

Los resultados se actualizan semanalmente mientras dure el experimento. Los datos se miden con un análisis bayesiano, lo que significa que los resultados no solo se basan en los datos recogidos del test, sino también en un modelo estadístico de probabilidad. Siempre y cuando se encuentre una diferencia significativa entre el contenido analizado, se proporciona a los usuarios varios resultados al final del experimento:

1. La probabilidad de un contenido de ser más efectivo que otro
2. Métricas como unidades, ventas, ratio de conversión, unidades vendidas por visitante y el tamaño de la prueba para cada versión
3. El impacto proyectado a un año del contenido ganador, que estima las posibles unidades y ventas incrementales 

Si los resultados son inconcluyentes u ofrecen baja confianza, puede significar que no merece la pena investigar cierto contenido ya que no afecta al comportamiento del consumidor o que los dos enfoques tienen una eficacia similar.

Conclusiones y perspectivas de nuestro equipo

En nuestros primeros experimentos, nuestro equipo ha descubierto que la función de pruebas A/B de Amazon, aunque tiene mucho potencial, todavía tiene algunos fallos y no funciona al 100%. 

Por ejemplo, a pesar de las pequeñas diferencias entre las métricas de las dos versiones, uno de los resultados de un test demostró una probabilidad muy alta de que una versión era superior. En algunas pruebas, hubo algunas semanas donde no se recogió información alguna para una de las dos versiones, lo que nos lleva a dudar de la fiabilidad de los resultados. Además, en varias ocasiones, experimentamos un retraso de 1 a 2 semanas hasta que la información estaba disponible para nosotros, cuando se supone que los resultados se actualizan cada semana.

Estas son algunas señales de que las pruebas A/B de Amazon todavía necesitan un tiempo antes de que sea una herramienta completamente fiable. Sin embargo, tuvimos múltiples pruebas en las que los resultados parecen fiables y creemos que se puede ganar conocimientos valiosos cuando se utiliza esta función. Debido a que las métricas para cada versión son visibles, es posible comparar las métricas al juicio proporcionado por la herramienta para sacar conclusiones.

Nuestro veredicto es que definitivamente, merece la pena testar la función de las pruebas A/B de Amazon, sin embargo, especialmente durante los primeros meses, es prudente cuestionar los resultados.