Archivo de la etiqueta: cómo saber si una promoción funcionó

A/B Testing y métodos de experimentación en aplicaciones comerciales – Datlas Research

En recientes columnas hemos estado introduciendo métodos de negocios que han sido alterados por la analítica de datos. Tales como: Go-To-Market, Digitalización de anaqueles en E-commerce, Clustering para Segmentos de cliente y en esta ocasión queremos darle apertura al A/B Testing (Experimentación A/B).

A/B Testing es un método de experimentación que se puede utilizar en aplicaciones comerciales como promociones, programas de lealtad y descuentos. Este tipo de pruebas se conocen en otras ciencias como prueba aleatoria de control y es una herramienta poderosa para desarrollo de productos, iniciativas comerciales o de marketing.

Datlas_barra_suscribir

Esta columna te va a interesar si eres alguien que activamente está buscando validar si una campaña comercial o de marketing tiene éxito o no.

DatlaS_ab-testing

Definición de A/B Testing

Es una herramienta útil para estimar el ROI (retorno sobre inversión) así como proveernos de un panorama de causalidad que nos ayude a justificar si un proyecto debe o no debe ser escalado dado los resultados de ciertas pruebas de hipótesis.

Normalmente contrastamos la conducta entre 2 tipos de grupos con características similares: Grupo de control y grupo de tratamiento. En realidad pueden ser más, pero el punto es tener grupos a los que se les aplica distintos tratamientos que son contrastantes entre sí. Por ejemplo,en un experimento para bajar de peso, al grupo A ( De control) se le controló su dieta y al grupo B (De tratamiento) además de su dieta se le aplicó una rutina de ejercicios. Al final, si el grupo B tuvo un resultado más cercano al objetivo de bajar de peso podríamos concluir que el tratamiento aplicado al grupo B es más exitoso que el del grupo A.

Errores comunes a considerar

Siguiendo con el ejemplo los datos se podrían ver de esta manera

Datlas_blog_ABTesting

Con la mano en la cintura vamos a reportar que los tratamientos al grupo B hacen que bajes más kilos. Pero… un momento ¿Pudieran existir errores si concluimos algo así?

  • Error Tipo 1 – Conclusión fallida donde decimos que la intervención fue exitosa, cuando en realidad no lo fue.  Erróneamente asociamos el plan de alimentación como factor causal cuando algunos integrantes bajaron de peso porque, por ejemplo, su tipo de ejercicio en esa hora fue funcional o HIT mientras otros integrantes sólo caminaban. A esto se le llama también falsos positivos.
  • Error tipo 2 – Falsamente concluir que la intervención fue no exitosa.  A algunos miembros el plan de alimentación no les funcionó. Pero hay factores externos como el tipo de aceites que usan en la preparación o las bebidas que toman para poder llegar a una conclusión completa.

Estos errores van a suceder cuando queremos sacar conclusiones para toda una población a partir de una muestra. Sólo hasta que entendemos el verdadero dimensionamiento de nuestros resultados deberíamos de estar tomando decisiones de impacto de negocio.

Ejemplo de casos de uso

  • Campañas de marketing por correo o mensajes de texto (SMS)
  • Programas de lealtad optimizando las promociones para lograr mayor redención
  • Medicina para entender si funciona o no una prueba
  • E-commerce para saber si algún cambio al aparador digital generaría mayor compra

Caso de estudio

El orden será primero establecer un ejercicio hipótesis acompañado de su diseño de experimento. Después trabajaremos en métodos aleatorios para generar muestras, justificar tamaños de muestras y finalmente seleccionar un método de mejoras.

 

Datlas_blog_abtesting_Exitoso_fracaso

Como otros problemas de negocios, este proceso inicia generando hipótesis considerando la población de estudio, la intervención a realizar, los indicadores para comparar entre grupos, el resultado de lo que estás midiendo y la selección del tiempo en el que se va a realizar la medición. Por sus siglas en inglés PICOT (Population, Intervention, comparison, outcome, time).

Por ejemplo, si tenemos un sitio de e-commerce donde queremos experimentar para lograr mayor conversión (visitantes que terminando comprando en el sitio)  generando cambios la visualización de nuestro “anaquel virtual”. Para esto activaremos 2 anaqueles, el actual y el nuevo.  La hipótesis nula (H0) sería que las personas que vean el nuevo aparador virtual en nuestro sitio de e-commerce no tendrán mayor conversión comparados con los que vean el aparador actual. Por otro lado la hipótesis alternativa (H1) establece que los visitantes al sitio de e-commerce que vean el nuevo anaquel tendrán tasas de conversión más alta que  quienes vean el aparador actual.

Una vez concluido el ejercicio de formular hipótesis pasamos a generar muestras aleatorias. Buscaremos que las muestras sean balanceadas, donde ningún segmento este sobre-representado (usuarios que entran de móvil vs. usuarios que entran desde ordenador de escritorio).  Después será estimar el tamaño correcto de los grupos. Existen distintos métodos estadísticos para el cumplimiento de estas pruebas que puedes revisar como clustering, ICT o aplicar random a variables en R o Python. Claro, después de esto se recomienda validar que las distribuciones sean normales para comprobar aleatoriedad.

Finalmente la etapa más crítica será la de medición. Donde desde muchos ángulos tendremos que pensar bajo qué criterios evaluar el experimento. Considerar todas las excepciones o pormenores. En seguimiento al ejemplo del e-commerce: Grupos de edad relacionadas a la conversión, medios de pago, tiempos de entrega, entre otros para verdaderamente concluir el caso de éxito

Conclusión

Normalmente cuando concluimos accionables sólo con información descriptiva nos vemos limitados para llegar a conclusiones globales. En el negocio, a veces le invertimos a una prueba 3 semanas para una decisión que podría tener impacto sobre más de $1M o la existencia misma del negocio. Seguir los pasos del método de A/B testing te ayudará para reportar si una iniciativa es o no exitosa. Te recomendamos asesorarte con expertos para manejar adecuadamente los datos y sobre todo generar métricas que puedan abrir la conversación de cómo mejorar las iniciativas. Y así, finalmente, poder calcular un valor como retorno de inversión con una consideración de errores robusta.

Platica con nosotros y contáctanos en ventas@datlas.mx o en nuestro sitio web mediante el marketplace: https://www.datlas.mx/marketplace/

Fuentes: