¿Cuándo merece la pena un test A/B?

¿Qué decisión debe permitir la prueba?

Un test A/B compara variantes en condiciones controladas. Los visitantes elegibles se asignan aleatoriamente y después se compara la métrica definida. Empieza con una decisión concreta: ¿conviene adoptar otra presentación de la oferta? «Queremos probar algo» todavía no es una pregunta útil.

La hipótesis identifica problema, cambio y relación esperada. Explicar mejor la primera reunión podría reducir dudas antes de reservar. Es un supuesto comprobable, no un efecto prometido. Define también posibles perjuicios, como una menor calidad de consultas.

¿Qué datos hacen falta?

Comprueba primero asignación y eventos. Una compra debe definirse igual en ambas variantes. Diferencias de consentimiento, cambios de dispositivo o errores de entrega pueden complicar la interpretación. Una desviación inesperada del reparto previsto exige investigar. Microsoft Research denomina esta comprobación Sample Ratio Mismatch.

Planifica tamaño del efecto y duración.

No existe un mínimo universal de visitantes. Tasa inicial, efecto comercial mínimo relevante, potencia y riesgo de error determinan los datos necesarios. Las visitas elegibles diarias influyen en el plazo. También importan cambios estacionales y decisiones largas.

Ejemplo: pasar del 2 % al 2,2 % supone 0,2 puntos porcentuales o un cambio relativo del 10 %. No deben confundirse. El ejemplo no establece el tráfico necesario ni la probabilidad de mejora. La muestra se planifica con el método estadístico adecuado.

¿Qué conclusiones erróneas debes evitar?

No termines al primer resultado provisional favorable. Las reglas de análisis y parada deben encajar con el método. Buscar después entre muchas métricas o subgrupos aumenta el riesgo de hallazgos casuales. Documenta métrica principal, límites y desviaciones antes de declarar ganador.

Un resultado no concluyente no significa que las variantes sean equivalentes; quizá faltan datos. A la inversa, una diferencia estadística puede carecer de relevancia comercial. Valora incertidumbre, tamaño del efecto, costes y criterios de calidad conjuntamente.

¿Qué hacer con poco tráfico?

Utiliza métodos cualitativos adecuados para revisar uso, fallos y comprensión. Los problemas observados pueden justificar mejoras aunque no se aísle su efecto económico. Un formulario roto necesita reparación, no competir con una versión funcional.

Antes de empezar, documenta decisión, medición fiable, recogida viable de datos y responsable de aplicar el resultado. Si falta alguna base, suele convenir un análisis previo.

Fuentes y documentación adicional

Microsoft Research: Diagnosing Sample Ratio Mismatch in A/B Testing

Microsoft Research: Patterns of Trustworthy Experimentation – Pre-Experiment Stage

Profundiza en el tema

Optimización de conversión

Medición y analítica

¿Qué es la optimización de conversión?