El A/B testing está desempeñando en el ámbito de la analítica web un rol central, al permitir tomar decisiones con fundamento matemático. Estas decisiones pueden ser de diversos tipos, como por ejemplo elegir entre el diseño de dos páginas, evaluar el mejor navegador, determinar cuál es el sistema de seguridad más idóneo, segmentar el mercado, analizar las interacciones entre el visitante y los elementos de la página, y un largo etc.

Para realizar un A/B testing hay que definir en primer lugar qué deseamos evaluar, y a continuación, dividir al público objeto del experimento en dos grupos, para así tratar de detectar la existencia de diferencias significativas entre ambos grupos y tomar una decisión al respecto.

La comparación entre grupos es una metodología aplicada desde hace cientos de años en diferentes disciplinas, como por ejemplo la medicina, la economía, la biología, la sociología, etc, es decir, en ámbitos donde la experimentación y/o comparación de dos o más muestras es relevante.

Desde una perspectiva puramente estadística, consiste en contrastar la hipótesis nula H0: La media de los dos grupos es igual, mediante el estadístico t de student.

La aplicación de este test paramétrico requiere que las observaciones cumplan el supuesto de normalidad. Esta verificación puede realizarse a través de métodos gráficos (histogramas, diagramas de cajas o gráficos de normalidad), o a través de test estadísticos (Kolmogorov-Smirnov y Shapiro-Wilks).

Además, se debe disponer de un número suficiente de observaciones (más de 30) y la varianza de ambos grupos ser idéntica. Sin embargo, de no cumplirse esta última condición, puede ser aplicado el test de la F de Snedecor, o modificar la propia t con la transformación de Satterthwaite.

Un problema asociado a estos estadísticos es su limitación para comparar más de dos grupos, y/o los efectos de varias variables independientes sobre una dependiente, e incluso sobre varias dependientes. En este caso es necesario aplicar otras técnicas, como por ejemplo el análisis de la varianza.

Finalmente, una vez que el analista ha determinado la desigualdad entre los grupos analizados, se pueden aplicar otro tipo de técnicas estadísticas, desde las descriptivas hasta las causales, para determinar cuál de las opciones es más idónea para alcanzar los objetivos pretendidos.