Test A/B

MDE, potencia y tamaño muestral — A/B testing

Planifica tu experimento: calcula cuántos usuarios necesitas, qué potencia tendrás con tus recursos o cuál es el menor efecto que podrás detectar.

Fórmulas utilizadas

Para la comparación de dos proporciones con asignación 1:1, el tamaño muestral necesario por grupo es:

\( n = \left\lceil \dfrac{\left(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})} + z_\beta\sqrt{p_A(1-p_A)+p_B(1-p_B)}\right)^2}{(p_A - p_B)^2} \right\rceil \)

donde \(\bar{p} = (p_A + p_B)/2\), \(z_{\alpha/2}\) es el cuantil normal para el nivel de significación y \(z_\beta\) el cuantil para la potencia deseada.

La potencia dado n se obtiene invirtiendo la expresión:

\( 1-\beta = \Phi\!\left(\dfrac{|p_A - p_B|\sqrt{n} - z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}}{\sqrt{p_A(1-p_A)+p_B(1-p_B)}}\right) \)

El MDE (efecto mínimo detectable) se obtiene por búsqueda binaria sobre el efecto que consigue la potencia objetivo con el n disponible.

Calculadora

Selecciona el modo según lo que quieras calcular e introduce los parámetros restantes.

Resultado pendiente…
Resultado pendiente…
Resultado pendiente…

¿Qué es el MDE?

El efecto mínimo detectable (MDE, Minimum Detectable Effect) es la diferencia absoluta más pequeña entre las tasas de conversión de A y B que el experimento puede detectar con la potencia y el nivel de significación elegidos. Si el verdadero efecto es menor que el MDE, el experimento no lo verá aunque exista.

¿Qué es la potencia estadística?

La potencia (1 − β) es la probabilidad de detectar un efecto real cuando existe. Una potencia del 80% significa que, si B es realmente mejor que A en la magnitud especificada, el experimento concluirá correctamente en el 80% de las réplicas. Una potencia baja implica muchos falsos negativos.

Recomendaciones prácticas

  • Potencia ≥ 0.80 es el mínimo recomendado; usa 0.90 para decisiones críticas.
  • α = 0.05 es el estándar; considera α = 0.01 si el coste de un falso positivo es alto.
  • El MDE relativo suele ser más relevante que el absoluto: un MDE del 10% sobre una tasa base del 5% equivale a pB = 0.055.
  • Con tráfico limitado, acepta efectos más grandes o reduce α para compensar.

Preguntas frecuentes

  • ¿El cálculo de n asume asignación igual 1:1? Sí. La fórmula implementada maximiza la potencia con asignación balanceada. Para asignación desigual usa la calculadora general de dos proporciones.
  • ¿Puedo cambiar n y ver cómo cambia la potencia? Sí: cambia al modo Potencia, introduce tu n actual y comprueba si alcanza el umbral deseado.
  • ¿El MDE es el efecto que espero, o el mínimo que importa? El MDE es el mínimo detectable con la muestra dada. Deberías requerir n suficiente para que el MDE sea igual o menor al efecto mínimo que te importaría detectar en la práctica.