Test A/B bayesiano — Beta-Binomial

Modelo Beta-Binomial

En el modelo bayesiano conjugado para proporciones, la prior es una distribución Beta y la likelihood es binomial. La posterior resultante es también una Beta, lo que permite cálculos analíticos exactos.

\( p_A \sim \text{Beta}(\alpha_0, \beta_0) \xrightarrow{\text{datos}} p_A \mid \text{datos} \sim \text{Beta}(\alpha_0 + x_A,\; \beta_0 + n_A - x_A) \)

\( p_B \sim \text{Beta}(\alpha_0, \beta_0) \xrightarrow{\text{datos}} p_B \mid \text{datos} \sim \text{Beta}(\alpha_0 + x_B,\; \beta_0 + n_B - x_B) \)

Elección de la prior

La prior Beta(1, 1) es uniforme: expresa ignorancia total sobre la tasa de conversión. Una prior Beta(α₀, β₀) con α₀ + β₀ grande equivale a tener datos históricos previos. La calculadora permite personalizarla.

P(B > A) mediante Monte Carlo

La probabilidad de que la tasa de conversión de B supere a la de A se estima muestreando de ambas posteriores:

\( P(p_B > p_A) \approx \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\!\left[p_B^{(i)} > p_A^{(i)}\right], \quad p_A^{(i)}, p_B^{(i)} \sim \text{posteriores} \)

¿Qué calcula esta herramienta?

Esta calculadora implementa el modelo Beta-Binomial conjugado para el análisis bayesiano de experimentos A/B con métricas binarias (conversión, clics, registros). A partir de los datos observados y una prior Beta, actualiza la distribución de creencias sobre cada tasa de conversión y estima P(B > A) por Monte Carlo con 30 000 muestras.

Interpretación de los resultados

P(B > A): Probabilidad directa de que la tasa de conversión de B sea superior a la de A dado lo observado. Un valor ≥ 0.95 suele considerarse suficiente para tomar la decisión de implementar B. Lift esperado: Mejora relativa media de B sobre A según las posteriores. Intervalo de credibilidad: Rango que contiene el verdadero parámetro con la probabilidad indicada, interpretable directamente (a diferencia del IC frecuentista).

Ventajas del enfoque bayesiano

• P(B > A) es directamente interpretable por stakeholders sin formación estadística.
• No requiere fijar el tamaño muestral a priori; puede actualizarse con datos nuevos (aunque hay que controlar el peeking).
• La prior permite incorporar conocimiento histórico sobre la tasa de conversión base.
• Evita el problema del p-valor: no hay umbral binario de significación.

Preguntas frecuentes

• ¿Qué prior usar si no tengo datos históricos? Beta(1, 1), la prior uniforme. Si tienes tasas de conversión históricas, puedes parametrizar la prior como si tuvieras α₀ éxitos y β₀ fracasos previos.
• ¿Cuántas muestras Monte Carlo usa la calculadora? 30 000. Esto da un error estándar de estimación de P(B > A) de aproximadamente ±0.003 para valores en torno a 0.5.
• ¿Puedo usar esto con tamaños muestrales pequeños? Sí. La mayor ventaja del enfoque bayesiano es que funciona correctamente con muestras pequeñas, donde el test Z puede ser impreciso.
• ¿Cuál es la diferencia entre P(B > A) = 0.97 y p-valor = 0.03? El p-valor mide la probabilidad de observar datos tan extremos bajo H₀; P(B > A) mide directamente cuánto crees que B supera a A dado lo que has observado. La segunda es más intuitiva.