Qué simula esta herramienta
En cada réplica, la calculadora genera muestras aleatorias de tamaño n de dos distribuciones Bernoulli con las tasas verdaderas p_A y p_B, calcula el estadístico z del test de dos proporciones y registra si se rechaza H₀. Tras N réplicas, obtiene la distribución empírica de z y p-valores, y compara la tasa de rechazo con la potencia teórica.
\( z^{(i)} = \dfrac{\hat{p}_B^{(i)} - \hat{p}_A^{(i)}}{\sqrt{\hat{p}^{(i)}(1-\hat{p}^{(i)})\left(\tfrac{1}{n_A}+\tfrac{1}{n_B}\right)}} \)
Si p_A = p_B, la tasa de rechazo empírica estima el error de tipo I real (debería aproximarse a α). Si p_A ≠ p_B, estima la potencia empírica.
Parámetros de simulación
Define las tasas de conversión verdaderas, el tamaño por grupo y el número de réplicas.
¿Para qué sirve simular un test A/B?
La simulación Monte Carlo permite verificar empíricamente las propiedades del test: si el error de tipo I es realmente α cuando p_A = p_B, si la potencia coincide con la teórica, y cómo se comporta la distribución del estadístico z en la práctica. Es especialmente útil cuando quieres entender el comportamiento del test bajo condiciones concretas o cuando los supuestos del modelo no se cumplen exactamente.
Cómo leer el histograma de z
Bajo H₀ (p_A = p_B), el estadístico z sigue aproximadamente una N(0,1): el histograma debería ser simétrico centrado en 0. La región coloreada en rojo marca los valores fuera de la zona de aceptación según α. Bajo H₁ (p_A ≠ p_B), el histograma se desplaza hacia la dirección del efecto.
Cómo leer la distribución de p-valores
Bajo H₀ perfecta, los p-valores siguen una distribución Uniforme(0,1): la barra de 0 a 0.05 debería contener el 5% de las réplicas. Bajo H₁, los p-valores se concentran cerca de 0: la proporción de réplicas con p < α es la potencia empírica.
Preguntas frecuentes
- ¿La simulación usa muestras binomiales exactas? Sí: cada réplica genera x_A ~ Bin(n, p_A) y x_B ~ Bin(n, p_B) usando la transformación inversa de la CDF de la normal (aproximación de De Moivre-Laplace). Para n ≥ 30 y proporciones no extremas, la aproximación es muy precisa.
- ¿Por qué la potencia empírica no coincide exactamente con la teórica? Siempre hay varianza de muestreo. Con 5 000 réplicas, el error estándar de la proporción simulada es de aproximadamente ±0.007 para potencias en torno al 80%.
- ¿Puedo simular con p_A = p_B para verificar el nivel α? Sí: introduce el mismo valor en p_A y p_B y comprueba que la tasa de rechazo empírica se aproxima a α.
- ¿Las réplicas son independientes? Sí: cada réplica genera nuevas muestras sin dependencia con las anteriores.