¿Qué es un test A/B?
Un test A/B es un experimento controlado en el que se comparan dos variantes —control (A) y tratamiento (B)— para determinar cuál produce mejores resultados en una métrica binaria como clics, conversiones o suscripciones. El objetivo es concluir con rigor estadístico si la diferencia observada se debe al tratamiento o puede explicarse por azar.
Frecuentista vs. Bayesiano
El enfoque frecuentista contrasta hipótesis: fija un nivel de significación α y decide si rechazar H₀ según el p-valor. El enfoque bayesiano actualiza una distribución de creencias previa con los datos y devuelve directamente la probabilidad P(B > A), más intuitiva para decisiones de negocio.
Por qué importa el tamaño muestral
Sin planificación previa, un test A/B puede concluir demasiado pronto (peeking) o con potencia insuficiente para detectar efectos relevantes. Las calculadoras de esta sección te ayudan a estimar el tamaño mínimo necesario, el efecto mínimo detectable (MDE) y la potencia del experimento.
Todas las herramientas A/B disponibles
¿Cuándo usar cada herramienta?
Test Z de conversión
Cuando ya tienes los datos del experimento y quieres decidir si la diferencia de proporciones es estadísticamente significativa. Incluye opción de corrección por continuidad de Yates e intervalo de confianza para la diferencia.
Bayesiano Beta-Binomial
Cuando prefieres una interpretación probabilística directa: ¿cuál es la probabilidad de que B sea mejor que A? Útil cuando el tamaño muestral es pequeño o cuando quieres comunicar resultados sin hablar de p-valores.
MDE, potencia y tamaño muestral
Antes de lanzar el experimento, para estimar cuántos usuarios necesitas por variante, qué potencia tendrás con un n dado, o cuál es el efecto mínimo que podrás detectar con tus recursos actuales.
Simulación de experimentos
Para validar supuestos estadísticos, estimar la tasa de error real bajo distintos escenarios o explorar cómo se comporta el test con tus propios parámetros mediante Monte Carlo.
Buenas prácticas en tests A/B
- Define el tamaño muestral antes de empezar. No termines el test cuando el p-valor sea < 0.05 por primera vez (peeking bias).
- Elige una única métrica primaria. Testear múltiples métricas sin corrección de comparaciones múltiples infla el error de tipo I.
- Aleatoriza correctamente. Asegúrate de que la asignación a grupos es independiente e idéntica para cada unidad de análisis.
- Comprueba el equilibrio entre grupos. Un test de chi-cuadrado o t sobre covariables pre-experimento detecta fallos en la aleatorización.
- Informa el intervalo de confianza, no solo el p-valor. El tamaño del efecto y su incertidumbre son tan importantes como la decisión de rechazar H₀.