La fórmula
Cómo calcular significancia estadística
Esta es la prueba z estándar de dos proporciones, usada para decidir si el resultado de un test A/B es real o ruido. Compara la diferencia observada frente a cuánta diferencia produciría por sí sola la variación aleatoria.
La probabilidad de cola normal se calcula con la serie de Zelen y Severo, precisa a unas siete cifras decimales — el mismo método que usan los paquetes estadísticos cuando no hay una rutina exacta disponible.
Esto es lo que significa cada campo:
- Tasa de conversión de control (%)
- Visitantes de control
- Tasa de conversión de la variante (%)
- Visitantes de la variante
Todo se recalcula mientras escribes, y los números en la barra de direcciones se actualizan con ello, así que un enlace a esta página lleva tus cifras consigo.
Las unidades importan aquí más que la propia aritmética: la fórmula asume un conjunto concreto de unidades para cada dato, indicado junto al campo, y convertir a esas unidades primero suele ser la diferencia entre un resultado correcto y uno equivocado por una potencia de diez exacta.
Por qué importa significancia estadística
La fórmula detrás de significancia estadística es estándar y aparece con la misma forma en libros de texto y material de referencia; lo que añade una calculadora es velocidad y la capacidad de ver al instante cómo responde el resultado a un cambio en cualquiera de los datos, algo mucho más lento de hacer a mano.
Más allá de una comprobación puntual, merece la pena repetir el mismo cálculo cada vez que cambie un dato medido — una nueva lectura, un valor corregido, un supuesto actualizado —, ya que el resultado aquí siempre refleja exactamente lo que hay ahora mismo en los campos, no un valor calculado una vez y luego dejado obsoleto.
Una fórmula así rara vez es el último paso de un trabajo — la cifra que produce suele alimentar un cálculo posterior, una comparación con un valor publicado, o un informe que necesita indicar tanto el resultado como cuánta confianza merece. Acertar en este paso a la primera, en lugar de arrastrar un pequeño error aritmético a través de varios pasos más, es la razón práctica principal para comprobar un cálculo manual contra una herramienta como esta antes de construir algo encima.
Cuando un cálculo así forma parte de un trabajo más amplio, suele merecer la pena ejecutarlo primero con un conjunto de números redondos y fáciles de comprobar — datos de exactamente 1, 10 o 100 — solo para confirmar que la fórmula se aplica correctamente, antes de pasar a los valores medidos reales de los que depende el resultado final.
Ejemplo práctico
Repasa los valores por defecto de esta página:
- Tasa de conversión de control: 4,2 %
- Visitantes de control: 5.200
- Tasa de conversión de la variante: 5,1 %
- Visitantes de la variante: 5.150
Eso da:
- Valor z: 2,1742
- Valor p bilateral: 0,0297
- Incremento relativo: 21,4286 %
Las cifras de arriba son los valores por defecto de la propia calculadora, mostrados solo para que el proceso sea visible en lugar de quedar oculto — los mismos pasos se aplican exactamente a tus propios números, introducidos en los campos de la parte superior de esta página.
Interpretar el resultado
Un valor p por debajo de 0,05 es el umbral convencional de significancia, correspondiente a un valor z más allá de ±1,96. Significa que una diferencia así de grande ocurriría por azar menos del 5% de las veces si las variantes fueran idénticas.
Dónde suele fallar esto. Comprobar la prueba repetidamente y detenerse cuando se vuelve significativa infla drásticamente la tasa de falsos positivos. Fija el tamaño de muestra de antemano o usa un método de prueba secuencial diseñado para el monitoreo continuo.
Un resultado equivocado por un factor exacto de diez, cien o similar suele ser un error de unidades más que un fallo en la propia fórmula — comprobar cada dato contra la unidad indicada junto a él es la forma más rápida de encontrarlo.
Calculadoras relacionadas
Otras calculadoras de esta sección cubren terreno parecido: Chi cuadrado, Correlación y Coeficiente de variación.
Que es poco probable que la diferencia observada surgiera solo de la variación aleatoria. No dice nada sobre si la diferencia es lo bastante grande como para importar comercialmente.
Hasta alcanzar el tamaño de muestra calculado previamente, y durante al menos una semana completa para cubrir efectos por día de la semana. Detenerse antes de tiempo ante un resultado prometedor es la forma más común de llegar a una conclusión equivocada.
La respuesta que da es valor z. Con 4,2 % tasa de conversión de control, 5.200 visitantes de control y 5,1 % tasa de conversión de la variante, eso da 2,1742. Cambia cualquier campo y la cifra se mueve con él.
En general, no más de las que justifique el dato menos preciso — un resultado con seis decimales a partir de datos medidos con dos cifras significativas está implicando una precisión que el cálculo en realidad no tiene. La calculadora muestra la precisión completa para que puedas redondear según convenga a tu propio uso.
Sí — la ecuación mostrada en la sección de la fórmula arriba es la forma estándar usada en libros de texto y material de referencia para este cálculo, no una versión simplificada o aproximada.
Sí, en el sentido de que aplica la fórmula estándar correcta y devuelve un resultado exacto para los datos dados — pero comprueba los requisitos de tu propio curso o publicación sobre cómo deben redondearse, presentarse y citarse los resultados, ya que esas convenciones varían y no son algo que una calculadora pueda saber en tu nombre.