Significancia estadística

Cuando comparás dos grupos, casi nunca salen exactamente iguales, aunque no esté pasando nada real. Tirás una moneda 100 veces y rara vez salen justo 50 caras. La significancia estadística es una forma de preguntarse: si de verdad no hubiera diferencia, ¿qué tan sorprendente sería un resultado así?

Esa sorpresa se mide con el valor p: la probabilidad de ver una diferencia al menos así de grande solo por azar, suponiendo que no hay ningún efecto real. Un valor p chico quiere decir que la casualidad es una explicación poco probable. Por una convención de larga data, muchas disciplinas llaman significativo a un resultado cuando p es menor que 0,05, o sea, cuando una brecha así aparecería por suerte menos del 5% de las veces. En un test A/B es lo que le permite a un equipo decir que el botón nuevo de pago de verdad funciona mejor, y no que tuvo una semana con suerte.

La significancia es fácil de malinterpretar. No quiere decir que el efecto sea grande ni importante: con millones de usuarios, una diferencia mínima puede ser significativa y no valer nada. Tampoco prueba que el efecto sea real, porque un umbral del 5% implica que algunas casualidades van a pasar el filtro. Correr muchas pruebas y contar solo las que cruzan la línea, lo que a veces se llama p-hacking, lo empeora mucho. Lo sano es definir la prueba de antemano y reportar el tamaño del efecto junto con el valor p.