Cos'è la significatività statistica?

La significatività statistica è la misura di quanto un risultato osservato nei dati sia incompatibile con un modello statistico di riferimento, di norma l'ipotesi nulla che nega l'effetto cercato: se quell'incompatibilità supera una soglia convenzionale, il più delle volte un p-value sotto 0,05, il risultato viene dichiarato "statisticamente significativo". Quella soglia è una convenzione ereditata dalla statistica del primo Novecento, non una legge di natura, e va trattata come tale. Il punto che chi decide deve tenere fermo è cosa il numero NON dice: il p-value non è la probabilità che l'ipotesi studiata sia vera, né la probabilità che il risultato sia dovuto al solo caso. Misura soltanto quanto i dati sarebbero sorprendenti se l'ipotesi nulla fosse vera. Confonderlo con una prova di verità, o con la dimensione dell'effetto, è l'errore più costoso che un comitato possa commettere prima di firmare una spesa basata su quel numero.

Leggi anche: Test A/B · Un test A/B è un esperimento controllato randomizzato: utenti assegnati a caso a due versioni, confrontate su una metrica decisa prima di vedere i dati.

La soglia non sostituisce il giudizio

Nel 2016 l'American Statistical Association ha pubblicato una dichiarazione ufficiale, firmata da Ronald L. Wasserstein e Nicole A. Lazar, per correggere anni di uso scorretto del p-value nella ricerca applicata. Il principio più rilevante per chi lavora in azienda è il terzo: le conclusioni scientifiche e le decisioni di business o di policy non dovrebbero basarsi solo sul fatto che un p-value superi una soglia specifica. Un risultato può essere significativo ed economicamente irrilevante: con un campione abbastanza grande, come capita spesso nei test di conversione descritti alla voce A/B testing, anche una differenza dello 0,1% risulta statisticamente significativa pur non giustificando alcuna spesa di implementazione. L'ASA ricorda anche che, da solo, un p-value non fornisce una buona misura di evidenza: per questo l'intervallo di confidenza, che mostra un intervallo di grandezze plausibili dell'effetto, è quasi sempre l'informazione più utile da portare in un comitato di investimento. C'è poi il problema dei confronti multipli: testando molte metriche insieme, qualcuna risulterà significativa per puro effetto del caso, e una correzione per confronti multipli tiene solo se la famiglia di test è dichiarata prima, perché non ripara un'ipotesi scelta dopo aver visto i dati.

Un esempio enterprise

Una scaleup italiana registra un aumento significativo delle vendite nella regione dove ha lanciato una nuova campagna, con un p-value sotto 0,01. Il comitato commerciale vuole replicare subito la campagna ovunque, ma nella stessa finestra temporale in quella regione un concorrente locale ha chiuso due punti vendita fisici. La correlazione fra campagna e vendite è reale e statisticamente robusta, ma non stabilisce da sola quanto dell'effetto venga dalla campagna: la causa concorrente, la chiusura dei punti vendita, potrebbe spiegare la maggior parte dell'aumento. Solo isolando le due cause, con un disegno sperimentale corretto o con le tecniche descritte alla voce Causal AI, si può stabilire quanto del risultato sia davvero attribuibile alla campagna prima di autorizzarne il rollout su scala nazionale.

Perché conta per chi decide

Chi firma una decisione basata su un numero deve poter rispondere a tre domande, non a una sola: il risultato è statisticamente significativo, è abbastanza grande da giustificare la spesa, e ha una spiegazione causale plausibile oltre alla correlazione osservata. Un p-value basso risponde solo alla prima. Le altre due restano un giudizio umano che nessuna soglia numerica può delegare, e sono anche il punto dove una metrica scelta male, come discusso alla voce legge di Goodhart, produce risultati significativi e irrilevanti allo stesso tempo. Trattare "significativo" come sinonimo di "vero, grande e causale" è l'errore che l'ASA ha messo per iscritto proprio perché, nella pratica di business, è quello con il costo più alto.