Cos'è il Brier score?

Il Brier score misura quanto è accurata una previsione espressa come probabilità, calcolando la media dei quadrati degli scarti tra la probabilità dichiarata e l'esito osservato, dove l'esito vale 1 se l'evento si è verificato e 0 altrimenti. Va da 0 a 1 e più è basso meglio è: 0 è la previsione perfetta dichiarata con certezza, mentre dichiarare sempre il 50% produce invariabilmente 0,25, che è la soglia sotto cui bisogna scendere per dimostrare di sapere qualcosa. Lo ha proposto il meteorologo Glenn Brier nel 1950 sul Monthly Weather Review, per risolvere un problema che la meteorologia aveva prima di chiunque altro: come si valuta chi dice "domani piove al 70%", visto che qualunque cosa accada poi non lo smentisce su quel singolo giorno. La risposta è che una previsione probabilistica non si giudica sul caso singolo ma sulla serie, e serve un punteggio che la renda confrontabile.

Perché premia l'onestà invece della prudenza

La proprietà che rende il Brier score utile in azienda non è la formula, è il fatto di essere una regola di punteggio propria: il punteggio atteso si minimizza dichiarando esattamente la probabilità che si crede vera. Esagerare la propria confidenza viene punito quando si sbaglia, ma anche annacquarla per stare al sicuro viene punito quando si aveva ragione. Questo chiude la scappatoia che rende inutili la maggior parte delle valutazioni di previsioni in azienda, dove chi dichiara sempre "dipende, c'è incertezza" non risulta mai smentito e quindi non risulta mai valutabile. Il punteggio si scompone anche in parti leggibili separatamente, tra cui la componente di affidabilità, che misura se un 70% dichiarato corrisponde davvero al 70% dei casi verificati, e la componente di risoluzione, che misura se le previsioni discriminano tra situazioni diverse o gravitano tutte intorno alla frequenza di base.

Un esempio enterprise

Un responsabile IT dichiara ogni mese la probabilità che ciascun rilascio previsto vada in produzione nei tempi. Dopo un anno le previsioni sono circa cinquanta e il Brier score si calcola in un foglio di calcolo. Se esce 0,10 quel responsabile è una fonte informativa affidabile e vale costruirci sopra un piano; se esce 0,26 sta facendo peggio che dichiarare sempre 50%, e la cosa utile da scoprire è la scomposizione: molto spesso il problema non è l'ignoranza ma l'eccesso di confidenza, cioè un 90% dichiarato che si verifica nel 60% dei casi. È una diagnosi azionabile, perché l'eccesso di confidenza si corregge ritarando le stime, mentre l'ignoranza richiede informazione nuova.

Perché conta per chi decide

Per chi decide il Brier score è lo strumento che trasforma la calibrazione da qualità reputazionale a numero, e quindi rende possibile la sola cosa che distingue una previsione da un'opinione: la verifica. È anche il ponte tra due mondi che di solito vengono trattati separatamente. Sul lato delle persone è il modo economico di ottenere in azienda l'effetto che rende informativo un mercato predittivo senza aprirne uno, perché introduce un costo per l'errore dove prima non ce n'era. Sul lato dei sistemi è la metrica corretta ogni volta che un modello produce una probabilità e non una classe, situazione in cui l'accuratezza secca è la metrica sbagliata: un modello che assegna il 51% a tutti i casi positivi ha la stessa accuratezza di uno che assegna il 99%, e non è affatto la stessa cosa quando su quel numero si decide se fermare una linea di produzione. Lo stesso vale nella valutazione dei sistemi generativi, dove un modello giudice che esprime confidenza va tarato prima di essere creduto.