Cos'è la funzione softmax e perché la confidenza che dà può ingannare?

La funzione softmax è il passaggio che trasforma i punteggi grezzi prodotti da un modello, detti logit, in numeri positivi la cui somma è 1 e si leggono come probabilità. Si divide l'esponenziale di ogni punteggio per la somma di tutti gli esponenziali: l'ordine resta lo stesso, e i distacchi fra i punteggi diventano rapporti fra le quote. Quando il distacco è ampio, al punteggio più alto va quasi tutto. Il nome rivela l'idea: è la versione "morbida" della scelta del massimo, che invece di dare tutto al vincitore distribuisce il peso in modo graduale, e proprio questa gradualità permette al modello di imparare durante l'addestramento. Compare in tre punti chiave dell'AI di oggi: nello strato di uscita di una rete neurale che sceglie fra più classi, nei pesi di attenzione dei Transformer, che stabiliscono quanto ogni parola conti per le altre, e nella distribuzione del token successivo di un LLM, quella rimodellata dai parametri di campionamento come temperatura e top-p.

Leggi anche: Calibrazione della confidenza · Quanto il livello di sicurezza dichiarato da un modello AI corrisponde davvero alla probabilità di avere ragione.

Sembra una probabilità, non è una garanzia

Il valore prodotto dalla softmax sembra la probabilità di avere ragione, e dashboard e API lo mostrano spesso come "confidenza". Va letto con tre cautele. La prima è strutturale: la softmax ripartisce sempre il 100% fra le classi che il modello conosce, quindi un input che non appartiene a nessuna viene comunque assegnato a una classe vincente, e di serie non esiste una risposta "nessuna di queste". Nguyen, Yosinski e Clune hanno mostrato nel 2015 che con un algoritmo di ottimizzazione si possono costruire immagini in cui una persona non riconosce nulla, come il rumore bianco, che le reti più avanzate di allora classificavano come oggetti familiari con il 99,99% di confidenza. La seconda riguarda la calibrazione: Guo e colleghi hanno documentato nel 2017 che le reti moderne, a differenza di quelle di dieci anni prima, sono mal calibrate: il numero dichiarato non corrisponde alla frequenza con cui hanno ragione, e le reti tendono all'eccesso di sicurezza. La terza riguarda il valore del segnale: Hendrycks e Gimpel hanno osservato che le risposte corrette tendono ad avere una probabilità massima più alta di quelle sbagliate e degli input estranei ai dati di addestramento. Il segnale c'è e fa da riferimento minimo, che secondo gli stessi autori altri metodi a volte superano: va quindi trattato come un indizio da verificare.

Un esempio enterprise

Una compagnia assicurativa smista le pratiche in arrivo con un classificatore di documenti: denuncia di sinistro, fattura, perizia, reclamo. Sopra il 90% di "confidenza" il documento va in automatico alla coda giusta, sotto passa a un operatore. Poi arriva un tipo di documento mai visto in addestramento, un verbale di mediazione. La softmax distribuisce il 100% fra le quattro classi note, una prevale, magari con il 95%, e il verbale finisce in automatico fra le perizie. Alzare la soglia non basta: anche un input estraneo può superarla, e Hendrycks e Gimpel hanno misurato in media il 91% su immagini di rumore casuale sottoposte a un classificatore di cifre. Serve una combinazione: un controllo che riconosca gli input estranei o una classe esplicita "fuori ambito"; regole di astensione che passino a una persona i casi dubbi; e, per le classi note, probabilità ritarate su un holdout recente, operazione per cui il temperature scaling è la via più economica.

Perché conta per chi decide

Davanti alla "confidenza" mostrata da un fornitore, la prima cosa da chiedere è da dove viene. È la softmax grezza o una probabilità calibrata? Se è calibrata, su quali dati, e quanto simili ai casi reali dell'azienda? Che cosa succede con un input estraneo alle classi previste: il sistema lo riconosce, si astiene o sceglie comunque un vincitore? Una soglia di automazione costruita su un numero mai verificato sposta il rischio dal processo al modello senza dichiararlo.