Cos'è la conformal prediction?

La conformal prediction è il metodo che trasforma la predizione di un modello in un insieme di risposte possibili con una garanzia di copertura: si sceglie in anticipo quanto errore tollerare, ad esempio il 10%, e la risposta giusta cade dentro l'insieme almeno nel 90% dei casi nuovi, purché questi siano scambiabili con quelli usati per la taratura. La garanzia è distribution-free, vale per qualunque modello senza ipotesi sulla distribuzione dei dati, ed è marginale, cioè vale in media su tutti i casi. Il suo prezzo si legge nell'efficienza, l'ampiezza media degli insiemi: un modello incerto produce insiemi larghi. Il lavoro fondativo è di Vovk e colleghi (Springer, 2005), sistematizzato nel tutorial di Shafer e Vovk (JMLR, 2008). Rispetto al Brier score, alla selective prediction e alla calibrazione della confidenza aggiunge una cosa sola: costruisce prima della decisione un insieme con copertura garantita.

Leggi anche: Selective prediction · La regola con cui un modello AI si astiene sui casi incerti e risponde solo dove l'errore atteso resta sotto soglia.

Come funziona lo split conformal

Il protocollo split, descritto nel tutorial di Angelopoulos e Bates (2021), è semplice. Fissato un livello di errore α, si riserva parte dei dati a un calibration set mai usato in addestramento (oltre all'eventuale test di valutazione), e il modello si allena sul resto. Sul calibration set si calcola per ogni esempio un punteggio di non conformità della predizione, ad esempio uno meno la probabilità softmax della classe vera in classificazione, oppure il residuo assoluto in regressione. Il quantile 1−α di questi punteggi, corretto per campioni finiti, diventa la soglia: un nuovo caso entra nell'insieme con tutte le risposte il cui punteggio resta sotto soglia. Per la regressione a intervalli adattivi la variante di riferimento è la conformalized quantile regression di Romano e colleghi (NeurIPS, 2019), che rende conformi intervalli quantilici invece di bande a larghezza fissa. La teoria successiva, fra cui Fontana e colleghi (Bernoulli, 2023), ha chiarito che la copertura resta distribution-free mentre l'efficienza dipende dal modello: un cattivo stimatore di incertezza rispetta la garanzia ma paga con insiemi larghi.

Un esempio enterprise

Un operatore logistico smista migliaia di richieste di assistenza al giorno verso una dozzina di code specialistiche. Con lo split conformal ogni ticket riceve un insieme di code candidate invece di una sola etichetta: se l'insieme contiene una sola coda il ticket può essere smistato in automatico, se ne contiene due o più, oppure nessuna, il caso va in revisione a un dispatcher senior. La garanzia però vale in media, non sui soli ticket a coda unica: il loro tasso di errore va misurato a parte prima di automatizzarli. L'ampiezza dell'insieme diventa così il linguaggio operativo dell'incertezza, leggibile senza conoscere la statistica dietro. Un trial randomizzato e controllato di Cresswell e colleghi (ICML, 2024) mostra che gli insiemi conformal, più ampi dove il modello esita, migliorano l'accuratezza delle decisioni umane rispetto a insiemi di dimensione fissa con la stessa garanzia di copertura.

Perché conta per chi decide

Chi firma l'automazione compra con la conformal prediction una garanzia scritta sul tasso di errore: α è il prezzo dichiarato, l'ampiezza media è la fattura. Rispetto alla selective prediction la differenza è operativa, perché l'astensione lascia il caso senza risposta mentre l'insieme lo consegna con le alternative esplicite, e la coda di revisione si dimensiona sull'ampiezza attesa invece che sulla quota di astensioni. Il limite va dichiarato con la stessa onestà della garanzia: la copertura è marginale, media su tutti i casi, non condizionale al singolo caso difficile, e vale se i nuovi casi sono scambiabili con quelli di taratura; quando la distribuzione dei dati cambia, la copertura peggiora e va tenuta sotto controllo con il model monitoring. La revisione resta umana dove l'insieme è largo o vuoto, ed è l'architettura dello human in the loop.