Cos'è la Explainable AI?

La Explainable AI è l'insieme di tecniche e pratiche che rendono spiegabili le decisioni di un modello: perché il fido è stato negato, perché quel candidato è stato scartato, quali fattori hanno pesato e quanto. Il problema esiste perché i modelli più potenti sono anche i più opachi: una rete profonda non espone il proprio ragionamento, e "lo dice il modello" non è una spiegazione che un cliente, un giudice o un regolatore accettino. Le strade per ottenerla sono due e si completano: usare modelli interpretabili per natura, come alberi decisionali o modelli lineari, quando la posta in gioco lo richiede, oppure spiegare a posteriori i modelli opachi con tecniche come SHAP e LIME, che stimano il peso di ogni fattore sulla singola decisione, o con controfattuali. Non è un esercizio accademico: senza una spiegazione credibile nessun operatore si fida delle raccomandazioni di un sistema, e per i sistemi ad alto rischio l'AI Act e il GDPR chiedono già oggi trasparenza sulla logica delle decisioni automatizzate.

Come si spiega un modello

Due strade complementari. La prima: usare modelli interpretabili per natura (alberi decisionali, modelli lineari, sistemi a regole) dove la posta in gioco lo richiede; a volte un modello un po' meno accurato ma leggibile vale più del campione opaco. La seconda: spiegare a posteriori i modelli opachi con tecniche che stimano il peso di ogni fattore sulla singola decisione (le famiglie SHAP e LIME sono le più diffuse) o con controfattuali ("cosa sarebbe dovuto cambiare per avere l'esito opposto?"), che sono spesso la spiegazione più utile per chi la riceve. Per gli LLM il fronte è più giovane: citare le fonti, mostrare i passaggi, tracciare la catena di strumenti usati.

Perché non è un vezzo accademico

Tre ragioni concrete. La fiducia: nessun operatore segue le raccomandazioni di un sistema che non sa spiegarsi, e un progetto AI non adottato è un progetto fallito. Il debugging: una spiegazione che non torna è spesso il primo segnale di un modello che ha imparato la scorciatoia sbagliata. E la conformità: per i sistemi ad alto rischio l'AI Act chiede trasparenza e supervisione umana effettiva, e il GDPR dà già oggi diritto a informazioni significative sulla logica delle decisioni automatizzate. La regola pratica: più la decisione tocca le persone, più la spiegabilità è un requisito di progetto, non una rifinitura.