Cos'è l'overfitting?

L'overfitting è la situazione in cui un modello impara i dettagli accidentali dei dati con cui è stato addestrato, il rumore, invece della regola generale che dovrebbe estrarne, e di conseguenza ottiene risultati eccellenti su quei dati e risultati mediocri su dati nuovi. È il modo più comune in cui un progetto di machine learning fallisce, ed è insidioso perché in fase di sviluppo si presenta come un successo: le metriche salgono, il modello sembra sempre più bravo, e sta invece memorizzando. Il fenomeno opposto, l'underfitting, si riconosce subito perché il modello va male ovunque, e per questo fa molti meno danni. La causa strutturale è che un modello abbastanza flessibile può sempre trovare una regola che spiega perfettamente un insieme finito di esempi, incluse le loro coincidenze, e nulla nell'addestramento distingue una coincidenza da un segnale. A distinguerle è solo la prova su dati che il modello non ha mai visto.

Perché si misura, non si intuisce

Non esiste modo di guardare un modello e vedere se sta generalizzando: si può solo metterlo alla prova. Da qui la disciplina di dividere i dati in una parte per addestrare, una per scegliere le impostazioni e una, intoccabile fino alla fine, per la valutazione conclusiva. La regola che viene violata più spesso, e quasi sempre in buona fede, è l'ultima: ogni volta che si guarda il risultato sul set finale e si cambia qualcosa di conseguenza, quel set smette di essere una prova indipendente e si comincia a fare overfitting sulla valutazione stessa. Gli strumenti per contenerlo sono noti e non risolutivi da soli: semplificare il modello, penalizzare i coefficienti troppo grandi, fermare l'addestramento prima della convergenza, aumentare i dati, oppure combinare più modelli con l'ensemble learning, che riduce la varianza proprio mediando errori diversi tra loro.

Sull'altro versante c'è l'underfitting, il difetto speculare: il modello è troppo rigido per cogliere la struttura che nei dati esiste davvero, e sbaglia allo stesso modo sui dati di addestramento e su quelli nuovi. È molto meno pericoloso proprio perché è visibile subito, mentre l'overfitting si maschera da successo. I due difetti stanno agli estremi dello stesso asse, quello della flessibilità del modello: irrigidirlo troppo per scappare dall'overfitting porta all'underfitting, e il punto di equilibrio non si trova a ragionamento, si trova provando e misurando su dati mai visti.

Un esempio enterprise

Un'azienda addestra un modello per prevedere quali clienti abbandoneranno il servizio. In validazione il modello è quasi perfetto, e in produzione risulta inutile. Analizzando il caso emerge che tra le variabili c'era il numero di contatti con l'assistenza negli ultimi trenta giorni, che nei dati storici cresceva sempre subito prima della disdetta perché quei contatti erano la disdetta stessa in corso di lavorazione. Il modello non aveva imparato a prevedere l'abbandono, aveva imparato a riconoscerlo dopo che era già deciso. È la variante più costosa del problema, perché il difetto non sta nell'algoritmo ma nella costruzione del dato, e nessuna regolarizzazione lo intercetta.

Perché conta per chi decide

Chi decide non deve saper correggere l'overfitting, ma deve saper riconoscere la conversazione in cui sta per esserne vittima, e ha una sola domanda da fare: su quali dati è stato misurato questo risultato, e quel modello quei dati li aveva mai visti prima. Se la risposta è confusa, il numero presentato non è una stima di quanto il sistema funzionerà, è una descrizione di quanto bene ha ripassato. È lo stesso motivo per cui una demo convincente non è mai una prova di funzionamento, e per cui la fase di valutazione sistematica va progettata prima di cominciare e non negoziata dopo, quando i risultati sono già sul tavolo e c'è una data di lancio da difendere. Va aggiunto che il divario tra prova e realtà non si chiude una volta per tutte: i dati del mondo cambiano, e un modello che generalizzava bene si degrada nel tempo, ragione per cui la misura va ripetuta in produzione e non archiviata alla consegna. Infine, l'overfitting non riguarda solo i modelli: una strategia scelta perché avrebbe funzionato benissimo sui dati passati soffre esattamente dello stesso difetto, con la differenza che nessuno la chiama così.