Cos'è il model monitoring?

Il model monitoring è la sorveglianza continua di un modello dopo il rilascio: come stanno le prestazioni, se i dati in ingresso somigliano ancora a quelli di addestramento, se le risposte restano nella qualità attesa. Serve perché i modelli non si rompono come il software: si degradano in silenzio, senza eccezioni nei log, man mano che il mondo si allontana dai dati su cui hanno imparato. Per questo il model monitoring non è un compito separato dall'MLOps, ma la sua estensione naturale dopo il rilascio: gli stessi principi di versioning e tracciabilità che governano l'addestramento continuano ad applicarsi finché il modello resta in produzione. Un modello che smette di essere osservato smette anche, in pratica, di essere gestito. Va tenuto separato, concettualmente, dal testing pre-produzione: verificare che un modello funzioni bene prima del rilascio dice poco su come si comporterà tra sei mesi, quando i dati che riceve saranno inevitabilmente diversi da quelli su cui è stato validato in laboratorio.

Leggi anche: MLOps · L'MLOps è l'insieme di pratiche che porta i modelli di machine learning in produzione e ce li tiene: versioning, deploy, monitoraggio, riaddestramento.

Cosa si monitora davvero

Tre famiglie di segnali. Il data drift: la distribuzione degli input cambia (nuovi prodotti, nuovi clienti, un listino aggiornato) e il modello inizia a ricevere domande che non ha mai visto. Il model drift (o concept drift): la relazione tra input e realtà cambia, un caso da non confondere con il data leakage: lì il problema non è che i dati cambiano dopo il rilascio, è che il modello era già ottimista in laboratorio per un difetto nella preparazione del training set, e le previsioni di ieri non valgono più. E le prestazioni di business: la metrica che conta davvero, misurata quando la verità arriva (la previsione di domanda contro le vendite reali). Per i sistemi LLM si aggiungono qualità delle risposte, tassi di rifiuto, costi e latenza: lì il monitoring si fonde con evals continue e osservabilità della catena.

Come si fa in pratica

Le fondamenta sono poco esotiche: soglie sulle distribuzioni degli input, un campione di predizioni verificato contro la realtà appena disponibile, dashboard con un owner che ha il mandato di agire, e il riaddestramento (o il rollback) come procedura definita, non come emergenza creativa. La regola che distingue i team maturi: ogni modello in produzione ha un responsabile, una metrica di salute e una soglia oltre la quale scatta qualcosa. Un modello senza monitoring non è in produzione: è in libertà vigilata senza il vigilante.