Cos'è una model card?

Una model card è un documento standardizzato che accompagna un modello di machine learning e ne descrive, in sezioni fisse, cosa fa, per che uso è pensato, su chi è stato valutato e dove fallisce. Il formato è stato introdotto da Margaret Mitchell e colleghi di Google in Model Cards for Model Reporting (2019) come risposta a un problema preciso: i modelli venivano rilasciati con una metrica di accuratezza aggregata e poco altro, lasciando chi li adottava a scoprire da solo, in produzione, per chi e in quali condizioni quel numero non valeva. Le sezioni standard del paper sono i dettagli del modello, l'uso previsto e gli usi esplicitamente fuori campo, i fattori rilevanti che possono far variare le prestazioni, le metriche di valutazione disaggregate per sottogruppo, le considerazioni etiche e i limiti noti. Non è un documento di marketing né un semplice changelog: è un contratto informativo tra chi addestra il modello e chi lo userà.

Il collegamento con la hidden stratification

La sezione più importante, e quella più spesso compilata male o del tutto assente nelle model card pubblicate fuori dagli standard di ricerca, è quella delle metriche disaggregate per sottogruppo. Una model card che riporta solo un'accuratezza aggregata riproduce esattamente il problema descritto dalla hidden stratification: un numero medio alto che nasconde un fallimento sistematico su un sottogruppo non etichettato esplicitamente nei dati. La sezione "evaluation" del formato Mitchell et al. esiste per prevenire questo esito a monte, obbligando chi documenta il modello a scomporre la performance per genere, etnia, lingua, tonalità della pelle o qualunque altro fattore rilevante indicato nella sezione precedente, prima che il modello arrivi a chi deve adottarlo. Una model card completa non elimina il rischio di sottogruppi nascosti non ancora identificati, ma rende verificabile, con un solo documento, se il fornitore ha almeno disaggregato ciò che aveva pensato di misurare.

Un esempio enterprise

Un team che valuta un modello di classificazione documentale open-weight per l'inserimento in una pipeline di back office riceve, insieme ai pesi, una model card che dichiara un'accuratezza aggregata del 94% ma nella sezione "factors" indica esplicitamente di essere stata valutata solo su documenti in inglese e tedesco, con una nota nei limiti che segnala performance non verificata su lingue con alfabeti non latini. Quella singola informazione, assente da un semplice foglio tecnico con la sola metrica media, evita al team di scoprire in produzione, sui documenti in italiano con caratteri accentati o su moduli scansionati in lingue diverse, un tasso di errore che nessun test aggregato avrebbe segnalato prima del rilascio.

Perché conta per chi decide

Per chi deve decidere se adottare un modello di terze parti, la model card è il primo documento da chiedere e da leggere per intero, non solo per la riga dell'accuratezza: nella due diligence dell'AI BOM è la fonte primaria da cui derivano le altre voci dell'inventario, ed è spesso l'unico punto in cui un fornitore documenta esplicitamente dove il proprio modello non è stato testato. L'assenza di una model card, o una model card che riporta solo metriche aggregate senza scomposizione per sottogruppo, è di per sé un segnale di rischio da trattare come tale prima della firma di un contratto, non dopo il primo incidente in produzione.