Cos'è l'avversione all'algoritmo?

L'avversione all'algoritmo è la tendenza a smettere di usare un modello statistico dopo averlo visto sbagliare, anche quando quel modello resta più accurato della persona che prenderebbe il suo posto. Il nome viene da uno studio del 2015 di Berkeley Dietvorst, Joseph Simmons e Cade Massey, "Algorithm aversion: people erroneously avoid algorithms after seeing them err" (Journal of Experimental Psychology: General, 144, 1, pp. 114-126). In cinque esperimenti i partecipanti dovevano scommettere su chi avrebbe previsto meglio un esito reale, un modello statistico o una persona: chi aveva visto il modello lavorare, e quindi sbagliare almeno una volta, lo sceglieva molto meno spesso, anche quando aveva sbagliato meno della persona con cui era messo a confronto. Per un'azienda la conseguenza si legge nei conti: lo stesso errore viene perdonato a un collega e non viene perdonato a un sistema, e il progetto muore nella riunione dopo.

Leggi anche: Automation bias · L'automation bias è la tendenza di chi riceve un output automatico a fidarsene più di quanto meriti.

Perché l'errore della macchina pesa di più

Il meccanismo misurato è la velocità con cui cade la fiducia. Davanti a uno sbaglio umano si cerca una circostanza, un dato mancante, una giornata storta; davanti allo stesso sbaglio fatto da un modello si conclude che il modello non funziona. È il verdetto ad essere diverso, non l'errore. La letteratura però non è univoca: Jennifer Logg, Julia Minson e Don Moore, in "Algorithm appreciation: People prefer algorithmic to human judgment" (Organizational Behavior and Human Decision Processes, 151, pp. 90-103), trovano in sei esperimenti il risultato opposto: quando ricevono un consiglio, le persone lo seguono di più se credono che venga da un algoritmo. L'effetto si attenua proprio nei due casi che in azienda sono la norma: quando il confronto è con la propria stima e non con quella di un estraneo, e quando chi decide è un professionista che fa previsioni di mestiere: nello studio gli esperti si affidavano all'algoritmo meno dei non esperti, e ci perdevano in accuratezza.

Un esempio enterprise

Un distributore di ricambi introduce un modello di previsione della domanda che batte il pianificatore su tutto il catalogo. Alla prima rottura di stock su un codice importante il modello viene spento e si torna al foglio di calcolo. L'adozione regge su tre meccanismi scritti prima di accendere il sistema. Il primo è il margine di modifica: il modello propone la quantità, il pianificatore può correggerla entro una soglia dichiarata e la correzione viene registrata. Dietvorst e colleghi lo hanno verificato in "Overcoming Algorithm Aversion" (Management Science, 64, 3, pp. 1155-1170): chi poteva modificare le previsioni sceglieva l'algoritmo imperfetto molto più spesso e otteneva risultati migliori, e la preferenza reggeva anche quando il margine di modifica era minimo. Il secondo è la regola di rollback: si torna al metodo precedente solo se l'errore medio su una finestra concordata supera quello della baseline umana, mai dopo un singolo caso. Il terzo è come la previsione viene mostrata, un intervallo e non una cifra secca, perché un numero senza margine promette una precisione che nessun modello ha.

Perché conta per chi decide

Chi firma l'investimento decide su questo, non sull'accuratezza: un modello migliore della media dei suoi utenti può essere abbandonato in tre mesi senza che nessuno abbia mai discusso i suoi numeri. Serve poi la misura opposta: dichiarare quanto il modello è sicuro di sé, cioè la sua calibrazione della confidenza, e distinguerla da quanto la persona si fida di lui. L'errore speculare è l'automation bias, dove la macchina viene sopravvalutata e l'output passa senza controllo: qui si sottovaluta, là si sopravvaluta, e sono due tarature della stessa fiducia. Dove collocare il controllo umano nel processo, chi approva e a quale costo in velocità, è invece una questione di architettura e vive alla voce human-in-the-loop. La leva resta il giudizio sull'errore: la soglia di modifica e la regola di rollback vanno fissate prima che il modello sbagli la prima volta.