Cos'è lo speculative decoding negli LLM?

Lo speculative decoding è una tecnica che accelera la generazione di testo di un modello linguistico senza cambiare di una virgola la qualità del risultato finale. Invece di generare un token alla volta con il modello grande e costoso (il modello "target"), un modello piccolo e veloce (il modello "bozza" o "draft") propone in anticipo una breve sequenza di token candidati. Il modello target verifica poi quei candidati in un solo passaggio parallelo, invece di generarli uno per uno in sequenza: se sono quelli che avrebbe prodotto lui stesso li accetta tutti insieme, altrimenti corregge dal primo punto in cui si discosta. Il punto chiave, spesso frainteso, è che l'output finale è matematicamente identico a quello che il modello target avrebbe generato da solo token per token: non è un'approssimazione né un compromesso di qualità, è un modo diverso e più efficiente di arrivare esattamente allo stesso risultato, sfruttando il fatto che verificare in parallelo costa molto meno che generare in sequenza.

Perché la qualità non cambia

La garanzia matematica sta nel meccanismo di verifica: il modello target non si limita a "fidarsi" del modello draft, ricalcola la distribuzione di probabilità che avrebbe usato lui stesso per ogni token proposto e accetta o rifiuta i candidati confrontandoli con quella distribuzione, non con un giudizio approssimativo. Quando un token proposto dal draft viene rifiutato, il sistema ricampiona da quel punto esattamente come avrebbe fatto il modello target senza alcun draft, quindi la sequenza di inferenza finale non perde mai in accuratezza. Il guadagno arriva dal fatto che verificare più token in un solo passaggio in avanti costa quasi quanto verificarne uno, perché il decode è limitato dalla banda di memoria della GPU e non dal calcolo: lo speculative decoding sfrutta capacità di calcolo che nel decode normale resterebbe inutilizzata, senza toccare il risultato.

Un caso enterprise concreto

Un assistente conversazionale rivolto ai clienti è il caso in cui la latenza percepita conta più di ogni altra metrica: un utente che aspetta tre secondi prima di vedere la risposta iniziare a comparire percepisce il servizio come lento, indipendentemente da quanto sia accurata la risposta finale. Un'azienda che serve questo assistente con un modello di punta costoso può affiancargli un modello economico e più piccolo come draft: quest'ultimo propone le parole più prevedibili della risposta (saluti, formule di cortesia, strutture di frase comuni), il modello di punta le verifica in blocco, e il cliente vede la risposta scorrere più velocemente senza che il fornitore abbia rinunciato a un solo bit di qualità del modello principale.

Perché conta per chi decide

Lo speculative decoding riduce la latenza a parità esatta di qualità dell'output, il che lo rende diverso da altre tecniche di ottimizzazione che invece scambiano qualità per velocità. Il costo non è nullo: servono due modelli invece di uno, un modello draft scelto e mantenuto in coppia con quello target, con una pipeline di serving più complessa da operare e monitorare rispetto a un singolo modello. Alcuni modelli evitano il secondo modello perché la capacità di proporre è dentro i loro pesi, grazie al multi-token prediction. Il guadagno reale dipende da quanto il draft "indovina" correttamente i token del target: un draft troppo diverso o mal scelto genera overhead invece di risparmio. Chi valuta un fornitore di inferenza dovrebbe chiedere se e come usa lo speculative decoding, perché è oggi una delle leve concrete con cui si abbassa la bolletta di latenza senza rinegoziare il modello principale.