Cosa sono temperatura e top-p in un LLM?

La temperatura e il top-p sono i principali parametri di campionamento di un LLM, cioè le impostazioni che stabiliscono quanto il modello si concede di rischiare quando sceglie come continuare il testo. Un modello linguistico non compone una frase tutta in una volta: a ogni passo assegna un punteggio a ciascuno dei pezzi di testo che potrebbero venire dopo, i token, e ne estrae uno a sorte, dando più chance a quelli che giudica migliori. La temperatura cambia le proporzioni di questa estrazione: bassa, concentra quasi tutta la probabilità sui candidati più ovvi e rende le risposte prevedibili; alta, lascia spazio anche ai candidati meno probabili e rende il testo più vario, ma anche più esposto a scelte bizzarre. Il top-p e il top-k, che gli è affine, agiscono invece sulla rosa dei candidati, scartando quelli troppo improbabili prima dell'estrazione. Sono le leve che distinguono un'estrazione di dati ripetibile da una sessione di brainstorming.

Leggi anche: Determinismo negli LLM · La proprietà, spesso assente, per cui uno stesso prompt produce sempre lo stesso output, anche a temperatura zero.

Come funzionano, senza formule

Il punteggio grezzo che il modello dà a ogni token si chiama logit, e una funzione standard, la softmax, trasforma questi punteggi in probabilità. La temperatura interviene un attimo prima, dividendo tutti i punteggi per uno stesso numero: sotto 1 il favorito si stacca dagli altri, sopra 1 la distribuzione si appiattisce. Il top-p, che in letteratura si chiama nucleus sampling ed è stato proposto nel 2019 da Holtzman e colleghi, tiene solo il gruppo più piccolo di token che insieme arrivano alla probabilità p e pesca lì dentro: il gruppo si stringe quando il modello è sicuro e si allarga quando non lo è. Il top-k tiene invece sempre i k candidati più probabili. La stessa divisione dei punteggi compare nel temperature scaling, con un altro scopo: ricalibrare la fiducia dichiarata da un classificatore, non dosare la varietà di un testo.

Quali valori per quale compito

Le indicazioni dei fornitori sono generiche, ma vanno nella stessa direzione. La documentazione dell'API di Anthropic suggerisce, per i modelli più vecchi, valori vicini a 0 nei compiti analitici e vicini a 1 in quelli creativi; quella di OpenAI associa a 0,2 risposte più mirate e a 0,8 risposte più casuali, e raccomanda di modificare uno solo dei due, la temperatura o il top-p. In pratica: estrazione di campi e classificazione vogliono valori bassi, bozze e brainstorming ne tollerano di più alti. La temperatura a zero non rende il modello deterministico, come spiega la voce sul determinismo negli LLM, né elimina le allucinazioni: rende solo più ripetibile la risposta più probabile, che può essere sbagliata.

I modelli che non accettano più queste regolazioni

Anthropic indica temperatura, top-p e top-k come deprecati: i modelli usciti dopo Claude Opus 4.6 accettano la temperatura solo a 1 e il top-p solo a 0,99 o, su alcuni modelli, poco sopra, e rispondono con un errore a qualunque altro valore e a qualunque top-k. La guida alla migrazione indica il prompt come strada per orientare il comportamento, mentre la guida di OpenAI alla famiglia GPT-6 chiede di togliere temperatura e top-p quando il ragionamento del modello è attivo.

Un esempio enterprise

Un distributore usa lo stesso fornitore per due flussi: uno estrae importi e codici dalle fatture con temperatura a zero, l'altro scrive descrizioni di prodotto con la temperatura fissata nel codice a 0,9. Al passaggio a un modello più recente entrambi si fermano: ogni chiamata restituisce un errore. Togliere i parametri è questione di minuti; il lavoro vero è spostare nel prompt quello che faceva la temperatura, chiedendo varianti diverse per le descrizioni e un formato rigido per le fatture, e rifare il collaudo su casi reali.

Perché conta per chi decide

Temperatura e top-p regolano quanto una risposta varia da una volta all'altra, e vanno scelti in base al compito. Conviene trattarli come configurazione legata al modello, non come costanti sparse nel codice, perché un valore valido oggi può diventare un errore alla prossima migrazione. E poiché il controllo del tono e della varietà si sta spostando nel prompt, il collaudo di un cambio di modello deve verificare anche che tono e varietà delle risposte restino quelli attesi.