Cos'è un token?

Un token è l'unità minima di testo che un modello linguistico legge e produce: un frammento prodotto da un tokenizer, a cui è associato un id numerico nel vocabolario del modello. Niente a che vedere con il token delle criptovalute o con quello bancario per l'autenticazione: sono omonimi, non parenti. Un modello non "legge parole": riceve una sequenza di questi id e a ogni passo prevede il token successivo più probabile. Un token può essere una parola intera comune ("gatto"), un pezzo di una parola più rara ("anti", "costituzional", "issimo"), un carattere, un segno di punteggiatura o un emoji, a seconda di quanto è frequente nei dati di addestramento. Per l'inglese, OpenAI documenta come regola pratica circa 4 caratteri per token e circa 0,75 parole per token (fonte: OpenAI Help Center). Il token è quindi l'unità con cui un modello legge, si addestra ed è fatturato, distinta sia dalla parola sia dal vettore di embedding che ne rappresenta il significato.

Perché un token non è una parola

Il rapporto tra token e caratteri non è uguale in ogni lingua. Un lavoro peer-reviewed (Petrov et al., NeurIPS 2023, "Language Model Tokenizers Introduce Unfairness Between Languages") ha misurato che alcune lingue richiedono fino a diverse volte più token dell'inglese a parità di contenuto, perché i vocabolari dei tokenizer più diffusi sono costruiti su corpora a maggioranza inglese. L'italiano, con la sua morfologia flessiva, tende a consumare più token dell'inglese a parità di frase, anche se meno di lingue tipologicamente più distanti. La disparità e le sue conseguenze sono approfondite nella voce disparità del tokenizer: qui conta la conseguenza pratica, lo stesso testo in italiano costa più token dello stesso testo in inglese.

I tre posti dove il token si paga

Un'azienda incontra il token, e lo paga, in tre punti distinti. Primo, il prezzo delle API: i fornitori fatturano per milione di token in ingresso e in uscita, quindi la lunghezza dell'input in token è il primo driver di costo, argomento sviluppato nella voce tokenomics. Secondo, la capienza della finestra di contesto: quanti token entrano in una singola richiesta è un limite fisico del modello, non regolabile a piacere. Terzo, la velocità percepita dall'utente, misurata in token al secondo generati in fase di decodifica, un dettaglio tecnico legato al ciclo prefill e decode del modello. Il token è quindi l'unità che attraversa tutti e tre i vincoli: costo, capienza e velocità.

Un esempio enterprise

Un cliente che stima a preventivo un progetto di analisi automatica di contratti in italiano commette spesso lo stesso errore: conta le parole del corpus, non i token, e applica il rapporto di 0,75 parole per token valido per l'inglese. Un corpus di 500.000 parole in italiano, per la morfologia più ricca e un vocabolario del tokenizer sbilanciato sull'inglese, produce tipicamente più token del corrispondente inglese a parità di parole, non meno. Chi stima costo API o capienza della finestra di contesto contando le parole invece dei token rischia di sottostimare entrambi, un errore evitabile contando i token con il tokenizer reale del modello scelto prima di firmare il preventivo.

Perché conta per chi decide

Il token è l'unità che collega tre decisioni normalmente prese da persone diverse in azienda: quanto costa l'AI generativa, quanti documenti puoi elaborare in una richiesta e quanto velocemente arriva la risposta. Chi firma un preventivo o un contratto con un fornitore di modelli deve pretendere le stime in token, non in parole o in pagine, e deve sapere che un corpus in italiano non si converte in token con lo stesso rapporto di un corpus in inglese. È un dettaglio tecnico apparentemente minore che, moltiplicato per milioni di documenti, sposta il costo reale di un progetto.