Cos'è il prompt caching?
Riutilizzo della parte fissa del prompt tra una richiesta e l'altra: il modello non la rielabora da zero e i costi crollano.
Il prompt caching è la tecnica con cui il provider di un modello riutilizza la parte fissa del prompt tra una richiesta e l'altra invece di rielaborarla ogni volta. Nei sistemi reali gran parte del contesto è identica a ogni chiamata: istruzioni di sistema, descrizioni degli strumenti, documenti di riferimento, esempi. Con la cache attiva, quella parte viene processata una volta e le richieste successive pagano solo il nuovo. La tecnica esiste da tempo nel mondo dei database e dei sistemi web, riutilizzare un risultato calcolato in precedenza invece di rifarlo da capo, ma applicata a un LLM cambia radicalmente le economie di un'applicazione che chiama il modello centinaia o migliaia di volte al giorno con un contesto in gran parte ripetuto. Non è attivo per default in tutti i provider: in alcuni casi va abilitato esplicitamente nella chiamata API, un dettaglio che vale la pena verificare prima di dare per scontato che i risparmi arrivino da soli.
Come funziona e quanto rende
Tecnicamente il provider conserva lo stato interno del modello (la cache) calcolato sul prefisso fisso del prompt: alla richiesta successiva riparte da lì. Le condizioni pratiche: il prefisso deve essere identico byte per byte, la cache ha una scadenza (da minuti a ore a seconda del provider e del piano), e i token letti dalla cache costano una frazione del prezzo pieno, con listini che arrivano a sconti intorno al 90% sulla parte cachata. Su un assistente aziendale o un agente che macina centinaia di chiamate con lo stesso contesto, la differenza in bolletta è di quelle che si vedono a occhio nudo.
Cosa cambia nel progettare i prompt
Il caching premia una disciplina precisa: mettere le parti stabili all'inizio (istruzioni, strumenti, conoscenza di riferimento) e le parti variabili in fondo (la domanda dell'utente, i dati del momento), perché qualsiasi variazione nel prefisso invalida la cache da quel punto in poi. È uno dei motivi per cui il context engineering è un mestiere: la struttura del contesto non decide solo la qualità delle risposte, decide anche quanto le paghi. Insieme alla scelta del modello e al caching applicativo delle risposte, è la leva più rapida della AI tokenomics.
Termini correlati
- AI tokenomics · L'economia dei token AI: cosa costa davvero l'inferenza, come si misura (costo per milione di token) e come si tiene sotto controllo.
- Inferenza · L'uso di un modello AI già addestrato per produrre risposte: ogni domanda a ChatGPT è inferenza, ed è dove oggi si concentrano i costi.
- Context window · La memoria di lavoro del modello, misurata in token: ciò che ci sta dentro è tutto ciò che il modello può vedere per rispondere.
- Context engineering · La disciplina che decide quali informazioni dare a un modello AI e come: il successore del prompt engineering per i sistemi seri.
- CAG vs RAG · Due modi di dare a un LLM la conoscenza aziendale: precaricarla tutta nel contesto (CAG) o recuperarla al bisogno (RAG).
Un termine che ti riguarda da vicino? Parliamone.
CONTATTAMI