Cos'è il context window di un modello AI?

Il context window è la memoria di lavoro di un modello linguistico, misurata in token: la quantità massima di testo, tra prompt, documenti allegati e cronologia della conversazione, che il modello può "vedere" in una singola richiesta. Ciò che non entra nella finestra semplicemente non esiste per il modello in quel momento: non viene ignorato per scelta, non c'è. Le dimensioni di questa finestra sono cresciute molto negli ultimi anni, da poche migliaia a centinaia di migliaia di token, ma una finestra più grande non significa automaticamente risposte migliori: riempirla ha un costo, in denaro e in latenza, e i modelli tendono comunque a perdere precisione sulle informazioni collocate a metà di un contesto molto lungo. Per questo la finestra va trattata come una risorsa da gestire con cura, non come uno spazio da riempire il più possibile.

Più grande non è automaticamente meglio

Le finestre di contesto sono cresciute enormemente negli ultimi anni, da poche migliaia a centinaia di migliaia di token. Ma riempirle non è gratis: più contesto significa più costo per richiesta (i token si pagano) e più latenza nella risposta. Esiste inoltre un fenomeno documentato noto come "lost in the middle": i modelli tendono a richiamare meglio le informazioni all'inizio e alla fine di un contesto lungo, e a perdere precisione su ciò che sta in mezzo. Una finestra enorme piena di documenti irrilevanti spesso produce risposte peggiori di una finestra piccola ma ben selezionata.

Perché conta nella pratica

È il motivo per cui la RAG resta rilevante anche con finestre di contesto molto ampie: selezionare i frammenti giusti da inserire nel contesto batte quasi sempre "buttarci dentro tutto" e sperare che il modello trovi ciò che serve. Progettare cosa entra nella finestra, in che ordine e con quale livello di sintesi è il cuore del context engineering, e va gestito come una risorsa scarsa, non come uno spazio infinito da riempire. Un approccio emergente come i Recursive Language Models attacca lo stesso vincolo da un'altra direzione: invece di scegliere cosa entra nella finestra, tratta il contesto come un ambiente esterno da interrogare con codice, senza doverlo ingerire per intero.