Cos'è il context rot?

Il context rot è il degrado progressivo di rilevanza, accuratezza e utilità delle informazioni che un modello linguistico gestisce man mano che il suo contesto si riempie. La parte controintuitiva è quando inizia: non al limite massimo dichiarato dal fornitore, ma molto prima. Un modello con una finestra da 200.000 token può già dare risposte più deboli a 50.000 o 80.000 token, semplicemente perché il contesto è affollato. Gli LLM usano il contesto lungo peggio di quanto suggerisca il marketing sulle dimensioni della finestra. Il fenomeno è stato osservato in test su più modelli frontier, con un calo di accuratezza che in alcuni casi arriva al 30-50%, ben prima di raggiungere il limite documentato della finestra. Non è quindi un problema legato a un singolo fornitore, ma una caratteristica strutturale di come i transformer gestiscono contesti lunghi, ed è distinto dal semplice limite di capacità noto come context window.

Come funziona

Ogni token aggiunto al contesto consuma una parte di un budget di attenzione limitato: il modello deve decidere, per ogni parola che genera, a quali parti del testo precedente dare peso. Più il contesto cresce, più questo meccanismo si diluisce, un po' come la memoria di lavoro umana quando deve tenere in mente troppe cose insieme. Il risultato tipico non è un crollo netto, ma un cedimento graduale: il modello inizia a confondere dettagli simili, ad aggrapparsi ad assunzioni fatte a inizio conversazione anche quando non sono più valide, oppure ad allontanarsi lentamente dall'intento originale dell'utente senza che nulla lo segnali esplicitamente.

L'evidenza

Il fenomeno è stato osservato e nominato da più ricercatori indipendenti nel 2025, che hanno testato modelli frontier, tra cui GPT-4.1, la famiglia Claude 4, Gemini 2.5 e Qwen3, su compiti a lunghezza di input crescente (approfondimento). Il pattern è coerente: l'accuratezza cala in modo non uniforme all'aumentare della lunghezza del contesto, in alcuni casi del 30-50%, ben prima che si raggiunga il limite documentato della finestra. Non è un problema di un singolo modello o fornitore, ma una caratteristica strutturale di come i transformer gestiscono contesti lunghi.

La differenza da context window

Il context window è il limite di capacità dichiarato: quanti token il modello può accettare in una richiesta. Il context rot è il degrado di qualità che avviene dentro quel limite, molto prima di riempirlo. Sono due problemi distinti: uno è quanto contesto puoi dare al modello, l'altro è quanto bene il modello lo usa davvero.

Perché conta per chi costruisce su LLM

Per un'azienda che costruisce sistemi AI la conseguenza pratica è diretta: non basta "avere più contesto disponibile", va gestita attivamente la qualità e la densità di ciò che entra nel contesto. È lo stesso principio alla base della RAG, che seleziona solo i frammenti rilevanti invece di scaricare interi archivi nel prompt, ed è il cuore del context engineering: progettare cosa entra nel contesto, in che ordine e con quale sintesi, trattandolo come una risorsa scarsa e soggetta a degrado, non come uno spazio infinito da riempire.