Cos'è un AI gateway?

Un AI gateway è il livello software che si inserisce tra le applicazioni aziendali e i modelli linguistici, centralizzando ogni chiamata invece di lasciare che ciascun team la faccia a modo suo. Instrada le richieste verso più provider (OpenAI, Anthropic, Google, modelli open source self-hosted), gestisce in un unico posto le chiavi API che altrimenti finirebbero disperse in decine di repository, applica rate limiting e quote per team o progetto, traccia i costi per centro di costo, mette in cache le risposte ricorrenti per risparmiare token, filtra input e output per bloccare prompt injection o dati sensibili in uscita, e passa automaticamente a un provider alternativo se quello primario è irraggiungibile. Non è un prodotto con un solo nome: è una categoria con implementazioni diverse, dalle estensioni di gateway API già esistenti (Kong AI Gateway, Apigee) alle piattaforme nate per questo scopo (Portkey, Cloudflare AI Gateway, LiteLLM, Helicone). Il tratto comune è lo stesso: un solo punto attraverso cui passa tutto il traffico verso i modelli.

Perché nasce come strato a sé

Finché un'azienda ha un solo team che chiama un solo modello, la chiamata diretta all'API funziona. Il problema emerge quando i team che integrano LLM diventano cinque, dieci, venti: ognuno sceglie il proprio provider, gestisce le proprie chiavi, non sa quanto sta spendendo il team accanto e non ha modo di sapere se un altro gruppo ha già risolto lo stesso problema di affidabilità. L'AI gateway nasce esattamente per arginare questa frammentazione: diventa il confine tecnico oltre il quale nessuna applicazione parla direttamente con un provider esterno, e tutto ciò che serve per governare quell'uso, dalle chiavi ai limiti di spesa, è centralizzato invece che replicato in ogni team.

Esempio enterprise

Un gruppo industriale con dieci divisioni ha lasciato che ciascuna integrasse LLM in autonomia: alcune direttamente su OpenAI, altre su Anthropic tramite chiavi personali di sviluppatori, senza alcuna visibilità centrale sulla spesa complessiva né controllo su quali dati venissero inviati ai modelli. Mettendo un AI gateway davanti a tutte le integrazioni, la direzione IT ottiene un solo punto da cui vedere la spesa per divisione, revocare una chiave compromessa senza toccare il codice applicativo, imporre un filtro che blocca l'invio di dati personali nei prompt e far scattare automaticamente il fallback su un secondo provider quando il primo va in timeout, senza che nessuna applicazione debba essere modificata.

Perché conta per chi decide

Senza un AI gateway, la governance dell'uso di LLM in azienda resta una promessa sulla carta: ogni team integra a modo suo, i costi si scoprono solo in fattura a fine mese, e un incidente di sicurezza in un prompt scoperto da un team difficilmente diventa una lezione per gli altri. L'AI gateway è lo strato che trasforma quella governance in regola applicata invece che dichiarata, ed è anche l'argine tecnico più diretto contro lo shadow AI: se il gateway è l'unica via per raggiungere un modello, l'uso non sanzionato smette di essere invisibile.