Cos'è il controllo di accesso ai crawler AI?

Il controllo di accesso ai crawler AI è la decisione, presa a livello di governance e non di semplice configurazione tecnica, su quali crawler basati su intelligenza artificiale possono leggere i contenuti di un sito e per quale scopo. La distinzione che conta è tra due famiglie di bot dello stesso operatore: quelli che raccolgono pagine per addestrare un modello (come GPTBot di OpenAI o ClaudeBot di Anthropic) e quelli che recuperano una pagina in tempo reale per rispondere a un utente che ha appena fatto una domanda (come OAI-SearchBot o ChatGPT-User di OpenAI, o Perplexity-User di Perplexity). Trattarli come un blocco unico e vietarli tutti insieme è la scelta più comune e la più superficiale: risolve un timore generico sulla proprietà dei contenuti ma ignora che il secondo tipo di bot è il canale attraverso cui un sito compare dentro le risposte generative, dove oggi si gioca una parte crescente della visibilità online.

Il costo nascosto di bloccare tutto

Chiudere ogni crawler AI sembra la scelta prudente, ma non è gratis. Lo stesso operatore usa spesso agenti diversi per l'addestramento e per il recupero in tempo reale, e una direttiva scritta in modo grossolano nel file robots finisce per bloccarli entrambi. Il risultato pratico è uscire dalle risposte che ChatGPT, Perplexity o le AI Overviews restituiscono quando un utente cerca proprio i temi su cui l'azienda vorrebbe essere trovata, la stessa partita descritta in GEO e AEO. La scelta corretta non è simmetrica: si può negare l'addestramento e insieme permettere il recupero in tempo reale, oppure il contrario, a seconda di cosa quel contenuto rappresenta per l'azienda.

I limiti reali del file robots

Il file robots.txt è una richiesta di cortesia rivolta a crawler che scelgono di rispettarla, non un meccanismo di controllo degli accessi: un bot che non la rispetta, o che dichiara un user agent diverso da quello reale, la ignora senza conseguenze tecniche. Il blocco che conta davvero si applica a un livello diverso, quello della rete o dell'applicazione: firewall applicativo, regole del CDN, o autenticazione sui contenuti che non devono essere pubblici. Questo è lo stesso principio già visto nella data governance: la regola scritta su carta non protegge niente se non è applicata da un controllo tecnico a monte.

Il criterio di scelta

La decisione utile non è "bloccare o permettere" in astratto, ma classificare i contenuti prima di scrivere la policy. Documentazione proprietaria, prezzi riservati, contenuti dietro paywall o materiale che rappresenta un vantaggio competitivo vanno trattati come un asset da proteggere, tipicamente negando l'addestramento. Pagine pensate per farsi trovare, come articoli editoriali, pagine di prodotto pubbliche o contenuti che costruiscono autorità, vanno invece lasciate leggibili ai crawler di recupero in tempo reale, perché è lì che si costruisce la presenza nelle risposte generative. È una decisione di governance dei dati perché richiede di sapere cosa si possiede, a cosa serve e chi lo può leggere, non una casella da spuntare nel pannello di amministrazione del sito.