Cloudflare separa ricerca e training AI: i siti potranno vietare l’addestramento senza sparire dai motori

Cloudflare introduce nuovi strumenti per consentire ai proprietari dei siti web di decidere come i propri contenuti possono essere utilizzati dall’intelligenza artificiale senza rinunciare alla visibilità sui motori di ricerca. La società ha lanciato la funzione Disallow AI Training e una nuova designazione, denominata Accountable, destinata agli operatori di crawler che rispettano determinati criteri di trasparenza e controllo.

Tra i primi operatori classificati come Accountable figurano Apple, Google e Microsoft, che secondo Cloudflare dispongono già dei requisiti richiesti oppure hanno assunto impegni con tempistiche definite per completarli.

La novità affronta uno dei principali problemi emersi con la crescita dell’AI generativa: alcuni crawler vengono utilizzati contemporaneamente per costruire gli indici dei motori di ricerca e per raccogliere contenuti destinati all’addestramento dei modelli. Bloccarli completamente poteva quindi significare anche rinunciare all’indicizzazione.

Disallow AI Training separa ricerca e addestramento

La nuova impostazione Disallow AI Training consente a un sito di comunicare attraverso robots.txt la volontà di non autorizzare l’utilizzo dei propri contenuti per l’addestramento dei modelli AI.

I crawler a uso misto classificati da Cloudflare come Accountable possono continuare ad accedere al sito per le attività di ricerca e indicizzazione, rispettando allo stesso tempo la scelta relativa al training.

Gli altri crawler destinati all’addestramento possono invece essere bloccati. Cloudflare precisa, ad esempio, che i crawler dedicati al training di società come Amazon, Anthropic, Meta e OpenAI possono essere fermati senza incidere sulla ricerca perché queste aziende utilizzano bot distinti per le diverse finalità.

La funzione non equivale quindi semplicemente a un blocco generalizzato: punta a distinguere perché un crawler sta accedendo al contenuto.

I crawler misti valgono il 36,6% del traffico verificato

Il problema è diventato rilevante anche per le dimensioni raggiunte da questa categoria di bot.

Secondo i dati di Cloudflare, i crawler a uso misto rappresentano oggi il 36,6% del traffico verificato dei crawler sulla propria rete, risultando la categoria più numerosa.

La maggior parte dei proprietari dei siti continua tuttavia a considerare utile la presenza nei risultati di ricerca: meno dell’1% blocca i crawler Search, mentre circa il 17% limita in qualche modo l’addestramento AI.

È proprio questa differenza a spiegare la strategia di Cloudflare: consentire ai publisher di mantenere la distribuzione generata dai motori di ricerca senza dover automaticamente autorizzare altri utilizzi dei contenuti.

Quattro requisiti per diventare “Accountable”

Cloudflare ha stabilito quattro condizioni che un operatore deve soddisfare, oppure impegnarsi a soddisfare entro una tempistica definita, per ottenere la qualifica Accountable.

Il primo requisito è offrire ai siti un sistema chiaro per rifiutare l’addestramento dell’AI, tramite robots.txt o strumenti equivalenti. Gli operatori devono inoltre permettere di rinunciare ai riepiloghi generati dall’AI, fornire visibilità a livello di URL sull’utilizzo dei contenuti e assicurare pubblicamente che l’opt-out dal training non penalizzi il posizionamento nella ricerca tradizionale.

Cloudflare pubblicherà e aggiornerà attraverso Cloudflare Radar le informazioni relative agli operatori che rispettano questi criteri.

Apple, Google e Microsoft tra i primi operatori

Cloudflare cita Applebot, Googlebot e Bingbot come crawler a uso misto classificati Accountable.

Google mette già a disposizione Google-Extended, che permette ai siti di limitare alcuni utilizzi dei propri contenuti da parte dei sistemi generativi senza bloccare Google Search. La società dispone inoltre di strumenti per gestire la presenza dei contenuti nelle esperienze AI della ricerca.

Apple utilizza invece Applebot-Extended per consentire l’esclusione dall’addestramento, mentre Microsoft dispone già di alcuni controlli attraverso Bing Webmaster Tools e sta lavorando, secondo Cloudflare, a un supporto più diretto delle preferenze “no training” via robots.txt previsto per l’inizio del 2027.

Tre controlli separati: Search, Training e Agent

Cloudflare supera inoltre il precedente interruttore generale “Block AI Bots”, sostituendolo con controlli distinti per tre categorie di utilizzo.

I proprietari dei siti potranno gestire separatamente Search, cioè i crawler utilizzati per creare gli indici di ricerca; Training, dedicato all’addestramento o fine-tuning dei modelli; e Agent, che comprende gli agenti AI che visitano una pagina per conto di un utente.

Per il training diventano disponibili differenti livelli di intervento: consentire l’accesso, esprimere una preferenza di esclusione dall’addestramento oppure bloccare direttamente i crawler.

Impostazioni più restrittive per i siti finanziati dalla pubblicità

Cloudflare introduce anche configurazioni iniziali differenti in base al modello economico del sito.

Per i siti sostenuti dalla pubblicità, la configurazione raccomandata mantiene attiva la ricerca, imposta Disallow AI Training e blocca gli agenti AI sulle pagine che ospitano annunci.

Per gli altri siti, invece, Search, Training e Agent rimangono inizialmente consentiti, salvo diversa scelta del proprietario.

La logica è legata al fatto che, per un editore finanziato dalla pubblicità, il valore economico dipende spesso dalla visita diretta dell’utente alla pagina. Se il contenuto viene utilizzato per generare una risposta altrove, quella visita potrebbe non avvenire.

Bot Preference Sync sostituisce Managed Robots.txt

Un’altra novità riguarda Bot Preference Sync, destinato a sostituire progressivamente Managed Robots.txt.

La funzione permette al proprietario del sito di impostare una sola volta le preferenze relative a Search, Training e Agent, lasciando poi a Cloudflare il compito di sincronizzarle automaticamente con il file robots.txt e con i crawler supportati.

L’obiettivo è evitare che le regole dichiarate nel robots.txt e quelle applicate effettivamente a livello di rete siano incoerenti tra loro.

Le impostazioni potranno comunque essere modificate in qualsiasi momento.

Il prossimo fronte sono i riassunti generati dall’AI

Cloudflare indica già quale sarà il passaggio successivo: i riepiloghi prodotti dai sistemi di intelligenza artificiale.

Per ottenere la designazione Accountable, gli operatori devono consentire ai proprietari dei siti di rinunciare anche a questo utilizzo dei propri contenuti.

Attualmente le preferenze devono essere gestite separatamente con ciascun operatore. Entro l’inizio del 2027 Cloudflare punta invece a offrire da un unico punto controlli anche sulla quantità di contenuto utilizzabile nei riepiloghi AI.

Prince: “Controllo concreto su come viene utilizzato il lavoro”

“È così che rendiamo Internet migliore: preservando l’apertura che rende la ricerca utile, dando al contempo alle persone e alle aziende che stanno alla base del web un controllo concreto sulle modalità con cui il loro lavoro viene utilizzato”, ha dichiarato Matthew Prince, co-fondatore e CEO di Cloudflare. “Non vediamo l’ora di continuare a collaborare con aziende come Apple, Google e Microsoft per lavorare insieme alla costruzione di un ecosistema sano.”

Cloudflare sta inoltre partecipando ai lavori dell’Internet Engineering Task Force (IETF) su standard aperti come ai-prefs, ancora in fase di sviluppo, che punta a creare un sistema standardizzato e portabile attraverso il quale qualsiasi sito possa esprimere le proprie preferenze sull’utilizzo dei contenuti da parte dell’intelligenza artificiale.

Con Disallow AI Training, Bot Preference Sync e la classificazione Accountable, Cloudflare prova quindi a spostare il confronto tra editori e aziende AI da un modello basato sul semplice blocco dei bot a uno nel quale ricerca, addestramento e agenti possono essere gestiti separatamente.