Con Pay Per Crawl il web tenta di uscire dall’alternativa secca tra accesso gratuito e blocco totale, introducendo un modello in cui il contenuto può essere autenticato, tariffato e negoziato dalle macchine.

Per molti anni il rapporto tra editori, piattaforme e motori di ricerca si è fondato su un equilibrio implicito: i contenuti venivano resi accessibili ai crawler e, in cambio, una parte del traffico tornava verso i siti che li avevano prodotti. L’avvento dei sistemi generativi ha incrinato questo patto. 

L’uso degli agents e i sistemi di protezione

Oggi una quota crescente di contenuti viene letta, sintetizzata e riutilizzata da agenti automatici che non sempre restituiscono attenzione, visite o ricavi a chi quei contenuti li ha creati. È dentro questa frattura che si colloca Pay Per Crawl, l’iniziativa presentata da Cloudflare già dal 1° luglio 2025, con l’obiettivo di consentire ai proprietari dei siti di decidere se permettere ai crawler AI l’accesso gratuito, bloccarli oppure chiedere un corrispettivo economico per ogni richiesta.

La novità non è soltanto commerciale. Cloudflare prova infatti a tradurre in linguaggio infrastrutturale una questione che finora è stata affrontata soprattutto in termini politici, legali o reputazionali: chi remunera il lavoro culturale del web quando i lettori non sono più persone ma modelli, crawler e agenti? Nella formulazione originaria, il sistema si fonda sull’uso di HTTP 402 Payment Required, un codice rimasto a lungo marginale nella storia del web e qui recuperato come segnale nativo di una richiesta economica. Se un crawler raggiunge una risorsa protetta senza dichiarare disponibilità al pagamento, riceve un 402 con il prezzo associato; se invece esprime un’intenzione di pagamento compatibile con il prezzo fissato dal publisher, l’accesso può avvenire con risposta positiva e con conferma dell’addebito. Cloudflare, in questo schema, agisce anche come Merchant of Record, cioè come soggetto che registra, aggrega e regola i flussi economici.

Il sistema di funzionamento

Dal punto di vista tecnico, però, il vero snodo è un altro: l’identità del crawler. Per chiedere un pagamento a una macchina, bisogna prima essere certi che quella macchina sia davvero chi dice di essere. È per questo che Pay Per Crawl si intreccia con il percorso avviato da Cloudflare su Web Bot Auth e sulle HTTP Message Signatures, richiamate anche nella documentazione del programma Verified Bots. L’idea è semplice nella sua formulazione ma potente nelle implicazioni: non basta più dichiararsi crawler attraverso un semplice user agent; occorre firmare crittograficamente le richieste, così che il sito o l’infrastruttura intermedia possano verificare l’autenticità del soggetto che chiede accesso. In altri termini, il crawling dell’AI tende a uscire dalla zona grigia del prelievo opaco per entrare in una sfera sempre più contrattualizzata, attribuibile e verificabile.

La proposta di Cloudflare non nasce nel vuoto. Reuters, nel riferire il lancio del servizio, ha richiamato un dato molto eloquente: secondo Cloudflare, il rapporto tra crawling e visite restituite si è progressivamente deteriorato, fino ad arrivare a 18:1 per Google e addirittura a 1.500:1 per OpenAI. Al di là della discussione sui metodi di calcolo, il messaggio è chiaro: l’estrazione di valore da parte delle macchine cresce più rapidamente della capacità dei siti di recuperare quel valore sotto forma di traffico, riconoscibilità o ricavi. In questo quadro, Pay Per Crawl si presenta come un tentativo di rimediare a una asimmetria strutturale. Non semplicemente una barriera, dunque, ma un nuovo meccanismo di mercato.

Come restituire il controllo agli editori?

Tuttavia, proprio qui emerge il lato più delicato della questione. Restituire controllo ai publisher non significa automaticamente riequilibrare il sistema in modo democratico. Anzi, il rischio è che il web aperto venga progressivamente sostituito da un ambiente a licenze differenziate, nel quale l’accesso ai contenuti dipende sempre più dalla capacità tecnica e finanziaria degli operatori automatici. I grandi attori dell’AI, dotati di infrastrutture robuste, accordi commerciali e sistemi di pagamento integrati, potrebbero adattarsi con relativa facilità. Più complesso sarebbe invece il quadro per piccoli sviluppatori, progetti indipendenti, ricerca civica o sperimentazione open. In questo senso, la monetizzazione del crawling potrebbe correggere un’ingiustizia, ma anche inaugurare una nuova gerarchia dell’accesso. È una tensione che non va rimossa, soprattutto in un contesto in cui Cloudflare non è un osservatore neutrale, bensì l’intermediario tecnico che autentica, filtra, tariffa e regola l’intero processo.

Non meno importante è il fatto che l’iniziativa non sia rimasta ferma al lancio del 2025. La documentazione Cloudflare mostra che, nel corso dei mesi successivi, Pay Per Crawl è stato arricchito con una Discovery API, configurazioni più granulari, forme di pricing più flessibili e controlli avanzati per publisher e crawler. Al tempo stesso, la funzione risulta ancora collocata in closed beta, segno che il modello è considerato promettente ma non ancora stabilizzato. Questa evoluzione è significativa perché rivela la direzione del progetto: non un semplice “pedaggio per bot”, ma l’abbozzo di un mercato machine-to-machine dell’accesso informativo, nel quale i contenuti non sono soltanto pubblicati, ma anche descritti, prezzati e resi negoziabili da agenti software. 

Il web sta cambiando pelle?

Il punto, allora, non è chiedersi soltanto se Pay Per Crawl funzionerà. La domanda più profonda è se il web stia entrando in una nuova fase storica, nella quale il vecchio modello fondato su indicizzazione e traffico venga sostituito da un sistema di licenze leggibili dalle macchine. Cloudflare sembra pensare di sì, e non a caso collega esplicitamente questa prospettiva a un futuro “agentic”, in cui un assistente intelligente potrà ricevere un budget, selezionare fonti e acquistare automaticamente i contenuti ritenuti più rilevanti. Se questo scenario si consoliderà, cambierà non solo il modo in cui le AI leggono il web, ma anche il modo in cui il web stesso definisce il proprio valore. E sarà allora necessario vigilare affinché la giusta esigenza di compensare chi produce conoscenza non si trasformi, paradossalmente, in un ulteriore processo di concentrazione del potere informativo.

L'articolo Dopo il robots.txt: Cloudflare prova a mettere un prezzo al crawling dell’AI proviene da Italia nel futuro.