Con Pay Per Crawl il web tenta di uscire dall’alternativa secca tra accesso gratuito e blocco totale, introducendo un modello in cui il contenuto può essere autenticato, tariffato e negoziato dalle macchine.

Per molti anni il rapporto tra editori, piattaforme e motori di ricerca si è fondato su un equilibrio implicito: i contenuti venivano resi accessibili ai crawler e, in cambio, una parte del traffico tornava verso i siti che li avevano prodotti. L’avvento dei sistemi generativi ha incrinato questo patto. 

L’uso degli agents e i sistemi di protezione

Oggi una quota crescente di contenuti viene letta, sintetizzata e riutilizzata da agenti automatici che non sempre restituiscono attenzione, visite o ricavi a chi quei contenuti li ha creati. È dentro questa frattura che si colloca Pay Per Crawl, l’iniziativa presentata da Cloudflare già dal 1° luglio 2025, con l’obiettivo di consentire ai proprietari dei siti di decidere se permettere ai crawler AI l’accesso gratuito, bloccarli oppure chiedere un corrispettivo economico per ogni richiesta.

La novità non è soltanto commerciale. Cloudflare prova infatti a tradurre in linguaggio infrastrutturale una questione che finora è stata affrontata soprattutto in termini politici, legali o reputazionali: chi remunera il lavoro culturale del web quando i lettori non sono più persone ma modelli, crawler e agenti? Nella formulazione originaria, il sistema si fonda sull’uso di HTTP 402 Payment Required, un codice rimasto a lungo marginale nella storia del web e qui recuperato come segnale nativo di una richiesta economica. Se un crawler raggiunge una risorsa protetta senza dichiarare disponibilità al pagamento, riceve un 402 con il prezzo associato; se invece esprime un’intenzione di pagamento compatibile con il prezzo fissato dal publisher, l’accesso può avvenire con risposta positiva e con conferma dell’addebito. Cloudflare, in questo schema, agisce anche come Merchant of Record, cioè come soggetto che registra, aggrega e regola i flussi economici.

Il sistema di funzionamento

Dal punto di vista tecnico, però, il vero snodo è un altro: l’identità del crawler. Per chiedere un pagamento a una macchina, bisogna prima essere certi che quella macchina sia davvero chi dice di essere. È per questo che Pay Per Crawl si intreccia con il percorso avviato da Cloudflare su Web Bot Auth e sulle HTTP Message Signatures, richiamate anche nella documentazione del programma Verified Bots. L’idea è semplice nella sua formulazione ma potente nelle implicazioni: non basta più dichiararsi crawler attraverso un semplice user agent; occorre firmare crittograficamente le richieste, così che il sito o l’infrastruttura intermedia possano verificare l’autenticità del soggetto che chiede accesso. In altri termini, il crawling dell’AI tende a uscire dalla zona grigia del prelievo opaco per entrare in una sfera sempre più contrattualizzata, attribuibile e verificabile.

La proposta di Cloudflare non nasce nel vuoto. Reuters, nel riferire il lancio del servizio, ha richiamato un dato molto eloquente: secondo Cloudflare, il rapporto tra crawling e visite restituite si è progressivamente deteriorato, fino ad arrivare a 18:1 per Google e addirittura a 1.500:1 per OpenAI. Al di là della discussione sui metodi di calcolo, il messaggio è chiaro: l’estrazione di valore da parte delle macchine cresce più rapidamente della capacità dei siti di recuperare quel valore sotto forma di traffico, riconoscibilità o ricavi. In questo quadro, Pay Per Crawl si presenta come un tentativo di rimediare a una asimmetria strutturale. Non semplicemente una barriera, dunque, ma un nuovo meccanismo di mercato.

Come restituire il controllo agli editori?

Tuttavia, proprio qui emerge il lato più delicato della questione. Restituire controllo ai publisher non significa automaticamente riequilibrare il sistema in modo democratico. Anzi, il rischio è che il web aperto venga progressivamente sostituito da un ambiente a licenze differenziate, nel quale l’accesso ai contenuti dipende sempre più dalla capacità tecnica e finanziaria degli operatori automatici. I grandi attori dell’AI, dotati di infrastrutture robuste, accordi commerciali e sistemi di pagamento integrati, potrebbero adattarsi con relativa facilità. Più complesso sarebbe invece il quadro per piccoli sviluppatori, progetti indipendenti, ricerca civica o sperimentazione open. In questo senso, la monetizzazione del crawling potrebbe correggere un’ingiustizia, ma anche inaugurare una nuova gerarchia dell’accesso. È una tensione che non va rimossa, soprattutto in un contesto in cui Cloudflare non è un osservatore neutrale, bensì l’intermediario tecnico che autentica, filtra, tariffa e regola l’intero processo.

Non meno importante è il fatto che l’iniziativa non sia rimasta ferma al lancio del 2025. La documentazione Cloudflare mostra che, nel corso dei mesi successivi, Pay Per Crawl è stato arricchito con una Discovery API, configurazioni più granulari, forme di pricing più flessibili e controlli avanzati per publisher e crawler. Al tempo stesso, la funzione risulta ancora collocata in closed beta, segno che il modello è considerato promettente ma non ancora stabilizzato. Questa evoluzione è significativa perché rivela la direzione del progetto: non un semplice “pedaggio per bot”, ma l’abbozzo di un mercato machine-to-machine dell’accesso informativo, nel quale i contenuti non sono soltanto pubblicati, ma anche descritti, prezzati e resi negoziabili da agenti software. 

Il web sta cambiando pelle?

Il punto, allora, non è chiedersi soltanto se Pay Per Crawl funzionerà. La domanda più profonda è se il web stia entrando in una nuova fase storica, nella quale il vecchio modello fondato su indicizzazione e traffico venga sostituito da un sistema di licenze leggibili dalle macchine. Cloudflare sembra pensare di sì, e non a caso collega esplicitamente questa prospettiva a un futuro “agentic”, in cui un assistente intelligente potrà ricevere un budget, selezionare fonti e acquistare automaticamente i contenuti ritenuti più rilevanti. Se questo scenario si consoliderà, cambierà non solo il modo in cui le AI leggono il web, ma anche il modo in cui il web stesso definisce il proprio valore. E sarà allora necessario vigilare affinché la giusta esigenza di compensare chi produce conoscenza non si trasformi, paradossalmente, in un ulteriore processo di concentrazione del potere informativo.

L'articolo Dopo il robots.txt: Cloudflare prova a mettere un prezzo al crawling dell’AI proviene da Italia nel futuro.

Le recenti operazioni su Moonhub e Convergence rafforzano Agentforce, la nuova piattaforma di AI agent di Salesforce, già oltre i 100 milioni di ARR. Il gruppo punta a dominare il mercato trasversale dell’automazione cognitiva nelle imprese globali.

Salesforce si sta muovendo con decisione per consolidare la propria posizione nel nuovo mercato degli AI agent. Con l’acquisizione strategica di Moonhub, startup attiva nel recruiting automatizzato e fondata da talenti provenienti da Meta e Stanford, l’azienda conferma la propria intenzione di diventare leader nella automazione cognitiva multipurpose.

L’operazione segue di poche settimane l’acquisto di Convergence, altra realtà emergente nel settore degli agenti orizzontali, ed entrambe le acquisizioni vanno a rafforzare Agentforce, la nuova piattaforma AI lanciata da Salesforce, che ha già superato i 100 milioni di dollari di ARR — il più rapido scaling nella storia dell’azienda.

Agenti orizzontali: la nuova frontiera dell’intelligenza artificiale enterprise

La differenza tra agenti verticali e orizzontali è cruciale nel contesto attuale della transizione AI. Mentre i primi sono progettati per operare in contesti settoriali specifici (come il customer service bancario o l’assistenza medica), i secondi sono modulari, generalisti e adattabili a più domini aziendali.

Moonhub, ad esempio, nasce come piattaforma AI per il recruiting, ma il suo motore semantico e le sue capacità di reasoning possono essere adattate ad altri processi decisionali, dalla gestione documentale alla compliance legale. Convergence, invece, sviluppa tecnologie di coordinamento tra agenti AI, un elemento chiave per scalare l’automazione multi-agente in contesti enterprise complessi.

Agentforce: architettura, governance e scalabilità

Con Agentforce, Salesforce sta costruendo un ecosistema nativamente AI-driven, in cui agenti autonomi operano su task eterogenei, orchestrati da un framework centralizzato, ma aperto. Questo approccio implica una serie di sfide che vanno ben oltre la semplice implementazione tecnica:

• Interoperabilità tra modelli: integrazione fluida tra agenti specializzati (proprietari o di terze parti) e moduli generativi.
• Data compliance e privacy-by-design: ogni agente deve operare nel rispetto delle normative locali (es. GDPR, CCPA), gestendo dati sensibili in modo conforme e tracciabile.
• Accountability algoritmica: gli agenti non possono essere black box: il sistema deve offrire auditabilità, reversibilità delle azioni e meccanismi di controllo umano.
• Valutazione del rischio operativo: la delega automatica di attività critiche impone una nuova forma di governance della responsabilità tecnica e legale.

Una strategia industriale in chiave AI-native

L’accelerazione di Salesforce nel campo degli AI agent si inserisce in un più ampio riequilibrio industriale globale, in cui le piattaforme software tradizionali si stanno trasformando in infrastrutture cognitive. La transizione non riguarda più solo l’adozione di strumenti AI, ma la ripianificazione architetturale dei workflow, con l’obiettivo di massimizzare automazione e adattabilità.

Con Agentforce, Salesforce non punta solo ad espandere il proprio core CRM, ma a diventare infrastruttura orizzontale per l’automazione cognitiva aziendale, andando a contendere terreno ad altri attori come Microsoft (con Copilot) e Google Cloud (con Vertex AI).

Implicazioni giuridiche e di policy

Le operazioni di Salesforce aprono anche una riflessione su alcune questioni regolatorie di frontiera:

• Responsabilità condivisa nell’uso di agenti autonomi tra vendor e clienti enterprise.
• Nuove forme di proprietà intellettuale derivanti da agenti che generano codice, contratti o materiali testuali.
• Dinamiche contrattuali nel licensing di AI agent adattivi, che apprendono dai dati aziendali del cliente.
• Politiche industriali e AI sovereignty: la diffusione di agenti generalisti cross-border pone nuove sfide per la sovranità digitale delle imprese e dei governi.

L’intelligenza automatizzata come leva competitiva sistemica

L’approccio di Salesforce, fondato su acquisizioni mirate e consolidamento architetturale, rappresenta uno dei modelli più avanzati di capitalizzazione industriale dell’intelligenza artificiale generativa e agentica.

Il successo di Agentforce, e più in generale l’emergere di AI agent orizzontali, prefigura un cambiamento profondo nel modo in cui le imprese organizzano le proprie funzioni critiche, gestiscono il capitale umano e ridefiniscono le loro catene decisionali. Un cambiamento che coinvolge non solo il settore tech, ma l’intera geografia economica del potere cognitivo.

L'articolo Salesforce accelera sull’AI agent: acquisizioni strategiche e piattaforme orizzontali per il futuro dell’automazione aziendale proviene da Italia nel futuro.