L'intelligenza artificiale non permetterà più la navigazione gratuita sui siti web

Cloudflare, un importante fornitore di infrastrutture internet, bloccherà ora per impostazione predefinita i crawler AI noti per impedire loro di "accedere ai contenuti senza autorizzazione o compenso". Cloudflare chiederà inoltre ai nuovi proprietari di dominio, al momento della configurazione, se desiderano consentire l'accesso all'IA e sta persino introducendo la possibilità per alcuni editori di addebitare l'accesso tramite un modello "Pay Per Crawl".

Questo modello consentirà a editori e creatori di stabilire il prezzo che le aziende di intelligenza artificiale dovranno pagare per accedere ai loro contenuti. Le aziende di intelligenza artificiale potranno quindi consultare il listino prezzi e decidere se pagare e ottenere l'accesso o meno. Per ora, il programma è disponibile solo per un gruppo selezionato di editori e creatori di contenuti di grandi dimensioni, ma Cloudflar afferma che garantirà che le aziende di intelligenza artificiale utilizzino contenuti di qualità "nel modo giusto, con il permesso e un compenso adeguato".

Cloudflare aiuta da tempo i proprietari di domini a combattere gli spider dell'interfaccia utente (UI). Nel 2023, consentiva ai siti web di bloccare gli spider dell'interfaccia utente (UI), ma solo quelli conformi al file robots.txt, un documento non legalmente vincolante, che indica solo cosa un bot può visitare. Successivamente, ha esteso l'opzione di blocco a tutti i bot dell'interfaccia utente, indipendentemente dal fatto che siano conformi o meno al file robots.txt. Ora, questa impostazione è abilitata di default per tutti i nuovi utenti di Cloudflare. Cloudflare non identifica i bot tramite il file robots.txt, ma li identifica tramite il proprio elenco di bot dell'interfaccia utente noti.

A marzo hanno inoltre introdotto una funzionalità che indirizza i web crawler indesiderati nel cosiddetto "UI Labyrinth", dove restano intrappolati e non possono raccogliere contenuti in modo efficace senza autorizzazione.

Tra i principali siti web ed editori che già supportano i nuovi limiti di Cloudflare per i crawler dell'interfaccia utente ci sono The Associated Press, The Atlantic, Fortune, Stack Overflow e Quora. I siti web si trovano ad affrontare un futuro in cui sempre più utenti cercano informazioni tramite chatbot dell'interfaccia utente anziché tramite motori di ricerca tradizionali.

"Negli ultimi sei mesi, le persone hanno iniziato a fidarsi sempre di più dell'intelligenza artificiale, il che significa che non leggono più contenuti originali", ha affermato Matthew Prince, CEO di Cloudflare, all'evento Axios Live.

Cloudflare collabora inoltre con le aziende di intelligenza artificiale per verificare e certificare i propri crawler e consentire loro di dichiarare chiaramente il loro scopo, ad esempio se raccolgono contenuti a scopo di apprendimento, ricerca o inferenza. Tutto questo affinché i proprietari di siti web possano quindi verificare e decidere autonomamente a quali bot consentire l'accesso ai propri contenuti.

"I contenuti originali sono ciò che rende Internet una delle più grandi invenzioni del secolo scorso, e dobbiamo proteggerli insieme", ha dichiarato Prince in un comunicato stampa. "Finora, i crawler dell'interfaccia utente hanno raccolto contenuti senza limiti. Il nostro obiettivo è restituire il potere ai creatori, consentendo comunque alle aziende di interfacce utente di innovare".