Umjetna inteligencija više neće besplatno pregledavati web stranice

Cloudflare, ključni pružatelj internetske infrastrukture, sada će prema zadanim postavkama blokirati poznate AI crawlere kako bi ih spriječio da "pristupaju sadržaju bez dopuštenja ili naknade". Cloudflare će također pitati nove vlasnike domena prilikom postavljanja svoje domene žele li dopustiti pristup AI-u, pa čak uvodi i mogućnost da neki izdavači naplaćuju pristup putem modela "Plaćanje po indeksiranju".

Ovaj model omogućit će izdavačima i kreatorima da odrede cijenu koju će tvrtke koje se bave umjetnom inteligencijom morati platiti za pristup svom sadržaju. Tvrtke koje se bave umjetnom inteligencijom tada će moći pregledati cjenik i odlučiti hoće li platiti i dobiti pristup ili će se isključiti. Zasad je program dostupan samo odabranoj skupini najvećih izdavača i kreatora sadržaja, ali Cloudflar kaže da će osigurati da tvrtke koje se bave umjetnom inteligencijom koriste kvalitetan sadržaj „na pravi način, uz dopuštenje i odgovarajuću naknadu“.

Cloudflare već neko vrijeme pomaže vlasnicima domena u borbi protiv UI pauka. Još 2023. godine dopustili su web stranicama da blokiraju UI pauke, ali samo one koji su u skladu s robots.txt datotekom, dokumentom koji nije pravno obvezujući, već samo ukazuje na to što bot može posjetiti. Kasnije su proširili opciju blokiranja na sve UI botove, bez obzira na to jesu li u skladu s robots.txt datotekom ili ne. Sada je ova postavka omogućena prema zadanim postavkama za sve nove Cloudflare korisnike. Cloudflare ne identificira botove iz robots.txt datoteke, već ih identificira vlastitim popisom poznatih UI botova.

U ožujku su dodatno uveli značajku koja usmjerava neželjene web crawlere u takozvani "UI labirint", gdje ostaju zarobljeni i ne mogu učinkovito prikupljati sadržaj bez dopuštenja.

Glavne web stranice i izdavači koji već podržavaju nova ograničenja UI crawlera Cloudflarea uključuju The Associated Press, The Atlantic, Fortune, Stack Overflow i Quora. Web stranice suočavaju se s budućnošću u kojoj sve više korisnika traži informacije putem UI chatbotova, a ne tradicionalnih tražilica.

„Tijekom posljednjih šest mjeseci ljudi su sve više vjerovali umjetnoj inteligenciji, što znači da više ne čitaju originalni sadržaj“, rekao je izvršni direktor Cloudflarea Matthew Prince na događaju Axios Live.

Cloudflare također surađuje s tvrtkama za umjetnu inteligenciju kako bi provjerio i certificirao njihove alate za indeksiranje te im omogućio da jasno navedu svoju svrhu, poput prikupljanja sadržaja za učenje, pretraživanje ili zaključivanje. Sve to s ciljem da vlasnici web stranica mogu sami provjeriti i odlučiti kojim botovima dopustiti pristup svom sadržaju.

„Originalni sadržaj čini internet jednim od najvećih izuma prošlog stoljeća i moramo ga zajedno zaštititi“, rekao je Prince u priopćenju za javnost. „Do sada su UI crawleri prikupljali sadržaj bez ograničenja. Naš je cilj vratiti moć u ruke kreatora, a istovremeno omogućiti UI tvrtkama da inoviraju.“