Künstliche Intelligenz wird das Surfen im Internet nicht mehr kostenlos ermöglichen

Cloudflare, ein wichtiger Anbieter von Internet-Infrastrukturen, blockiert bekannte KI-Crawler nun standardmäßig, um zu verhindern, dass diese „ohne Erlaubnis oder Vergütung auf Inhalte zugreifen“. Cloudflare fragt neue Domaininhaber außerdem bei der Einrichtung ihrer Domain, ob sie KI-Zugriff erlauben möchten, und bietet einigen Publishern sogar die Möglichkeit, den Zugriff über ein „Pay-per-Crawl“-Modell zu berechnen.

Dieses Modell ermöglicht es Verlagen und Entwicklern, den Preis festzulegen, den KI-Unternehmen für den Zugriff auf ihre Inhalte zahlen müssen. KI-Unternehmen können dann die Preisliste einsehen und entscheiden, ob sie zahlen und Zugriff erhalten oder sich abmelden. Derzeit steht das Programm nur einer ausgewählten Gruppe der größten Verlage und Inhaltsersteller zur Verfügung. Cloudflar versichert jedoch, dass es sicherstellen wird, dass KI-Unternehmen qualitativ hochwertige Inhalte „auf die richtige Weise, mit Erlaubnis und angemessener Vergütung“ nutzen.

Cloudflare unterstützt Domaininhaber bereits seit einiger Zeit im Kampf gegen UI-Spider. Bereits 2023 erlaubte Cloudflare Websites, UI-Spider zu blockieren, allerdings nur solchen, die der robots.txt-Datei entsprechen. Diese ist nicht rechtsverbindlich, sondern gibt lediglich an, welche Webseiten ein Bot besuchen darf. Später wurde die Blockierungsoption auf alle UI-Bots ausgeweitet, unabhängig davon, ob sie der robots.txt-Datei entsprechen oder nicht. Diese Einstellung ist nun standardmäßig für alle neuen Cloudflare-Nutzer aktiviert. Cloudflare identifiziert Bots nicht anhand der robots.txt-Datei, sondern anhand einer eigenen Liste bekannter UI-Bots.

Im März führten sie zusätzlich eine Funktion ein, die unerwünschte Webcrawler in das sogenannte „UI-Labyrinth“ leitet, wo sie gefangen werden und ohne Erlaubnis nicht effektiv Inhalte sammeln können.

Zu den großen Websites und Publishern, die die neuen UI-Crawler-Limits von Cloudflare bereits unterstützen, gehören The Associated Press, The Atlantic, Fortune, Stack Overflow und Quora. Websites stehen vor einer Zukunft, in der immer mehr Benutzer über UI-Chatbots statt über herkömmliche Suchmaschinen nach Informationen suchen.

„In den letzten sechs Monaten haben die Menschen immer mehr Vertrauen in künstliche Intelligenz gewonnen, was bedeutet, dass sie keine Originalinhalte mehr lesen“, sagte Matthew Prince, CEO von Cloudflare, bei der Veranstaltung Axios Live.

Cloudflare arbeitet außerdem mit KI-Unternehmen zusammen, um deren Crawler zu verifizieren und zu zertifizieren. So können sie ihren Zweck klar definieren, beispielsweise ob sie Inhalte zum Lernen, Suchen oder zur Schlussfolgerung sammeln. All dies mit dem Ziel, dass Websitebesitzer dann selbst überprüfen und entscheiden können, welchen Bots sie Zugriff auf ihre Inhalte gewähren.

„Originalinhalte machen das Internet zu einer der größten Erfindungen des letzten Jahrhunderts, und wir müssen sie gemeinsam schützen“, sagte Prince in einer Pressemitteilung. „Bislang haben UI-Crawler Inhalte ohne Grenzen gesammelt. Unser Ziel ist es, die Kontrolle wieder in die Hände der Entwickler zu legen und gleichzeitig UI-Unternehmen die Möglichkeit zu geben, innovativ zu sein.“