Cloudflare, ein wichtiger Anbieter von Internet-Infrastrukturen, blockiert bekannte KI-Crawler nun standardm\u00e4\u00dfig, um zu verhindern, dass diese \u201eohne Erlaubnis oder Verg\u00fctung auf Inhalte zugreifen\u201c. Cloudflare fragt neue Domaininhaber au\u00dferdem bei der Einrichtung ihrer Domain, ob sie KI-Zugriff erlauben m\u00f6chten, und bietet einigen Publishern sogar die M\u00f6glichkeit, den Zugriff \u00fcber ein \u201ePay-per-Crawl\u201c-Modell zu berechnen.<\/p>\n\n\n\n
Dieses Modell erm\u00f6glicht es Verlagen und Entwicklern, den Preis festzulegen, den KI-Unternehmen f\u00fcr den Zugriff auf ihre Inhalte zahlen m\u00fcssen. KI-Unternehmen k\u00f6nnen dann die Preisliste einsehen und entscheiden, ob sie zahlen und Zugriff erhalten oder sich abmelden. Derzeit steht das Programm nur einer ausgew\u00e4hlten Gruppe der gr\u00f6\u00dften Verlage und Inhaltsersteller zur Verf\u00fcgung. Cloudflar versichert jedoch, dass es sicherstellen wird, dass KI-Unternehmen qualitativ hochwertige Inhalte \u201eauf die richtige Weise, mit Erlaubnis und angemessener Verg\u00fctung\u201c nutzen.<\/p>\n\n\n\n
Cloudflare unterst\u00fctzt Domaininhaber bereits seit einiger Zeit im Kampf gegen UI-Spider. Bereits 2023 erlaubte Cloudflare Websites, UI-Spider zu blockieren, allerdings nur solchen, die der robots.txt-Datei entsprechen. Diese ist nicht rechtsverbindlich, sondern gibt lediglich an, welche Webseiten ein Bot besuchen darf. Sp\u00e4ter wurde die Blockierungsoption auf alle UI-Bots ausgeweitet, unabh\u00e4ngig davon, ob sie der robots.txt-Datei entsprechen oder nicht. Diese Einstellung ist nun standardm\u00e4\u00dfig f\u00fcr alle neuen Cloudflare-Nutzer aktiviert. Cloudflare identifiziert Bots nicht anhand der robots.txt-Datei, sondern anhand einer eigenen Liste bekannter UI-Bots.<\/p>\n\n\n\n
Im M\u00e4rz f\u00fchrten sie zus\u00e4tzlich eine Funktion ein, die unerw\u00fcnschte Webcrawler in das sogenannte \u201eUI-Labyrinth\u201c leitet, wo sie gefangen werden und ohne Erlaubnis nicht effektiv Inhalte sammeln k\u00f6nnen.<\/p>\n\n\n\n
Zu den gro\u00dfen Websites und Publishern, die die neuen UI-Crawler-Limits von Cloudflare bereits unterst\u00fctzen, geh\u00f6ren The Associated Press, The Atlantic, Fortune, Stack Overflow und Quora. Websites stehen vor einer Zukunft, in der immer mehr Benutzer \u00fcber UI-Chatbots statt \u00fcber herk\u00f6mmliche Suchmaschinen nach Informationen suchen.<\/p>\n\n\n\n
\u201eIn den letzten sechs Monaten haben die Menschen immer mehr Vertrauen in k\u00fcnstliche Intelligenz gewonnen, was bedeutet, dass sie keine Originalinhalte mehr lesen\u201c, sagte Matthew Prince, CEO von Cloudflare, bei der Veranstaltung Axios Live.<\/p>\n\n\n\n
Cloudflare arbeitet au\u00dferdem mit KI-Unternehmen zusammen, um deren Crawler zu verifizieren und zu zertifizieren. So k\u00f6nnen sie ihren Zweck klar definieren, beispielsweise ob sie Inhalte zum Lernen, Suchen oder zur Schlussfolgerung sammeln. All dies mit dem Ziel, dass Websitebesitzer dann selbst \u00fcberpr\u00fcfen und entscheiden k\u00f6nnen, welchen Bots sie Zugriff auf ihre Inhalte gew\u00e4hren.<\/p>\n\n\n\n
\u201eOriginalinhalte machen das Internet zu einer der gr\u00f6\u00dften Erfindungen des letzten Jahrhunderts, und wir m\u00fcssen sie gemeinsam sch\u00fctzen\u201c, sagte Prince in einer Pressemitteilung. \u201eBislang haben UI-Crawler Inhalte ohne Grenzen gesammelt. Unser Ziel ist es, die Kontrolle wieder in die H\u00e4nde der Entwickler zu legen und gleichzeitig UI-Unternehmen die M\u00f6glichkeit zu geben, innovativ zu sein.\u201c<\/p>","protected":false},"excerpt":{"rendered":"
Cloudflare, eden klju\u010dnih ponudnikov internetne infrastrukture, bo odslej privzeto blokiral znane UI pajke, da bi prepre\u010dil, da bi ti \u00bbdostopali do vsebin brez dovoljenja ali nadomestila\u00ab. Ob tem bo Cloudflare nove lastnike domen \u017ee ob vzpostavitvi vpra\u0161al, ali \u017eelijo dovoliti dostop umetni inteligenci, za nekatere zalo\u017enike pa uvaja celo mo\u017enost zara\u010dunavanja dostopa prek modela \u00bbPay […]<\/p>","protected":false},"author":2,"featured_media":0,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[66,4],"tags":[192],"class_list":["post-6387","post","type-post","status-publish","format-standard","hentry","category-programi","category-racunalnistvo-telefonija","tag-umetna-inteligenca"],"acf":{"subtitle":"","heading":"","summary":"","thumbnail_small":"https:\/\/racunalniske-novice.com\/wp-content\/uploads\/2025\/07\/cloudflare-naslovna-560x315.png","thumbnail_large":"https:\/\/racunalniske-novice.com\/wp-content\/uploads\/2025\/07\/cloudflare-naslovna-1024x706.png","thumbnail_caption":"","gallery":"","video_gallery":null,"author":"","links":null,"sources":null,"skip_language":[]},"yoast_head":"\n