L'intelligence artificielle ne parcourra plus les sites Web gratuitement

Cloudflare, fournisseur d'infrastructures Internet majeur, bloquera désormais par défaut les robots d'exploration IA connus afin de les empêcher d'accéder au contenu sans autorisation ni rémunération. Cloudflare demandera également aux nouveaux propriétaires de domaine, lors de la configuration de leur domaine, s'ils souhaitent autoriser l'accès à l'IA, et propose même à certains éditeurs de facturer l'accès via un modèle de « paiement à l'exploration ».

Ce modèle permettra aux éditeurs et aux créateurs de fixer le prix que les entreprises d'IA devront payer pour accéder à leur contenu. Ces entreprises pourront ensuite consulter la liste des prix et décider de payer pour accéder à leur contenu ou de s'y opposer. Pour l'instant, le programme n'est accessible qu'à un groupe restreint d'éditeurs et de créateurs de contenu parmi les plus importants, mais Cloudflar affirme qu'il garantira que les entreprises d'IA utilisent du contenu de qualité « de manière appropriée, avec autorisation et rémunération appropriée ».

Cloudflare aide les propriétaires de domaines à lutter contre les robots d'interface utilisateur depuis un certain temps. En 2023, Cloudflare autorisait les sites web à bloquer les robots d'interface utilisateur, mais uniquement ceux qui respectaient le fichier robots.txt, un document non juridiquement contraignant qui indique uniquement ce qu'un robot peut visiter. Plus tard, Cloudflare a étendu l'option de blocage à tous les robots d'interface utilisateur, qu'ils soient conformes ou non au fichier robots.txt. Désormais, ce paramètre est activé par défaut pour tous les nouveaux utilisateurs de Cloudflare. Cloudflare n'identifie pas les robots à partir du fichier robots.txt, mais grâce à sa propre liste de robots d'interface utilisateur connus.

En mars, ils ont également introduit une fonctionnalité qui dirige les robots d'exploration Web indésirables vers le soi-disant « labyrinthe de l'interface utilisateur », où ils sont piégés et ne peuvent pas collecter efficacement du contenu sans autorisation.

Parmi les principaux sites web et éditeurs qui prennent déjà en charge les nouvelles limites d'exploration de l'interface utilisateur de Cloudflare, on trouve Associated Press, The Atlantic, Fortune, Stack Overflow et Quora. Les sites web sont confrontés à un avenir où de plus en plus d'utilisateurs recherchent des informations via des chatbots d'interface utilisateur plutôt que via les moteurs de recherche traditionnels.

« Au cours des six derniers mois, les gens ont fait de plus en plus confiance à l'intelligence artificielle, ce qui signifie qu'ils ne lisent plus de contenu original », a déclaré Matthew Prince, PDG de Cloudflare, lors de l'événement Axios Live.

Cloudflare collabore également avec des entreprises d'IA pour vérifier et certifier leurs robots d'exploration et leur permettre d'indiquer clairement leur objectif, par exemple s'ils collectent du contenu à des fins d'apprentissage, de recherche ou d'inférence. Tout cela afin que les propriétaires de sites web puissent ensuite vérifier et décider eux-mêmes quels robots autoriser l'accès à leur contenu.

« Le contenu original est ce qui fait d'Internet l'une des plus grandes inventions du siècle dernier, et nous devons le protéger ensemble », a déclaré Prince dans un communiqué de presse. « Jusqu'à présent, les robots d'exploration d'interface utilisateur collectaient du contenu sans limite. Notre objectif est de redonner le pouvoir aux créateurs, tout en permettant aux entreprises d'interface utilisateur d'innover. »