Cloudflare a annoncé qu’il bloquera par défaut l’accès des robots d’indexation d’intelligence artificielle (IA) aux pages web, tout en offrant aux propriétaires de sites des options plus granulaires pour contrôler le type de robots d’IA qui peuvent indexer leur contenu. Cette décision s’accompagne d’une nouvelle initiative appelée « Pay Per Crawl », qui vise à faire payer les services d’IA pour accéder à ces pages.
L’impact de l’IA sur le modèle économique du web
Cette initiative intervient peu après que le PDG de Cloudflare, Matthew Prince, a qualifié l’IA de fardeau économique. Lors d’une récente conférence, il a averti que l’IA pourrait briser le modèle économique du web en détachant la création de contenu de sa valeur, fournissant des réponses sans générer de trafic vers les sources originales. Il a notamment décrit Google comme étant au cœur de cette perturbation.
Cloudflare est utilisé par environ 20 % de l’ensemble de l’Internet, une situation qui pourrait poser des problèmes pour les services d’IA qui s’entraînent sur la base du web ouvert, car une grande partie de ce contenu pourrait tout simplement disparaître pour ces services.
Blocage des robots d’IA
La décision de Cloudflare de bloquer par défaut les robots d’IA est significative. Tout nouveau site inscrit sur la plateforme sera automatiquement configuré pour interdire l’accès aux robots d’IA. Cloudflare a déclaré : « Cela va fondamentalement changer la façon dont les entreprises d’IA accèdent au contenu web à l’avenir ».
Contrôles de blocage granulaires
Cloudflare a annoncé un partenariat avec des entreprises spécialisées dans l’IA pour vérifier l’identité et l’objectif des robots d’indexation. Cela permettra aux propriétaires de sites et aux créateurs de contenu de définir un contrôle plus granulaire sur les robots qu’ils souhaitent autoriser et ceux qu’ils souhaitent interdire.
Initiative « Pay Per Crawl »
En parallèle, Cloudflare a introduit « Pay Per Crawl », une méthode qui permettra aux entreprises d’IA de payer pour explorer le contenu. Ce programme, actuellement en version bêta, offrira aux créateurs de contenu une nouvelle source de revenus. Les entreprises d’IA auront la possibilité de prévisualiser les contenus, de voir les mises à jour en temps réel et d’accéder aux informations dans un format optimisé.
Les tarifs seront définis par les éditeurs, qui pourront fixer les prix, et les entreprises d’IA pourront choisir d’accéder ou non aux pages selon ces tarifs.
Le contrôle des créateurs de contenu
Matthew Prince a déclaré : « Si Internet veut survivre à l’ère de l’IA, nous devons donner aux éditeurs le contrôle qu’ils méritent. » L’idée est de protéger le contenu original, considéré comme l’une des grandes inventions du siècle dernier, tout en permettant aux entreprises d’IA de continuer à innover.
Des entreprises comme Gannett Media et Ziff Davis ont exprimé leur soutien à cette initiative, soulignant l’importance de bloquer l’utilisation non autorisée de contenu sans compensation équitable.
Défis techniques et opportunités
Cloudflare reconnaît que l’interdiction des robots d’indexation d’IA d’utiliser le contenu sans autorisation présente des défis techniques. De nombreux services ne respectent pas les règles du fichier robots.txt. L’initiative « Pay Per Crawl » pourrait aussi inciter les entreprises d’IA à rémunérer les créateurs de contenu pour l’utilisation future de leur travail.
Le système « Pay Per Crawl » repose sur des mécanismes d’authentification établis, permettant ainsi une intégration fluide dans l’infrastructure web existante. Les éditeurs auront la possibilité de configurer un prix forfaitaire ou de bloquer tout accès.
Conclusion sur l’avenir du web
À travers cette initiative, Cloudflare aspire à transformer la façon dont le contenu est contrôlé en ligne, permettant aux créateurs de monétiser leurs œuvres tout en préservant un écosystème numérique durable. En se basant sur le code de réponse HTTP 402, l’entreprise ouvre la voie à un avenir où des agents intelligents pourront négocier l’accès aux ressources numériques de manière programmatique.
