Selon le fondateur des visiteurs de Dark, Gavin King, la plupart des principaux agents de l'IA respectent toujours les robots.txt. «Cela a été assez cohérent», dit-il. Mais tous les propriétaires de sites Web n'ont pas le temps ou les connaissances pour mettre à jour constamment leurs fichiers robots.txt. Et même lorsqu'ils le font, certains robots contourneront les directives du fichier: «Ils essaient de déguiser le trafic.»

Prince dit que le blocage de bot de Cloudflare ne sera pas une commande que ce genre de mauvais acteur peut ignorer. «Robots.txt, c'est comme mettre un signe« pas d'intrusion »», dit-il. «C'est comme avoir un mur physique patrouillé par des gardes armés.» Tout comme il signale d'autres types de comportements Web suspects, comme les robots de crampons de prix utilisés pour la surveillance des prix illégaux, la société a créé des processus pour repérer même les robots d'interstance d'IA les plus soigneusement dissimulés.

Cloudflare annonce également un marché à venir pour que les clients négocient la grattement des conditions d'utilisation avec les sociétés d'IA, qu'il s'agisse de paiement pour l'utilisation de contenu ou de troquer pour que les crédits utilisent les services d'IA en échange de grattage. «Nous ne nous soucions pas vraiment de la transaction, mais nous pensons qu'il doit y avoir un moyen de remettre de la valeur aux créateurs de contenu originaux», explique Prince. «La rémunération n'a pas besoin d'être des dollars. La compensation peut être un crédit ou une reconnaissance. Cela peut être beaucoup de choses différentes. »

Il n'y a pas de date fixée pour lancer ce marché, mais même si elle déploie cette année, elle rejoindra un domaine de projets de plus en plus encombré destiné à faciliter les accords de licence et d'autres accords d'autorisations entre les sociétés d'IA, les éditeurs, les plateformes et d'autres sites Web.

Que font les entreprises d'IA de cela? «Nous avons parlé à la plupart d'entre eux, et leurs réactions ont varié de« cela a du sens et nous sommes ouverts »pour« aller en enfer »», explique Prince. (Il ne nommerait pas les noms.)

Le projet a été assez rapide. Prince cite une conversation avec le PDG d'Atlantique (et l'ancien rédacteur en chef de Wired) Nick Thompson comme inspiration pour le projet; Thompson avait discuté du nombre d'éditeurs différents avait rencontré des grattoirs Web collaborateurs. «J'adore qu'il le fasse», dit Thompson. Si même les grandes organisations de médias ont eu du mal à faire face à l'afflux de grattoirs, le prince, les blogueurs indépendants et les propriétaires de sites Web auraient encore plus de difficultés.

CloudFlare est une entreprise de sécurité Web de premier plan depuis des années, et elle fournit une grande partie de l'infrastructure qui maintient le Web. Historiquement, il est resté aussi neutre que possible sur le contenu des sites Web de ses services; Dans les rares occasions, il a fait des exceptions à cette règle, Prince a souligné qu'il ne voulait pas que CloudFlare soit l'arbitre de ce qui est autorisé en ligne.

Ici, il considère Cloudflare comme un positionné unique pour prendre position. «Le chemin sur lequel nous sommes n'est pas durable», explique Prince. «J'espère que nous pourrons faire partie de la façon dont les humains sont payés pour leur travail.»