Selon Stubblebine, Medium a testé plusieurs détecteurs d'IA et a décidé qu'ils n'étaient pas efficaces. (Stubblebine a également accusé Pangram Labs d'avoir tenté de l'extorquer « par presse » car Spero, PDG de Pangram, a envoyé un email détaillant les résultats de l'analyse demandée par WIRED et a ensuite proposé ses services à Medium. «Je pensais juste que nous pourrions les aider», dit Spero.)

Les outils de détection de l’IA sont en effet défectueux. Ils fonctionnent en analysant des textes et en faisant des prédictions et peuvent produire des faux positifs et des faux négatifs. Il convient d’être prudent lorsqu’on les utilise pour juger des écrits et des œuvres d’art individuels, en particulier avec une nouvelle vague de critiques. outils disponibles pour les tromper. Néanmoins, ils sont utiles en tant que baromètres pour évaluer l’évolution de la quantité de contenu généré par l’IA sur certaines plates-formes et sites Web, et ils peuvent aider les chercheurs, les journalistes et le public à repérer des tendances.

“Étant donné que les détecteurs d'IA sont précis mais pas parfaits, il est impossible de dire avec certitude si un élément de contenu est généré ou non par l'IA”, explique Gillham. “Cependant, ils sont doués pour voir la tendance à l'écriture d'IA prendre le dessus sur des plateformes comme Medium.”

D'autres ont repéré cette tendance. «Lors de mes analyses régulières de nouveaux sites d'information générés par l'IA, je tombe régulièrement sur du contenu généré par l'IA sur Medium, chaque semaine», déclare McKenzie Sadeghi, rédacteur en chef de la société de suivi de la désinformation en ligne NewsGuard. “J'ai découvert que l'essentiel concerne souvent la cryptographie, le marketing et le référencement.”

Stubblebine est catégorique que ces chiffres ne reflètent pas avec précision ce que vivent les lecteurs de Medium. “Cela n'a pas d'importance”, dit-il. « Avoir accès au flux brut de ce qui est publié sur Medium ne représente pas l'activité réelle de ce qui est recommandé et consulté. La grande majorité des articles détectables générés par l’IA dans les flux bruts sur ces sujets n’ont déjà aucune vue. L'objectif est de zéro vue et nous disposons déjà d'un système qui y parvient. [that].» Il pense que Medium contient efficacement son slop d'IA grâce à la combinaison de son système de filtrage du spam à usage général et de sa modération humaine.

De nombreux comptes qui semblent publier des volumes élevés de matériel généré par l’IA semblent en effet avoir un lectorat restreint, voire inexistant. Un compte signalé par Pangram Labs comme l'auteur de publications probables sur la cryptographie générées par l'IA, par exemple, a été publié six fois en une journée, sans interaction sur aucune des publications, ce qui suggère un impact négligeable. D'autres messages signalés semblent avoir été récemment supprimés ; alors que certains peuvent avoir été volontairement supprimés, d'autres peuvent avoir été supprimés Medium quelques jours ou semaines après la publication. Parfois, Medium retarde délibérément la suppression du spam, selon Stubblebine, s'il a identifié des « anneaux de spam » tentant de jouer avec le système.

Cependant, zéro vue n’était pas le cas dans tous les domaines. WIRED a découvert que d'autres articles signalés comme étant probablement générés par l'IA par Pangram, Originality et la société de détection d'IA Reality Defender avaient des centaines d'« applaudissements », qui sont similaires aux « j'aime » sur d'autres plates-formes, suggérant au moins un lectorat substantiel. supérieur à zéro.

Stubblebine considère les gens comme la pierre angulaire de l'approche de Medium en matière de contrôle qualité. « Medium fonctionne désormais essentiellement grâce à la conservation humaine », dit-il. Il cite les 9 000 éditeurs des publications de Medium, ainsi que des évaluations humaines supplémentaires pour des histoires qui peuvent être « boostées » ou plus largement diffusées. “Je pense que vous pourriez, si vous êtes pédant, dire que nous filtrons l'IA, mais il y a un objectif au-dessus de cela, c'est-à-dire que nous essayons simplement de filtrer les choses qui ne sont pas très bonnes.”