La semaine dernière, câblé a publié une série d’histoires approfondies et basées sur les données sur un algorithme problématique que la ville néerlandaise de Rotterdam a déployée dans le but de rooter la fraude des avantages sociaux.

En partenariat Rapports de phareune organisation européenne spécialisée dans le journalisme d’investigation, a eu accès au fonctionnement intérieur de l’algorithme en vertu des lois sur la liberté d’information et a exploré comment il évalue qui est le plus susceptible de commettre une fraude.

Nous avons constaté que l’algorithme discriminait en fonction de l’ethnicité et du sexe – donnant à des scores de risque plus élevés aux femmes et aux minorités, ce qui peut entraîner des enquêtes qui causent des dommages importants à la vie personnelle des demandeurs. Un article interactif fouille dans les tripes de l’algorithme, vous emmenant à travers deux exemples hypothétiques pour montrer que même si la race et le sexe ne font pas partie des facteurs alimentés dans l’algorithme, d’autres données, telles que la maîtrise du langage néerlandais d’une personne, peuvent agir comme un proxy qui permette une discrimination.

Le projet montre comment les algorithmes conçus pour rendre les gouvernements plus efficaces – et qui sont souvent annoncés comme plus équitables et plus axés sur les données – peuvent amplifier secrètement les biais sociétaux. L’enquête Wired and Lighthouse a également révélé que d’autres pays testent des approches similaires pour trouver des fraudeurs.

«Les gouvernements incorporent des algorithmes dans leurs systèmes depuis des années, qu’il s’agisse d’une feuille de calcul ou d’un apprentissage automatique de fantaisie», explique Dhruv Mehrotra, journaliste de données d’investigation chez Wired qui a travaillé sur le projet. “Mais lorsqu’un algorithme comme celui-ci est appliqué à tout type d’application de la loi punitive et prédictive, elle devient à fort impact et assez effrayant.”

L’impact d’une enquête provoquée par l’algorithme de Rotterdam pourrait être pénible, comme on le voit dans le cas d’une mère de trois enfants qui a fait face à l’interrogatoire.

Mais Mehrotra dit que le projet n’a été en mesure de mettre en évidence de telles injustices parce que Wired et Lighthouse ont eu la chance d’inspecter comment l’algorithme fonctionne – d’autres systèmes sans comptabilité fonctionnent en toute impunité sous le couvert de l’obscurité bureaucratique. Il dit qu’il est également important de reconnaître que des algorithmes tels que celui utilisé dans Rotterdam sont souvent construits sur des systèmes intrinsèquement déloyaux.

«Souvent, les algorithmes optimisent simplement une technologie déjà punitive pour le bien-être, la fraude ou la police», dit-il. “Vous ne voulez pas dire que si l’algorithme était juste, ce serait OK.”

Il est également essentiel de reconnaître que les algorithmes deviennent de plus en plus répandus à tous les niveaux du gouvernement et pourtant leur fonctionnement est souvent entièrement caché, ceux qui sont les plus touchés.

Une autre enquête que Mehrota a menée en 2021, avant de rejoindre Wired, montre comment le logiciel de prédiction du crime utilisé par certains services de police Communautés noires et latinx ciblées injustement. En 2016, ProPublica a révélé des biais choquants dans les algorithmes Utilisé par certains tribunaux aux États-Unis pour prédire quels défendeurs criminels risquent le plus grand risque de récidive. Autres algorithmes problématiques Déterminer les écoles que les enfants fréquentent, Recommander qui les entreprises devraient embaucheret décider quelles demandes hypothécaires des familles sont approuvées.

De nombreuses entreprises utilisent également des algorithmes pour prendre des décisions importantes, et celles-ci sont souvent encore moins transparentes que celles du gouvernement. Il y a un mouvement croissant pour tenir les entreprises responsables de la prise de décision algorithmique et une pression pour une législation qui nécessite une plus grande visibilité. Mais le problème est complexe – et rendre les algorithmes plus équitables peut parfois aggraver les choses.