Mitch Daniels est un gars des chiffres, un réducteur de coûts. Au début des années 2000, il a tenté sans succès de maîtriser les dépenses du Congrès sous la présidence de George W. Bush. Ainsi, lorsqu’il a pris ses fonctions de gouverneur de l’Indiana en 2005, Daniels était prêt à plaider une fois de plus en faveur de la discipline budgétaire. Il souhaitait redresser le gouvernement de l’État de l’Indiana, qu’il considérait en proie à de nombreux dysfonctionnements. Et il a commencé par son système de protection sociale. “Ce département a été secoué par une série d’accusations criminelles, avec des tricheurs et des assistants sociaux de connivence pour voler de l’argent destiné aux pauvres”, a-t-il déclaré. plus tard dit.

La solution de Daniels a pris la forme d’un contrat de 1,3 milliard de dollars sur 10 ans avec IBM. Il avait de la noblesse ambitions pour le projet, qui a débuté en 2006, affirmant qu’il améliorerait les services sociaux pour les résidents de l’Indiana tout en réprimant la fraude, permettant ainsi aux contribuables d’économiser des milliards de dollars.

Mais le contrat fut un désastre. Il a été annulé au bout de trois ans, et IBM et Indiana ont passé une décennie dans une bataille juridique pour savoir qui était à blâmer. Daniels a décrit la refonte radicale et l’automatisation du système par IBM, chargé de décider qui était éligible à tout, des bons d’alimentation à la couverture médicale, comme déficientes. Il était cependant catégorique sur le fait que confier un projet technique à une entreprise possédant une expertise était la bonne décision. “C’était trop conçu”, a-t-il déclaré. « Génial sur le papier mais trop compliqué à mettre en pratique. » IBM a refusé une demande de commentaire.

En juillet 2012, le juge David Dryer de la Cour supérieure du comté de Marion a statué que l’Indiana n’avait pas réussi à prouver qu’IBM avait rompu son contrat. Mais il a également rendu un verdict accablant sur le système lui-même, le décrivant comme une expérience non testée qui a remplacé les travailleurs sociaux par des ordinateurs et des appels téléphoniques. “Aucune des parties ne mérite de gagner cette affaire”, a-t-il déclaré. dit. « Cette histoire représente une « tempête parfaite » de politique gouvernementale malavisée et d’ambitions d’entreprises trop zélées. »

Cela aurait pu sonner le glas du secteur naissant de l’automatisation de l’État-providence. Au lieu de cela, l’industrie a explosé. Aujourd’hui, ces systèmes frauduleux constituent une part importante de l’industrie nébuleuse des « govtech », qui tourne autour d’entreprises vendant de nouvelles technologies au gouvernement avec la promesse que les nouvelles technologies de l’information rendront l’administration publique plus facile à utiliser et plus efficace. En 2021, ce marché était estimé à une valeur 116 milliards d’euros (120 milliards de dollars) en Europe et 440 milliards de dollars dans le monde. Et ce ne sont pas seulement les entreprises qui espèrent profiter de cette vague technologique. Les gouvernements estiment également que la modernisation des systèmes informatiques peut générer d’importantes économies. En 2014, le cabinet de conseil McKinsey estimait que si la numérisation du gouvernement atteignait son « plein potentiel », elle pourrait libérer 1 000 milliards de dollars chaque année.

Des entrepreneurs du monde entier font croire aux gouvernements que les algorithmes de chasse à la fraude peuvent les aider à récupérer les fonds publics. Mais les chercheurs qui suivent la propagation de ces systèmes affirment que ces entreprises sont souvent surpayées et sous-supervisées. Selon les chercheurs, la question clé est la responsabilité. Lorsque des modèles d’apprentissage automatique complexes ou des algorithmes plus simples sont développés par le secteur privé, le code informatique qui définit qui est ou n’est pas accusé de fraude est souvent classé comme propriété intellectuelle. En conséquence, la manière dont ces systèmes prennent leurs décisions est opaque et à l’abri des interrogations. Et même lorsque ces trous noirs algorithmiques sont impliqués dans des batailles juridiques aux enjeux élevés concernant des préjugés présumés, ceux qui exigent des réponses ont du mal à les obtenir.

Au Royaume-Uni, un groupe communautaire appelé Greater Manchester Coalition of Disabled People tente de déterminer si le nombre de personnes handicapées faisant l’objet d’enquêtes pour fraude est lié aux projets d’automatisation du gouvernement. En France, l’association de défense des droits numériques La Quadrature du Net tente depuis quatre mois de savoir si un système de fraude est discriminatoire à l’égard des personnes nées à l’étranger. Et en Serbie, les avocats veulent comprendre pourquoi l’introduction d’un nouveau système a fait perdre à des centaines de familles roms leurs allocations. « Les modèles sont toujours secrets », explique Victoria Adelmant, directrice du projet d’État-providence numérique de l’Université de New York. « Sans transparence, il est même très difficile de contester et d’évaluer ces systèmes. »