Une coalition de groupes de défense des droits de l'homme a lancé aujourd'hui une action en justice contre le gouvernement français pour son utilisation d'algorithmes pour détecter les allocations sociales mal calculées, alléguant qu'ils constituent une discrimination à l'égard des personnes handicapées et des mères célibataires.

L'algorithme, utilisé depuis les années 2010, viole à la fois les règles européennes de confidentialité et les lois françaises anti-discrimination, affirment les 15 groupes impliqués dans l'affaire, dont le groupe de défense des droits numériques La Quadrature du Net, Amnesty International et le Collectif Changer de Cap, un groupe français. qui fait campagne contre les inégalités.

“C'est la première fois qu'un algorithme public fait l'objet d'une contestation judiciaire en France”, déclare Valérie Pras du Collectif Changer de Cap, ajoutant qu'elle souhaite que ce type d'algorithmes soit interdit. « D’autres organismes sociaux en France utilisent des algorithmes de scoring pour cibler les plus démunis. Si nous parvenons à obtenir [this] algorithme interdit, il en sera de même pour les autres.

La CNAF analyse les données personnelles de plus de 30 millions de personnes, celles qui sollicitent une aide de l'État ainsi que les personnes avec lesquelles elles vivent et les membres de leur famille, selon le litigedéposée auprès du plus haut tribunal administratif de France le 15 octobre.

En utilisant leurs informations personnelles, l’algorithme attribue à chaque personne un score compris entre 0 et 1, en fonction de la probabilité qu’elle reçoive des paiements auxquels elle n’a pas droit, soit par fraude, soit par erreur.

La France est l’un des nombreux pays qui utilisent des algorithmes pour rechercher des erreurs ou des fraudes dans leur système de protection sociale. L'année dernière, l'enquête en trois parties de WIRED avec Lighthouse Reports sur les algorithmes de détection de fraude dans les systèmes de protection sociale européens s'est concentrée sur leur utilisation aux Pays-Bas, au Danemark et en Serbie.

Les personnes présentant des scores de risque plus élevés peuvent alors être soumises à ce que les bénéficiaires de l’aide sociale à travers le bloc ont décrit comme des enquêtes stressantes et intrusives, qui peuvent également impliquer la suspension de leurs prestations sociales.

« Le traitement, mis en œuvre par la CNAF, constitue une surveillance massive et une atteinte disproportionnée au droit à la vie privée », peuvent-ils lire dans les documents juridiques relatifs à l'algorithme français. « Les effets de ce traitement algorithmique touchent particulièrement les personnes les plus précaires. »

La CNAF n’a pas partagé publiquement le code source du modèle qu’elle utilise actuellement pour détecter les versements sociaux effectués par erreur. Mais basé sur analyse des anciennes versions de l'algorithme, soupçonné d'être utilisé jusqu'en 2020, La Quadrature du Net affirme que le modèle discrimine les groupes marginalisés en classant les personnes handicapées, par exemple, comme étant plus à risque que les autres.

« Personnes bénéficiant d’une allocation sociale réservée aux personnes handicapées [the Allocation Adulte Handicapé, or AAH] sont directement ciblés par une variable de l’algorithme », précise Bastien Le Querrec, juriste à La Quadrature du Net. « Le score de risque pour les personnes recevant de l’AAH et qui travaillent est augmenté. »

Parce qu'il donne également un score plus élevé aux familles monoparentales qu'aux familles biparentales, les groupes soutiennent qu'il constitue une discrimination indirecte à l'égard des mères célibataires, qui sont statistiquement plus susceptibles d'être seules à s'occuper seules. « Dans les critères de la version 2014 de l'algorithme, le score des allocataires divorcés depuis moins de 18 mois est plus élevé », précise Le Querrec.